通过 代理服务 访问目标网页。类似与淘宝快递的场景,买家和卖家不会有直接的接触,在一场购物过程中,卖家不需要关心你是谁、你住在哪,只需要贴条发快递即可。实际购买的五品是通过快递小哥触达买家的。在这个过程中,快递小哥充当的就是 代理服务 的角色。
图1 常见网络代理的形式
代理服务器(Proxy Server)作为网络信息的中转站,其功能是代理网络用户去取得网络信息。
Mitmproxy就是一个常见的网络代理服务,与fiddler、charles类似。
“顾名思义,mitmproxy 就是用于 MITM 的 proxy,MITM(Man-in-the-MiddleAttack) 即”中间人攻击”,用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次,会适时的查、记录其截获的数据,或篡改数据,引发服务端或客户端特定的行为。
不同于 fiddler 或 wireshark 等抓包工具,mitmproxy 不仅可以截获请求帮助开发者查看、分析,更可以通过自定义脚本进行二次开发。”这也是Mitmproxy的突出应用场景,除了可以实现类似fiddler的过滤浏览器对某个特定 url 的请求、查看 分析数据,还可以实现高度的定制化需求,这样的需求可以通过载入自定义代码脚本轻松实现,支持python/java等语言,简单易用。
Mitmproxy是一个开源项目,github托管地址为 https://github.com/mitmproxy/mitmproxy。
其项目中包含4个最重要的组件,分别为:
(a)mitmproxy 是具有SSL / TLS功能的交互式拦截侦听代理,具有用于HTTP / 1,HTTP / 和WebSockets的控制台界面。
(b)mitmdump是mitmproxy的命令行版本。将tcpdump用于HTTP。
(c)mitmweb 是用于mitmproxy的基于Web的界面。
(d)pathoc并且pathod是错误的HTTP客户端和服务器应用程序,旨在让您制作几乎所有可能的HTTP请求,包括创造性地违反标准的请求。
简单的介绍就到这里,下面分4个步骤,以windows端为例,讲解下Mitmproxy的安装和使用。
(二)官网下载(a)选择官网安装,https://www.mitmproxy.org/
我从官网下载安装无法打开,所以选择window商店下载安装的,自动安装到C盘
(b)安装完,找到安装路径,双击打开程序,呈现界面如下,同时自动打开浏览器界面如下
至此得到地址,和端口号,分别是127.0.0.1 和 8080
(c)接下来,设置浏览器的代理。不设置的时候,mitmweb抓不到数据。这里我用的是谷歌浏览器
路径如下:设置 | 系统 | 打开您计算机的代理设置,然后将地址和端口号填好,保存
保存成功后,可以看到mitmproxy的在运行
(d)下一步,你会发现打开任意网页都不行,提示流量不会通过mitmproxy,是因为还没有安装证书,那么我们就开始安装证书
mitmproxy需要进行证书配置,为什么要进行证书配置?由于我们要抓取的大部分App页面都采用了HTTPS,也就是经过加密,若没有证书,就无法识别抓取的数据。mitmproxy需要在PC和手机端安装证书。
(a)在我们前面提到的网页界面,点击文件-下载证书,打开证书界面,并下载安卓证书,
(b)将下载的证书放置在文件夹,我在D盘新建文件夹CA用于放置证书
(c)打开谷歌设置–高级–隐私设置和安全性
(d)切换到 受信任的根证书颁发机构 页签,点左下角 导入。点击 下一步 后,点 浏览,然后将文件格式切换为 所有格式,找到我们刚刚下载的 证书文件,单击 打开。
(e)单击 下一步,将证书存储位置 选为 受信任的根证书颁发机构,然后单击 下一步
(f)在弹出的警告窗口,单击 是
(g)出现 导入成功,即说明证书已经导入。
(h)证书安装完成后,重启mitmproxy,可以正常打开网页,表示已安装成功
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧