Python爬虫实践（五）：抓包分析

      在之前的文章中，我们所讲解的爬虫都是基于PC网页的信息获取。现在，如果我们想获取APP的内容数据，又该如何处理呢？本期的内容抓包分析或许能解决你的疑问。不过在文章的开头，我们得从抓包的一些基础概念入手：

      抓包(packet capture)就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。
      数据在网络上是以很小的称为帧(Frame)的单位传输的，帧由几部分组成，不同的部分执行不同的功能。帧通过特定的称为网络驱动程序的软件进行成型，然后通过网卡发送到网线上，通过网线到达它们的目的机器，在目的机器的一端执行相反的过程。接收端机器的以太网卡捕获到这些帧，并告诉操作系统帧已到达，然后对其进行存储。
      每一个在局域网(LAN)上的工作站都有其硬件地址，这些地址惟一地表示了网络上的机器(这一点与Internet地址系统比较相似)。在一般情况下，网络上所有的机器都可以“听”到通过的流量，但对不属于自己的数据包则不予响应(换句话说，工作站A不会捕获属于工作站B的数据，而是简单地忽略这些数据)。如果某个工作站的网络接口处于混杂模式，那么它就可以捕获网络上所有的数据包和帧。(引用自百度百科：抓包)

      说到这里，抓包到底是如何操作的？我们以安卓手机为例给大家讲一个具体CASE：有通过京东金融购买基金的朋友应该比较熟悉，京东金融提供了一个基金诊断功能。其主要逻辑是基于过去一段时间的基金盈利状态，来评估基金未来的盈利潜力，具体如下：

      现在，我们希望采用它的评分规则对所有基金进行一轮粗滤，然后再进行选择投资。那么如何批量获取所有基金的评分数据呢？(这里有一个背景需要说明：一般软件开发，很多格式化数据都是通过接口提供的，简单说就是一个问答器：用户在APP这端提交一些信息或者操作，然后系统会返回对应的结果，通过解析最终呈现在我们眼前。)

      首先我们需要安装抓包工具，这里我推荐大家使用Charles。安装完成后，我们进行如下操作：

通过Proxy > Proxy Settings进入软件设置，Port填写任意值如8888，然后勾选Enable transparent HTTP proxying，点击OK确认；
查看当前电脑的IP地址，比如MAC输入：ifconfig，然后查看en0的地址信息；
将手机连入与电脑相同的无线网络并进入高级选项，将代理设置为：手动；代理服务器主机名设置为：电脑IP地址；代理服务器端口设置为：Port值，然后保存；

现在，我们可以通过手机访问目标APP了。第一次会在Charles上弹出一个窗口要求连接，点击Allow即可。
通过在手机上点击诊断详情按钮，使APP产生跳转至上述评分页的动作，而后我们就可以看到在Charles左侧出现了一系列的信息。通过展开查看，我们定位到了如下链接：

可以看到在如图所示的地址中，我们找到了想要的目标信息。通过复制该地址(http://ms.jr.jd.com/gw/generic/jj/h5/m/queryRadarInfo?reqData=%7B%22fundCode%22%3A%22001632%22%7D&callback=__jp0)，我们同样可以在浏览器中打开查看。

结合《Python爬虫实践（二）：正则表达式》讲到分析方法，我们就可以很快完成对目标数据的爬取工作。

以上是本篇的全部内容。下一篇，我们将对整个系列进行总结收尾，并简单介绍下当前的反爬虫机制。对了，操作完成记得取消手机的代理设置，否则上网会很慢！