爬虫

<div class="blogpost-body" id="cnblogs_post_body">
<div class="cnblogs_Highlighter">
  <pre class="blockcode"><code class="language-python">'''

1.通用爬虫：
通用爬虫是搜索引擎（Baidu、Google、Yahoo等）"抓取系统" 的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

　　搜索引擎如何抓取互联网上的网站数据:

　　　a) 目标网站主动向搜索引擎公司提供其网站的url。
　　　b) 搜索引擎公司与DNS服务商合作，获取目标网站的url。
　　　c) 目标网站主动挂靠在一些知名网站的友情链接中。

2.聚焦爬虫：
聚焦爬虫是根据指定的需求抓取网络上指定的数据。例如: 获取豆瓣上电影的名称和影评，而不是获取整张页面中所有的数据值。

3.数据分析的数据样本

4.机器学习的数据样本

'''
</code></pre>
</div>
<p>二爬虫的基本流程</p>
<p><img alt="" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-7f686fe4782aada304dae7b2366523f2.png"></p>
<p> </p>
<p>爬虫的基本流程其实就是模拟浏览器往目标站点发送请求，那浏览器发送的是http协议数据格式的请求，http协议的底层其实就是TCP协议数据格式。其实浏览器是一个套接字客户端，访问的目标站点是一个套接字服务端。那套接字客户端要与套接字服务端建立链接，得先拿到 ”客户端的ip和端口“ 与 ”服务端的ip和端口“ ，然后套接字客户端才向套接字服务端发送一次connection的请求，通过三次握手建立双向链接，此时形成了两条管道，一条是客户端往服务端发送数据的管道，另一条是服务端接收到请求后把数据返回给客户端的管道。那浏览器会沿着第一条管道往服务端发送的http协议的请求，服务端会把响应数据打包成http协议的数据格式，沿着第二条管道返回给客户端。这就是爬虫的基本流程。<br>　</p>
<div class="cnblogs_code">
  <div class="cnblogs_code_toolbar">
<span class="cnblogs_code_copy"><a title="复制代码"><img alt="复制代码" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-48304ba5e6f9fe08f3fa1abda7d326ab.gif"></a></span>
  </div>
  <pre class="blockcode">'''
1.发起请求:
　　使用http库向目标站点发起请求，即发送一个Request
　　Request包含：请求头、请求体等...

2.获取响应内容
　　如果服务器能正常响应，则会得到一个Response
　　Response包含：html，json，图片，视频等...

3.解析内容
解析html数据：
      正则表达式，第三方解析库如Beautifulsoup，pyquery等

解析json数据：
      json模块

解析二进制数据:
      以b的方式写入文件

4.保存数据
　　数据库
　　文件
'''</pre>
  <div class="cnblogs_code_toolbar">
<span class="cnblogs_code_copy"><a title="复制代码"><img alt="复制代码" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-48304ba5e6f9fe08f3fa1abda7d326ab.gif"></a></span>
  </div>
</div>
<p> </p>
<div>
  <a name="_label3"></a>
</div>
<h2>三请求与响应</h2>
<p><img alt="" height="384" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-229818c22bab107b3c53f0a0d66532c8.png" width="887"></p>
<p> </p>
<div class="cnblogs_code">
  <div class="cnblogs_code_toolbar">
<span class="cnblogs_code_copy"><a title="复制代码"><img alt="复制代码" src="https://beijingoptbbs.oss-cn-beijing.aliyuncs.com/cs/5606289-48304ba5e6f9fe08f3fa1abda7d326ab.gif"></a></span>
  </div>
  <pre class="blockcode">'''
URL:
即统一资源定位符，也就是我们说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

URL的格式由三部分组成：
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址，如目录和文件名等

http协议：
https://www.cnblogs.com/kermitjam/p/10432198.html

robots协议:
https://www.cnblogs.com/kermitjam/articles/9692568.html

Request：
用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

Response：
服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

ps：
　　浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。
'''</pre>
  <div class="cnblogs_code_toolbar">
<span class="cnblogs_code_co