|
Python的爬虫很强大，可以高效的提取网站信息，省时省力高效。瞎掰这么多犹如纸上谈兵，下面把这周的部分成果放出来。
爬取京东商品页面信息
1.我们需要从python中安装一个requests库--------在windows 系统下,只需要输入命令pip install requests即可安装。
输入import requests验证是否安装成功。（注意，俩单词中间只有一个空格哦！）
 (图示为安装成功）
2.插入链接，我们爬取京东的一款电脑，链接如下https://item.jd.com/55983367371.html-----输入r=requests.get("https://item.jd.com/55983367371.html")
3.输入r.status_code 查看状态码，200为正常。（如果不是两百，文章最后有解决办法）
4.我们查看他的编码信息----r.encoding
5.最后，输入r.text[:1000]获取信息
大多数情况会出现异常情况：
这是被京东的网站截住了，你想去人家的大学大摇大摆拍照，被保安大爷大喝一声“站住！”，把你拦截了。
咋回事？
你把你的真实面目展现给了对方。
咱好歹得伪装一下，给京东的兄弟留点面子。
输入r.request.headers查看他的头部份，
说明我们如实的告诉了门岗，有一个叫 'python-requests/2.24.0'的小毛孩儿想要扒你的信息，大爷当然就六亲不认了，但是没有关系，我们可以装作一个浏览器访问。
解决方案
依次输入：
kv = {'user-agent':'Mozilla/5.0'}
url ="https://item.jd.com/55983367371.html"
r = requests.get(url, headers = kv)
每次输完不要忘记回车哦。
一顿操作猛如虎，成功伪装成浏览器，名字叫做Mozilla/5.0
再操作，Victory
同理，如果状态码异常了（非200），再进行同样的操作就OK了！
赶紧找个其他的商品试试吧！
| 
转播
