用 Python 寻找知乎最美小姐姐

最近知乎老是给我推送两个问答，一个是「长得好看是种什么体验？」，另一个是「女朋友长得好看是怎样的体验？」。

所以，本文将讲解如何爬取知乎这两个问题的回答中的图片，并通过百度人脸识别api进行颜值打分，选取出知乎最美小姐姐。
整个项目流程如下图所示：

网页分析首先，我们打开一个话题，通过F12查看，可以看到是一个异步加载的网页，我们需要对其进行找包，如图，这个包就是我们所需要的。

接着，我们分析下这个url，可以发现，除了offset用于分页，questions后面的数字为不同问题的ID。之外，其他url的参数都是固定的，所以我们只需要构造这个url，不断循环请求就好了。

https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit=3&offset=3&platform=desktop&sort_by=default

复制代码

返回的数据为json数据，我们这里只是需要图片，所以只提取用户昵称和内容（昵称用于图片取名，内容中有图片信息）。
图片信息存在content字段中，我们通过正则表达式来进行提取。
爬虫代码根据上面的思路，我们编写爬虫代码：

1. import requests
复制代码
1. from lxml import etree
复制代码
1. import json
复制代码
1. import time
复制代码
1. import re
复制代码
1. [/code][code]
复制代码
1. headers = {
复制代码
1. 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
复制代码
1. 'cookie':''
复制代码
1. }
复制代码
1. [/code][code]
复制代码
1. def get_img(url):
复制代码
1. res = requests.get(url,headers=headers)
复制代码
1. i = 1
复制代码
1. json_data = json.loads(res.text)
复制代码
1. datas = json_data['data']
复制代码
1. for data in datas:
复制代码
1. id = data['author']['name']
复制代码
1. content = data['content']
复制代码
1. imgs = re.findall('img src="(.*?)"',content,re.S)
复制代码
1. if len(imgs) == 0:
复制代码
1. pass
复制代码
1. else:
复制代码
1. for img in imgs:
复制代码
1. if 'jpg' in img:
复制代码
1. res_1 = requests.get(img,headers=headers)
复制代码
1. fp = open('row_img/' + id + '+' + str(i) + '.jpg','wb')
复制代码
1. fp.write(res_1.content)
复制代码
1. i = i + 1
复制代码
1. print(id,img)
复制代码
1. [/code][code]
复制代码
1. if __name__ == '__main__':
复制代码
1. urls = ['https://www.zhihu.com/api/v4/questions/29024583/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit=5&offset={}&platform=desktop&sort_by=default'.format(str(i)) for i in range(0,25000,5)]
复制代码
1. for url in urls:
复制代码
1. get_img(url)
复制代码
1. time.sleep(2)
复制代码

这里cookie需要换成自己的，我们图片的命名为用户昵称+数字（由于一个回答可能有多个图片），结果如图，这样，就解锁了一份小姐姐图片。

人脸识别API由于爬取了图片，有一些是没人像，有些是男的...而且是为了找到高颜值小姐姐，如果人工筛选费事费力，这里调用百度的人脸识别API，进行图片过滤和颜值打分，选出知乎最美小姐姐。
首先，打开网址（http://ai.baidu.com/tech/face），登陆后立即使用，我们首先创建一个人脸识别的应用。api的使用说简单很简单（看文档就好了），说难也很难（大家的阅读能力在慢慢下降）。首先，我们看着文档（https://ai.baidu.com/docs#/Face-Detect-V3/top），一步步来。
接着我们通过API Key和Secret Key获取token：

1. import requests
复制代码
1. [/code][code]
复制代码
1. ak = ''
复制代码
1. sk = ''
复制代码
1. [/code][code]
复制代码
1. host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={}&client_secret={}'.format(ak,sk)
复制代码
1. [/code][code]
复制代码
1. res = requests.post(host)
复制代码
1. print(res.text)
复制代码

我们拿着token，来请求对应的网页就可以获取图片的内容了。我们拿张超越妹妹的图片做例子~

1. import base64
复制代码
1. import json
复制代码
1. [/code][code]
复制代码
1. token = ''
复制代码
1. [/code][code]
复制代码
1. def get_img_base(file):
复制代码
1. with open(file,'rb') as fp:
复制代码
1. content = base64.b64encode(fp.read())
复制代码
1. return content
复制代码
1. [/code][code]
复制代码
1. request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
复制代码
1. request_url = request_url + "?access_token=" + token
复制代码
1. [/code][code]
复制代码
1. params = {
复制代码
1. 'image':get_img_base('test.jpg'),
复制代码
1. 'image_type':'BASE64',
复制代码
1. 'face_field':'age,beauty,gender'
复制代码
1. }
复制代码
1. [/code][code]
复制代码
1. res = requests.post(request_url,data=params)
复制代码
1. result = res.text
复制代码
1. json_result = json.loads(result)
复制代码
1. code = json_result['error_code']
复制代码
1. gender = json_result['result']['face_list'][0]['gender']['type']
复制代码
1. beauty = json_result['result']['face_list'][0]['beauty']
复制代码
1. print(code,gender,beauty)
复制代码
1. [/code][code]
复制代码
1. ### result 0 female 76.25
复制代码

这里的token为前面请求得到的，params的参数中，图片需要base64编码~超越妹妹76.25，还算给力。
综合使用最后，我们逐一请求我们保存的图片，过滤掉非人物以及男性图片，获取小姐姐图片的分数（这里处理为1-10分），并分别存在不同的文件夹中。

1. import requests
复制代码
1. import os
复制代码
1. import base64
复制代码
1. import json
复制代码
1. import time
复制代码
1. [/code][code]
复制代码
1. def get_img_base(file):
复制代码
1. with open(file,'rb') as fp:
复制代码
1. content = base64.b64encode(fp.read())
复制代码
1. return content
复制代码
1. [/code][code]
复制代码
1. file_path = 'row_img'
复制代码
1. list_paths = os.listdir(file_path)
复制代码
1. for list_path in list_paths:
复制代码
1. img_path = file_path + '/' + list_path
复制代码
1. # print(img_path)
复制代码
1. [/code][code]
复制代码
1. token = '24.a2d7a4d09435e716cf1cb163f176cb12.2592000.1553929524.282335-15648650'
复制代码
1. [/code][code]
复制代码
1. request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"
复制代码
1. request_url = request_url + "?access_token=" + token
复制代码
1. [/code][code]
复制代码
1. params = {
复制代码
1. 'image':get_img_base(img_path),
复制代码
1. 'image_type':'BASE64',
复制代码
1. 'face_field':'age,beauty,gender'
复制代码
1. }
复制代码
1. [/code][code]
复制代码
1. res = requests.post(request_url,data=params)
复制代码
1. json_result = json.loads(res.text)
复制代码
1. code = json_result['error_code']
复制代码
1. if code == 222202:
复制代码
1. continue
复制代码
1. [/code][code]
复制代码
1. try:
复制代码
1. gender = json_result['result']['face_list'][0]['gender']['type']
复制代码
1. if gender == 'male':
复制代码
1. continue
复制代码
1. beauty = json_result['result']['face_list'][0]['beauty']
复制代码
1. new_beauty = round(beauty/10,1)
复制代码
1. print(img_path,new_beauty)
复制代码
1. if new_beauty >= 8:
复制代码
1. os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) + '+' + list_path))
复制代码
1. elif new_beauty >= 7:
复制代码
1. os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) + '+' + list_path))
复制代码
1. elif new_beauty >= 6:
复制代码
1. os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) + '+' + list_path))
复制代码
1. elif new_beauty >= 5:
复制代码
1. os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) + '+' + list_path))
复制代码
1. else:
复制代码
1. os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) + '+' + list_path))
复制代码
1. time.sleep(1)
复制代码
1. [/code][code]
复制代码
1. except KeyError:
复制代码
1. pass
复制代码
1. except TypeError:
复制代码
1. pass
复制代码

关于作者：罗攀，知名论坛Python爬虫专题管理员。擅长Python爬虫技术，并对Python数据分析与挖掘也有研究。曾经在CSDN等多个知名博客网站发表多篇技术文章（CSDN博客地址：https://blog.csdn.net/luoluopan），深受读者的喜爱。由于热爱爬虫还写了一本《从零开始学Python数据分析》，目前从事线上Python网络爬虫的培训工作。

[url=]
[/url]
扫码或者点击封面购买

本书便是一本“小白”学习Python数据分析的入门图书。书中不仅有各种分析框架的使用技巧，而且也有各类数据图表的绘制方法。本书通过多个案例讲解，让读者可以体验数据背后的乐趣。
本书特色：

视频教学，高效、直观
内容全面，讲解系统
给出了数据分析环境的安装和配置步骤
详细介绍了数据分析的流程
提供了9个有较高应用价值的项目案例，有很强的实用性
提供教学PPT，方便教学和学习

扫码购买