python爬取股票大单历史记录_利用bs4爬取股票的历史交易数据

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 16:25   2683   0

听起来,爬取股票的所有历史交易数据跟高大上,有木有?

不过写这个爬虫的时候,发现基于网易财经的股票历史数据的爬取其实挺简单,最后再写到txt文档里(暂时写txt,以后会写csv的。可以在用机器学习干一些酷酷的事情~)

爬数据之前,先要看看url怎么构造啊,看了网易财经的url的构造,还真的是很亲民。

下面假设我们要爬取中国石油(601857)的2016年第4季度的数据,url就是下面这样。

url = 'http://quotes.money.163.com/trade/lsjysj_601857.html?year=2016&season=4'

仔细一看,构造url只需要3个参数就够了。

股票的代码:601857,年度:2016,季度:4 。

第一个参数,可以手动输入,后两个参数,可以用循环出多年度的多季度数据。

这个爬虫最重要的也就是循环爬取这些构造出来的url,

然后我们开始写爬取单个页面数据的函数:

爬取的过程呢,就是用BeautifulSoup来过滤源代码。

date = soup.select('div.inner_box > table > tr > td')

就可以获取当前页面,也就是一个年度中一个季度的所有股票交易数据,

然后循环处理一下,在每条数据中的每个数字之后加上空格,每条数据后加上换行,拼接成字符串,返回。

最后在循环url的函数中,循环调用单页面爬取函数,就可以爬取所有的股票数据了。

f = open('./' + title + '.txt', 'wb')

最后再写入一个以股票代码为文件名的txt文档里。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP