有免费的网络爬虫软件使用吗？

我是金融从业人员~想从网页上爬些数据保存成自己需要的格式做下分析自用~但是我不知道爬下来的数据具体能够做到哪些格式~~我想问一下爬虫除了找专业的人士写之外~就没有什么公司提供一个爬虫软件什么的专供我这种业余人士使用么？

也许问的很业余~专业人士勿笑~..

作为国内首屈一指的金融科技从业人员，我来向您解释这个问题

1 用通用的爬虫工具，比如火车头，这些工具简单易用，但其实是商业软件，有些是收费的，当然你可以找免费版。另外一个很重要的问题，网页格式千奇百怪，通用软件自然解决不了个性问题，所以就有了第二个问题

2 使用开源框架

什么叫开源框架？就是软件包而已，别人帮你写好的一堆函数，你来调用实现功能就好了，当然前提是你得会编程，未必非要写C++这样偏底层的语言，Java，C#，Python已经能解决很多问题了。常用的爬虫框架很多，自己去搜索就好了，我现在用Python下的Scrapy。

3 使用底层函数

问题又来了，那些框架又是怎么写出来的？答案是牛人们用底层函数写出来的，比如说直接用代码去Request一个连接，POST或者GET，然后解析Response内容。

4 如果你并看不懂我上面说的 Request，Post，Get，Response，那么我深刻建议您先简单了解一些网页的运行原理，比如前端（网页端）怎么向后端（服务器端）提需求，后端又是怎么将数据推到前端并渲染成HTML页面。这都会对您的爬虫开发起到事半功倍的效果


本人长期深耕于金融科技的应用一线，致力于将大数据和机器学习应用于策略开发，风险管理和产品做市。欢迎业务交流

scrappy

有业余的，不需要你学习编程，不过需要你会基本抓取规则，比如xpath，正则啥的。我最近在做一个高定义的通过配置文件定义规则然后便可以启动爬虫的项目，只是总感觉这个项目有些鸡肋，食之无味，弃之可惜……

强烈推荐GooSeeker集搜客，非常好用方便，很适合赶时间的小白，关键是方便和傻瓜式操作，简直是爬虫界的SPSS

支持多个格式的数据导出（发布），包括TXT、CSV、Excel、Access、MySQL、SQLServer、SQLite以及发布到网站接口（Api）。
试下爬山虎采集器，www.51pashanhu.com下个免费版试试
简单易学，无需编辑代码，一步采集，特别适合非专科人士。

推荐一个爬虫软件吧：八爪鱼采集器，免费数据采集神器，操作简单，亲测好用，非广告。