微博python爬虫,日百万数据量
新浪微博绝对是一个庞大的实时语料库!对微博数据进行爬取和分析具有重要意义。
例如,如果要调查工商银行的服务态度,可以抓取微博内容中包含工商银行的微博语料,然后做情感分析,得到用户对银行服务的满意度。
再比如最近当红的明星鹿晗,可以抓取鹿晗的粉丝信息,分析这些粉丝的年龄段、标签、爱好、性别分布等。这种对人群的分析也可以用同样的方式应用到商业品牌上,利用用户市场研究。
当然,这样的例子还有很多,所以,首先要有微博数据!
因此,产生了很多微博爬虫项目。后来新浪微博也开放了微博的API接口,但是官方的东西还是有很多限制。
准备
用户代理池
爬微博,这么大的项目,必要的充分的伪装是必要的,所以需要一个User-Agent pool,每次随机选择一个User-Agent。
我在这里整理了一下:User-Agent Pool
足够的微博帐号
微博爬虫需要登录后才能爬取。但是如果一直用一个账号的话,很容易被封号!
所以需要多准备几个账号,每次随机选择一个账号登录爬取。(实际上是随机选择一个)。
至于在哪里买微博号,某宝有:
足够的 IP 代理
如果想快速爬取,如果延迟为0,很快就会封IP,返回403。这时候就需要换代理,所以需要有IP代理池。
当然,经过测试,每次访问延迟0.5s,并发32微博粉丝爬虫,这个参数不会被阻塞!
服务器
事实上,如果免费获取IP代理,通常质量并不好,通过代理访问的延迟会非常大!所以最好不要用代理,加个0.5秒的延迟,慢慢爬。
这时候就需要一个吃苦耐劳的爬虫,24小时不间断的爬取数据!
所以当然要部署在服务器上了!
爬虫策略
登录微博
登录一直是一个很复杂的问题,然而,我们可以把这个问题简单化。
直接通过编写浏览器脚本,自动打开微博手机站,点击登录,在输入框中填写账号和密码,点击登录。最后才回来。
采集后,可以保存在数据库中。每次请求后,从数据库中随机选择一个添加,免登录。
爬取方案
首先,选择一个(或多个)种子用户作为初始捕获对象。
对于每个爬取对象,依次抓取个人信息、所有微博、粉丝列表和关注列表。
将对象的粉丝列表和关注列表中的用户添加到捕获的对象中。如此循环。
这样就可以形成以种子用户为核心,逐层向外扩散的爬虫辐射。
理论上只要一小部分种子用户开始,就可以抓取全网微博!
大V过滤
事实上,有很多微博信息是没有营养的,比如一些低俗的营销号,或者一些明星微博号。因此,我们可以给抓取的对象加上一个比较正常的阈值,也就是普通用户的情况:微博条数
配置
:随机用户代理和随机
: 对于网络爬虫来说,进入市场时数据项会不完整,格式也不统一,所以使用比较合适
= 0.5 下载间隔设置为0.5
= 32 并发下载为 32
= weibo.log 使用日志文件来记录日志
运行环境为:
要求包括:
部署服务器,运行!
服务器安装,并访问外网
完成此配置后微博粉丝爬虫,在本地配置远程数据库,实现可视化运维管理。
运行爬虫
将代码克隆到服务器,安装依赖,执行
nohup 运行.py
已经开始马不停蹄的刷微博了!
通过命令查看最新日志:tail -10 weibo.log。
在日志中,查看抓取速度:
可以看到一分钟可以抓取848项(数据项),所以一天内:
= 可抓取120万条微博数据!!
并且运行在服务器上,可以不断爬取!
同时通过可视化工具在本地连接并查看数据库。
通过简单的计数统计,抓取数量:
可以看到,目前已经抓取了1.8k的用户信息,2.7w的微博语料,8.2w的分析关系信息。
原发布时间为:2018-07-08
本文来自云栖社区伙伴《大数据挖掘DT机器学习》,相关资料可关注《大数据挖掘DT机器学习》