jeffreyfeng0 2018-03-08
最近这两天小编的朋友圈被刷爆了~什么朴树终于更新微博了啊~什么曲婉婷发表长微博,为妈妈发声,哇~感觉一觉醒来过去了二十年啊,我都错过了什么?
今天小编就教大家如何用Python去爬取微博的全部内容
用Python编写爬虫,爬取微博大V的微博内容,本文以女神(赵丽颖)的微博为例
一般做爬虫爬取网站,首选的都是m站(手机端),其次是wap站,最后考虑PC站。当然,这不是绝对的,有的时候PC站的信息最全,而你又恰好需要全部的信息,那么PC站是你的首选。一般m站都以m开头后接域名,所以本文开搞的网址就是 m.weibo.cn。
定义页面打开函数
获取大V的个人信息
获取微博内容信息,并保存到文本中
定义大V的IP和设置代理IP
运行并查看结果