sihua 2019-02-20
环境:python 3.6.4
系统:win 7
相关包:见程序
我个人觉得,BB半天不如有个程序来的实在,有了程序自己看,不懂得谷谷大佬,这是最好的学习方式,所以。
载入包、函数获取url、函数获取高德地图相关url
函数page加载、摩拜定位(这个没用到,本文中无视)
运行&结果(注释为摩拜定位运行程序,因为缺少数据库,所以无法得到结果)
这里稍微注释几句以便大家理解起来更容易(毕竟谁都觉得谁写的程序思维都很清奇):
1.缺少的库自己下,cmd下pip install +库名(前提是你装了pip,建议直接安装Anaconda3,省事不少)
2.load_url函数就是普通的requests.get的调用,pois是高德的一个字段名,具体的可以去 高德API文档 自己查看,截个图方便大家快速理解pois,这里如果直接print(z.text)会出来pois的所有属性和值,没必要,我们就看个学校名字就行了,所以选中z[‘name’]字段的内容打印即可
pois内容(不全)
3.ThreadPoolExecutor是多线程使用,加快获取url的速度嘛,max_workers不设置的话默认是“ cpu核数 * 5 ”,关于这个部分可以去最开始说的知乎专栏里去查看( 异步加载 ),用两次就会了,python不就是一个入门简单的语言吗
4. 需要着重说明一下 : param中的‘key’字的内容是需要自己创建的(你可不可以用我的我没试过,我不建议这么做,学一个东西就慢慢地刨根问底,这样才能挖的深学的多),创建很简单,给个链接自己看 获取高德开发key
5.param中的page初始为空,配合merge_dicts函数一起使用即可得到所需page的url,这里page取1~50,是我随便取的,我也没看到底高德有多少页数据,你可以自己查看一下然后更改
6.packle保存数据
7.[239]的mobai直接忽视就行了,因为缺少数据库资源,这里的数据库用的mongo的,但现在mongo都变成云数据库了,参考的资料爬的时候还是下载的客户端版本,so这里,以后再说吧?
爬虫部分是做数据挖掘的基础,爬虫工程师、数据分析师、大数据工程师这一个个进阶就不多说了,一下触碰不到的香唇,那就从脚舔起来。
pytyhon学习资料
python学习资料