python 让挑选家具更方便(内附python教程分享)

HMHYY 2019-03-17

爬虫分析

打开官网 http://www.likoujiaju.com/ ,可以看到分类,这里以「沙发」来举例。

总共8页的数据,第一页的网址里 sell/list-66.html,第二页的sell/list-66-2.html,所以sell/list-66-1.html也就是第一页数据了,这样就更方便遍历网址来获取数据了。

同时这里使用BeautifulSoup解析数据,F12查找标题、价格、图片对应的标签。

python 让挑选家具更方便(内附python教程分享)

爬取到的价格是string类型的,且有些价格并不明确的,所以这里需要对价格进行处理并排序,用到的list的sort(key=take_price)方法,其中key=take_price指定的方法,使用指定的方法去进行比较排序。

python 让挑选家具更方便(内附python教程分享)

再对列表进行排序操作,reverse=True降序排列

furniture.sort(key=take_price, reverse=True)

生成表格

这里采用的xlsxwriter库,便于图片的插入,安装pip install xlsxwriter

主要用到的方法:

xlsxwriter.Workbook("")创建excel表格。

add_worksheet("")创建工作表。

write(row, col, *args) 根据行、列坐标将数据写入单元格。

set_row(row, height) 设置行高。

set_column(first_col, last_col, width) 设置列宽,first_col 指定开始列位置,last_col 指定结束列位置。

insert_image(row, col, image[, options]) 用于插入图片到指定的单元格

创建两个表,一个用于存放爬取的数据,一个用于存放词频。

python 让挑选家具更方便(内附python教程分享)

目录下会生成 furniture.xlsx 表格

python 让挑选家具更方便(内附python教程分享)

生成词频

利用jieba分词对家具名进行分词处理,用字典保存各个名词的数量,写入到excel。

python 让挑选家具更方便(内附python教程分享)

词频统计,实地去购买的时候,也可以根据相应的词汇去咨询卖家~

python 让挑选家具更方便(内附python教程分享)

这篇文章用到的爬虫方面的知识还是比较基础的,excel表格的生成也是xlsxwriter库的使用,制作成表格也方便父母辈查看。当然,爬虫的数据还可以用在许多地方。

最后,想学习Python的小伙伴们!

请关注+私信回复:“学习”就可以拿到一份我为大家准备的Python学习资料!

python 让挑选家具更方便(内附python教程分享)

pytyhon学习资料

python 让挑选家具更方便(内附python教程分享)

python学习资料

相关推荐