Python爬虫教程：爬取深圳租房信息

albertjone 2018-10-10

考虑到以后可能会在深圳工作，所以写了这个爬虫，希望对自己的找房过程提供一些便捷。

信息来源是豆瓣的深圳租房小组（想爬取其他城市只需要更换一下URL就好）。

你们一定会说这么麻烦干什么，租房APP不是直接看么？我也是这么想的。。。但是租房APP上中介比较多，豆瓣上多是个人房源，中介少，比较可靠。但豆瓣APP没有筛选功能，只是相当于百度贴吧一样的浏览界面。

Python爬虫教程：爬取深圳租房信息

所以我提供了价格筛选功能，目前设定的是2000/月。

我把它按标题，帖子链接，正文的顺序保存在txt文件下，便于分享。

以下是效果图↓

Python爬虫教程：爬取深圳租房信息

因为有些帖子的正文没有内容，所以是空行

代码↓

Python爬虫教程：爬取深圳租房信息

因为headers比较长所以我省略了一部分，比较遗憾的是不会操作PDF文件，不然就可以把图片也写进去。（中间因为请求太频繁豆瓣还把我的账号锁定了0.0）

有需要Python学习资料的小伙伴吗?小编整理【一套Python资料、源码和PDF】，感兴趣者可以关注小编后私信学习资料（是关注后私信哦）反正闲着也是闲着呢，不如学点东西啦

: albertjone

相关推荐

python 发送get请求接口详解

　　如果想用python做接口测试，我们首先有不得不了解和学习的模块。虽然Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。更好的方案是使用。它是一个Python第三方库，处理URL资源特别方便。R

YENCSDN 0喜欢 / 0评论 2020-11-17

python 使用tkinter+you-get实现视频下载器

#获取屏幕尺寸以计算布局参数，使窗口居屏幕中央,其中width和height为界面宽和高。#阻止窗口调整大小

lsjweiyi 0喜欢 / 0评论 2020-11-17

python中requests模拟登录的三种方式(携带cookie/session进行请求网站)

session是在cookie的基础上，服务端设置session时会向浏览器发送设置一个设置cookie的请求，这个cookie包括session的id当访问服务端时带上这个session_id就可以获取到用户保存在服务端对应的session. 到此这篇关

houmenghu 0喜欢 / 0评论 2020-11-17

python开发一个解析protobuf文件的简单编译器

最近刚刚用python写完了一个解析protobuf文件的简单编译器，深感ply实现词法分析和语法分析的简洁方便。乘着余热未过，头脑清醒，记下一点总结和心得，方便各位pythoner参考使用。如果你不是从事编译器或者解析器的开发工作，你可能从未听说过ply

Erick 0喜欢 / 0评论 2020-11-17

python 下载文件的多种方法汇总

本文档介绍了 Python 下载文件的各种方式，从下载简单的小文件到用断点续传的方式下载大文件。使用 Requests 模块的 get 方法从一个 url 上下载文件，在 python 爬虫中经常使用它下载简单的网页内容。使用 python 内置的 url

HeyShHeyou 0喜欢 / 0评论 2020-11-17

Linux Shell 如何获取参数的方法

是显示最后命令的退出状态，0表示没有错误，其他表示有错误。不同点：$* 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号(" ")包含时，都以"$1" "$2" …"$n"

以梦为马不负韶华 0喜欢 / 0评论 2020-10-20

python跨文件使用全局变量的实现

但是他的一大缺陷就是只能本module 中也就是本文件中使用，跳出这个module就不行。使用一个更宏观的思路，全局变量就用全局加载的模块解决，很遗憾也是不行，这样可以，但是如果再有一个module 想用呢？这样就会报错，因为import 加载就会执行一遍

lhtzbj 0喜欢 / 0评论 2020-11-17

Python爬虫破解登陆哔哩哔哩的方法

作为一名找不到工作的爬虫菜鸡人士来说，登陆这一块肯定是个比较大的难题。从今天开始准备一点点对大型网站进行逐个登陆破解。加深自己爬虫水平。if response_json['code'] == 0 and response_json['data']['sta

夜斗不是神 0喜欢 / 0评论 2020-11-17

python调用百度API实现人脸识别

# """ 你的 APPID AK SK """. # img = Image.fromarray #将每一帧转为Image. # output_buffer = BytesIO() #创

pythonjw 0喜欢 / 0评论 2020-11-17

Python调用ffmpeg开源视频处理库，批量处理视频

strcmd = r'ffprobe -print_format json -show_streams -i "{}"'.format. strcmd = 'ffmpeg -i "{}" -vcodec copy -

dingwun 0喜欢 / 0评论 2020-11-16

详解python os.path.exists判断文件或文件夹是否存在

os即operating system，Python 的 os 模块封装了常见的文件和目录操作。os.path模块主要用于文件的属性获取,exists是“存在”的意思，所以顾名思义，os.path.exists()就是判断括号里的文件是否存在的意思，括号内

lhxxhl 0喜欢 / 0评论 2020-11-16

python实现在列表中查找某个元素的下标示例

列表中字符和数字都有。使用python的内建函数enumerate

sunskyday 0喜欢 / 0评论 2020-11-16

python如何获得list或numpy数组中最大元素对应的索引

#表示最大值在第二行第二列

sizhixht 0喜欢 / 0评论 2020-11-16

Python实现列表索引批量删除的5种方法

开头，如果不仔细看好像没什么问题。但是结果却是错误的。将 listObj.remove() 改为listObj.pop结果也是相同的。Java用同样的编程思想，得到的结果也有相似性。这种错误，主要是初学者对于数据存储原理没有理解清楚，或者，没有意识到内存存

坚持是一种品质 0喜欢 / 0评论 2020-11-16

python 爬虫如何实现百度翻译

本文将会通过爬虫的方式实现简单的百度翻译。本文中的代码只供学习，不允许作为于商务作用。若有侵犯，立即删文！在网站文件中找到隐藏的免费api。传入api所需要的参数并对其发出请求。在返回的json结果里找到相应的翻译结果。进入百度翻译，随便输入一段需要翻译的

染血白衣 0喜欢 / 0评论 2020-11-16

致命错误！Python开发者的7个崩溃瞬间

本文转载自公众号“读芯术”。毫无疑问，Python是当今使用最为广泛的编程语言。但无论你经验多丰富，或是已使用过多少种语言，切换到Python时都不能保证非常顺利。具有面向对象编程背景的开发人员容易忽略Python的惯用特性，很可能会滥用编程结构，从而产生

huavhuahua 0喜欢 / 0评论 2020-11-20

针对Python开发人员的10个“疯狂”的项目构想

最棒的是，你可以通过这些有趣但也具有挑战性的项目来增强 Python 编程技能。你知道 Python 是被称为全能编程语言的吗？是的，它确实是，虽然不应该在每个项目中都使用它。你可以使用它来创建桌面应用程序、游戏、移动应用程序、网站和系统软件。它甚至是

meylovezn 0喜欢 / 0评论 2020-11-20

用Python内置模块处理ini配置文件

开发人员每天都在处理一些大型而复杂的项目，而配置文件会帮到我们并节省不少时间。在处理配置文件过程中，无需更改源代码本身，只需要调整配置文件即可访问不同的API接口、更新基础URL信息或其它事情。尽管可以通过多种方式来支持软件中的配置文件，包括JSON，

逍遥友 0喜欢 / 0评论 2020-11-20

VS Code 中 Python 扩展的部分功能重构，支持 R 和 Julia

11 月 12 日，微软将 Jupyter Notebook 支持从 Python 扩展中独立出来，发布新的 Jupyter 扩展，支持智能感知，调试等功能的交互式编程和计算。Jupyter 扩展通过新的“ Native Notebooks Experi

weiiron 0喜欢 / 0评论 2020-11-16

Python五个隐藏的特性，你可能从未听说过

在本文中，我将向您展示Python中很常见的5个特性。有经验的Python开发人员可能认识其中一些。然而，这对其他人仍将是未知的。是的，你没看错，在Python中...是一个有效的构造。...是称为省略号的单例对象。如果你把它输入到Python解释器中，你

Yasin 0喜欢 / 0评论 2020-11-16

为什么继承 Python 内置类型会出问题？！

《流畅的Python》一书值得反复回看，可以温故知新。最近我偶然翻到书中一个有点诡异的知识点，因此准备来聊一聊这个话题——子类化内置类型可能会出问题?!在正式开始之前，我们首先要科普一下：哪些是 Python 的内置类型?这些类型可以简单理解成其它语言中的

xiaoseyihe 0喜欢 / 0评论 2020-11-16

学习Python：脑筋急转弯和其他有趣技巧

而咨询和研讨会提供商353Solutions的首席执行官Miki Tebeka却不是这样，当疫情开始后，他开始编写Python练习书。Tebeka说他已经使用Python多年，目前正在教授有关编程语言的讲习班。Tebeka表示，参与Twitter很容易，有

cakecc00 0喜欢 / 0评论 2020-11-15

使用开源可视化工具来理解你的Python代码

VizTracer 工具可以可视化并跟踪 Python 代码，让你可以更深入地了解其工作原理。随着 Python 项目变得越来越大、越复杂，理解起它来就变得充满挑战性。即使是你自己独自编写了整个项目，也不可能完全知道项目是如何工作的。为了能更好的理解你的代

千锋 0喜欢 / 0评论 2020-11-15

Python之父Guido Van Rossum宣布加入微软

在从 Dropbox 退休一年后，64 岁的 Python 之父吉多 · 范罗苏姆宣布复出并加盟微软。然而，今天看来他的退休之旅已经结束。van Rossum 表示，他加入微软后，将致力于「使用户更好地使用 Python」。微软发言人表示欢迎 van R

JakobHu 0喜欢 / 0评论 2020-11-14

Python之父，现在成为微软打工人

Python之父，现在成了微软的打工人。没错，全世界程序员们最喜欢的编程语言的创造者，自述耐不住退休生活的寂寞，重返岗位发光发热。又为什么选择微软？几个小时前，Guido Van Rossum本人发推宣布了这个消息，他说：「退休生活太无聊了，我决定加入微软

guangcheng 0喜欢 / 0评论 2020-11-13

Python代码可以有多简洁，看看它如何实现数组求极值

Python 最大的优势是不需编译，而且代码简洁。我初学 Python 时，被它的简洁震惊到了，尤其是文件操作和数组操作，只需要一行代码搞定文件读入，相同功能， Java 的 IO 操作基本上是十行代码量。所以，偶尔也会用 Python 做一些小事情。

diyanpython 0喜欢 / 0评论 2020-11-12

GitHub上十大很火的Python项目，最后一个竟然是它！

作为程序开发人员，GitHub是大家平时必逛的网站，GitHub作为目前全球比较大的男性同性交友平台，上面存在着太多太多的宝藏程序。今天，小编就为大家来盘点一下GitHub上最火的python项目前十名。并分别为大家介绍每个项目的用途，看看大家能从中收获什

GuoSir 0喜欢 / 0评论 2020-11-12

Python实用技：将Office文件转为PDF

不过在做具体操作之前需要在 PC 安装好 Office，再利用 Python 的 win32com 包来实现 Office 文件的转换操作。如果我们遇到安装错误，可以通过python -m pip install --upgrade pip更新云端的方式

elizabethxxy 0喜欢 / 0评论 2020-11-11

Python列表边遍历边删除，怎么用才不报越界错误呢？

¤¨¤è IT ·¨¤è¨°èè¤èèè°§¨¤è·“è· Bug °”¨Bug è¨é° Bug èé§è·。¨è·Bug èé;èéè¨é°è·ééè!System.outmain boilerplate ·èè for éèuser.for+T

kikaylee 0喜欢 / 0评论 2020-11-11

深入Python中的 Collections 模块

collections模块是一个不用不知道，一用就上瘾的模块。这里主要介绍OrderedDict类、defaultdict类、Counter类、namedtuple类和deque类。Counter是对字典类型的补充，用于追踪值得出现次数。elements

honghao0 0喜欢 / 0评论 2020-11-11

GitHub十大热门Python项目

GitHub显然是绝大多数在线代码的家园。Python作为一种神奇而又通用的编程语言，已经被成千上万的开发者用来构建各种有趣而有用的项目。在下面的部分，我们将尝试涵盖GitHub上一些使用Python构建的最佳项目。Airflow是Apache软件基金会推

逍遥友 0喜欢 / 0评论 2020-11-10

2020年11月编程语言排行：C、Python、Java

2020年11月编程语言排行：C、Python、Java，9-20名也有不同程度的变化：R语言、Perl 和 Go 语言名次都有大幅提升，分别为9名、12名和13名;Swift、Ruby、Delphl/Object Pascal 和 Objective-

xirongxudlut 0喜欢 / 0评论 2020-11-10

Python超市进销存管理系统！老妈开超市有系统了

系统包括7种操作，分别是：1.查询所有商品;2.添加商品;3.修改商品;4.删除商品;5.卖出商品;6.汇总;0.退出系统。return'名称：%s,卖出数量：%d,进货价格：%.2f,卖出价格：%.2f'%

helen0 0喜欢 / 0评论 2020-11-10

深入Python中引用计数

在python中的垃圾回收机制主要是以引用计数为主要手段以标记清除和隔代回收机制为辅的手段。可以对内存中无效数据的自动管理!在这篇文章，带着这个问题来一直往下看：怎么知道一个对象能不能被调用了呢?Python中的任何变量都有对应的内存引用，也就是内存地

chunjiekid 0喜欢 / 0评论 2020-11-10

Python 用5行代码学机器学习—线性回归

我准备使用scikit-learn给大家介绍一些模型的基础知识，今天就来讲讲线性回归模型。开始之前，你要确保Python和pip已经成功安装在电脑上噢，如果没有，请访问这篇文章：超详细Python安装指南进行安装。如果你用Python的目的是数据分析，

机器学习之家 0喜欢 / 0评论 2020-11-10

Python获取A股上市公司财报数据

'''import pandas as pd import tushare as ts from time import sleep '''. report_type 报表类型，1合并报表 2单季合并 3调整单季合并表 4调整合并报表 5调整前合并报表 6

zhangpan 0喜欢 / 0评论 2020-11-09

GitHub 上适合新手的开源项目（Python 篇）

随着 Python 语言的流行，越来越多的人加入到了 Python 的大家庭中。为什么这么多人学 Python ？我要喊出那句话了：“人生苦短，我用 Python！”，正是因为语法简单、容易学习，所以 Python 深受大家喜爱。Python 初学者在迈过

solarLan 0喜欢 / 0评论 2020-11-09

TIOBE 11月编程语言榜单出炉，Python势不可挡，超越Java！

TIOBE索引自开始以来到今天已有将近20年前之久，是首次出现Java和C语言不再占据前两名的位置。C语言仍然是第一，但现在是Python占据了第二的位置。有人说，Python最近的流行度激增是因为数据挖掘、AI和数值计算等领域的蓬勃发展。我认为，Pyth

pythonxuexi 0喜欢 / 0评论 2020-11-08

属于新十年的开发语言：Go语言可能很快会取代Python

30年前，Python首次亮相，它花了20年才得到开发者的赞赏。如今，它已经成为开发者第二喜爱的语言。尤其是在过去五年里，Python用户激增，成为机器学习和数据科学开发者的首选语言。在未来几年里，Python在这些领域的主导地位必然是很难被动摇的。但与较

文山羊 0喜欢 / 0评论 2020-11-07

Python曾是程序员的“瑞士军刀”，而如今正被慢慢取代

上世纪90年代初，Python面世了。近30年来，关于它的“炒作”一直没有少过。当然，编程界花了至少20年的时间才认识到它，但自那以后，它的流行程度远远超过了C、C#、Java甚至Javascript。尽管Python目前在数据科学和机器学习领域，以及某些

susmote 0喜欢 / 0评论 2020-11-07

如何用Python清理文本数据？

不是所有数据格式都会采用表格格式。随着我们进入大数据时代，数据的格式非常多样化，包括图像、文本、图形等等。在本文中，将展示如何使用Python预处理文本数据，我们需要用到 NLTK 和 re-library 库。我们这样做的原因是为了避免区分大小写的过程。

cakecc00 0喜欢 / 0评论 2020-11-06

如果不能用Python执行机器学习，那该用什么呢？

长期学习数据科学的人一定知道如何用Python、R和Julia这些语言执行机器学习任务。然而，如果速度很关键，但硬件很有限，或者所在公司仅使用SQL进行预测分析，又该怎么办呢?答案就是——数据库内的机器学习。下面将使用Oracle机器学习在著名的Iris数

mori 0喜欢 / 0评论 2020-11-06

Python文本预处理，试试BAT大佬总结的实用代码！

本文将讨论文本预处理的基本步骤，旨在将文本信息从人类语言转换为机器可读格式以便用于后续处理。此外，本文还将进一步讨论文本预处理过程所需要的工具。当拿到一个文本后，首先从文本正则化处理开始。如果文本中的数字与文本分析无关的话，那就删除这些数字。通常，正则化

wordmhg 0喜欢 / 0评论 2020-11-06

深入Python中的itertools模块

在Python中有一个功能强大的迭代工具包itertools，是Python自带的标准工具包之一。由于itertools是内置库，不需要任何安装，直接import itertools即可。product 用于求多个可迭代对象的笛卡尔积，它跟嵌套的 for

elizabethxxy 0喜欢 / 0评论 2020-11-06

编程语言排行榜：Python 排名第二，首次领先于 Java

Tiobe 这么多年以来发布的指数中，29 岁的 Python 首次超过了 25 岁 Java，成为第二受欢迎的编程语言。在最新的 Tiobe 指数中，数据科学和机器学习项目的首选语言 Python，现在排名仅次于 C 语言，排在第二位，将 Java

wuShiJingZuo 0喜欢 / 0评论 2020-11-05

TIOBE 11月榜单：Python挤掉了Java！

根据Tiobe之最新编程语言排名。Java语言的流行度在本月持续下降，而Python语言正式登上世界第二大语言的宝座。若Python真的超越了Java，那将是Tiobe编程排行榜在创立以来最大的变化，在知道该排名从2001年开始，Java一直占据前两名未变

Pythonjeff远 0喜欢 / 0评论 2020-11-06

聊聊 Python 办公自动化之一 Excel

本文转载自微信公众号「AirPython」，作者星安果。但是，经常会遇到一些重复繁琐的事情，这时候手工操作显得效率极其低下;通过 Python 实现办公自动化变的很有必要。接下来的一系列文章，我将带大家对 Python 办公自动化做一个全面的总结，绝对

diyanpython 0喜欢 / 0评论 2020-11-05

Python NumPy用法介绍

NumPy是Python数值计算最重要的基础包，大多数提供科学计算的包都是用NumPy的数组作为构建基础。NumPy本身并没有提供多么高级的数据分析功能，理解NumPy数组以及面向数组的计算，将有助于你更加高效地使用诸如Pandas之类的工具。ndarra

huavhuahua 0喜欢 / 0评论 2020-11-05

Python在下个十年依然重要吗？

愚者多怨，仁者不言，生活中就是会有很多爱唱反调的人，但不管怎么说Python 在接下来十年仍然会很重要。“人红是非多”，Python是一门很棒的编程语言，虽然有许许多多的批评，依旧挡不住它红火的势头。一个东西之所以能流行必然有它的过人之处，那这些批评是对的

jacktangj 0喜欢 / 0评论 2020-11-04

TIOBE 11 月榜单：Python 挤掉 Java，成功跃至第二

TIOBE 公布了 2020 年 11 月的编程语言排行榜。Python 已成功跃居榜单第二名，本月排名率为 12.12%; Java 被挤到第三位，排名率降至 11.68%。自有 TIOBE 榜单以来，C 和 Java 之前一直占据着前两名的位置。然而

lousir 0喜欢 / 0评论 2020-11-04