手把手教你进行Scrapy中item类的实例化操作

heyboz 2020-10-21

 手把手教你进行Scrapy中item类的实例化操作

1、首先在爬虫主体文件中将Item模块导入进来,如下图所示。

手把手教你进行Scrapy中item类的实例化操作

2、第一步的意思是说将items.py中的ArticleItem类导入到爬虫主体文件中去,将两个文件串联起来,其中items.py的部分内容如下图所示。

手把手教你进行Scrapy中item类的实例化操作

3、将这个ArticleItem类导入之后,接下来我们就可以对这个类进行初始化,并对其进行相应值的填充。首先去parse_detail函数下对其进行实例化,实例化的方法也十分简单,如下图所示。

手把手教你进行Scrapy中item类的实例化操作

4、接下来,我们将填充对应的值。实际上我们在之前通过Xpath或者CSS选择器已经获取到了目标数据,如下图所示,现在要做的就是依次填充目标字段的值。

手把手教你进行Scrapy中item类的实例化操作

5、我们可以像字典一样来给目标字段传值,例如item[“title”]= title,其他的目标字段的填充也是形如该格式,填充完成之后如下图所示。

手把手教你进行Scrapy中item类的实例化操作

其中,目标字段可以参考items.py中定义的item,这样可以加快填充的速度。

相关推荐