自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

手把手教你進行Scrapy中item類的實例化操作

開發(fā) 后端
今天給大家介紹Scrapy中item類的實例化操作

 [[347451]]

1、首先在爬蟲主體文件中將Item模塊導(dǎo)入進來,如下圖所示。

 

 

 

 

2、第一步的意思是說將items.py中的ArticleItem類導(dǎo)入到爬蟲主體文件中去,將兩個文件串聯(lián)起來,其中items.py的部分內(nèi)容如下圖所示。

 

 

 

 

3、將這個ArticleItem類導(dǎo)入之后,接下來我們就可以對這個類進行初始化,并對其進行相應(yīng)值的填充。首先去parse_detail函數(shù)下對其進行實例化,實例化的方法也十分簡單,如下圖所示。

 

 

 

 

4、接下來,我們將填充對應(yīng)的值。實際上我們在之前通過Xpath或者CSS選擇器已經(jīng)獲取到了目標(biāo)數(shù)據(jù),如下圖所示,現(xiàn)在要做的就是依次填充目標(biāo)字段的值。

 

 

 

 

5、我們可以像字典一樣來給目標(biāo)字段傳值,例如item[“title”]= title,其他的目標(biāo)字段的填充也是形如該格式,填充完成之后如下圖所示。

 

 

 

 

其中,目標(biāo)字段可以參考items.py中定義的item,這樣可以加快填充的速度。

6、到這里,我們已經(jīng)將需要填充的字段全部填充完成了,之后我們需要調(diào)用yield,這點十分重要。再調(diào)用yield之后,實例化后的item就會自動傳遞到pipeline當(dāng)中去??梢钥吹较聢D中的pipelines.py中默認(rèn)給出的代碼,說明pipeline其實是可以接收item的。

 

 

 

 

7、到這里,關(guān)于實例化item的步驟就已經(jīng)完成了,是不是比較簡單呢?我們后面把pipeline配置起來,一步一步的將Scrapy串起來。

 

責(zé)任編輯:姜華 來源: IT共享之家
相關(guān)推薦

2021-07-01 09:31:50

MySQL SQL 語句數(shù)據(jù)庫

2018-05-16 13:50:30

Python網(wǎng)絡(luò)爬蟲Scrapy

2022-02-23 20:53:54

數(shù)據(jù)清洗模型

2010-08-09 09:25:23

SQL Server鏡

2021-07-14 09:00:00

JavaFX開發(fā)應(yīng)用

2011-01-10 14:41:26

2011-05-03 15:59:00

黑盒打印機

2021-01-30 10:37:18

ScrapyGerapy網(wǎng)絡(luò)爬蟲

2023-12-13 08:17:24

JPDAJavaDebug

2020-12-17 09:40:01

Matplotlib數(shù)據(jù)可視化命令

2009-10-27 16:05:52

VB.NET File

2011-04-28 09:23:36

REST

2009-07-19 15:02:56

2021-09-26 16:08:23

CC++clang_forma

2021-02-26 11:54:38

MyBatis 插件接口

2011-02-22 13:46:27

微軟SQL.NET

2021-12-28 08:38:26

Linux 中斷喚醒系統(tǒng)Linux 系統(tǒng)

2022-01-08 20:04:20

攔截系統(tǒng)調(diào)用

2023-04-26 12:46:43

DockerSpringKubernetes

2022-12-07 08:42:35

點贊
收藏

51CTO技術(shù)棧公眾號