2021-01-25
閱讀量:
408
使用ItemLoader填充數(shù)據(jù)?
目前為止我們爬取的數(shù)據(jù)的字段較少,但是當項目很大,提取的字段數(shù)以百計時,數(shù)據(jù)的提取規(guī)則也會越來越多,再加上還要對提取到的數(shù)據(jù)做轉(zhuǎn)換處理,代碼就會變得龐大,維護起來十分困難。
為了解決這個問題,Scrapy提供了項目加載器(ItemLoader)這樣一個填充容器。通過填充容器,可以配置Item中各個字段的提取規(guī)則,并通過函數(shù)分析原始數(shù)據(jù),最后對Item字段賦值,使用起來非常便捷。
2、
Item和ItemLoader的區(qū)別:
Item提供保存抓取到數(shù)據(jù)的容器,需要手動將數(shù)據(jù)保存于容器中。
Itemloader提供的是填充容器的機制。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
0條評論
0條評論
0條評論