2021-01-28
閱讀量:
731
Spider如何實(shí)現(xiàn)文件下載?
在Spider中,將想要下載的文件URL地址保存到一個(gè)列表中,并賦給key為file_urls的Item字段中(item[“file_urls”])。
引擎將Item傳入到FilesPipeline管道中。
FilesPipeline獲取Item后,會(huì)讀取Item中key為file_urls的字段(item[“file_urls”]),再根據(jù)獲得的URL地址下載文件。Item在FilesPipeline管道中處于
“鎖定”狀態(tài),直到所有文件全部下載完
(或者某種原因下載失?。?。
所有文件下載完后,會(huì)將各個(gè)文件下載
的結(jié)果信息收集到一個(gè)列表中,
并賦給key為files的Item字段中(item[“files”])。
下載的信息主要包含以下內(nèi)容:
文件下載的路徑
文件的URL地址
文件的校驗(yàn)和(Checksum)






評(píng)論(0)


暫無(wú)數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
0條評(píng)論
0條評(píng)論
0條評(píng)論