2021-01-28
閱讀量:
494
如何實(shí)現(xiàn)隨機(jī)代理?
將免費(fèi)可用的代理服務(wù)器信息保存到Redis數(shù)據(jù)庫(kù)后,所有的Scrapy爬蟲(chóng)項(xiàng)目就可以使用它們了。需要注意的是,一個(gè)爬蟲(chóng)項(xiàng)目的所有請(qǐng)求不能委托給固定的一個(gè)代理服務(wù)器,因?yàn)槟繕?biāo)網(wǎng)站依然會(huì)監(jiān)測(cè)到同一IP頻繁訪問(wèn)的異?,F(xiàn)象。比較好的做法是每次請(qǐng)求時(shí),隨機(jī)指定一個(gè)代理服務(wù)器,將請(qǐng)求分散到多個(gè)代理服務(wù)器中。






評(píng)論(0)


暫無(wú)數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
0條評(píng)論
0條評(píng)論
0條評(píng)論