99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
2021-01-28 閱讀量: 476
反爬如何降低請(qǐng)求頻率？

降低請(qǐng)求頻率的做法，不僅僅是為了避開網(wǎng)站的偵測(cè)，更重要的是體現(xiàn)出了一個(gè)爬蟲專家基本的素質(zhì)。我們應(yīng)該對(duì)能夠獲取免費(fèi)數(shù)據(jù)心懷感恩，而不是惡意攻擊網(wǎng)站，致其帶來很大的帶寬壓力，甚至癱瘓。畢竟還是有許多網(wǎng)站，對(duì)爬蟲還是比較寬容的。

對(duì)于Scrapy框架來說，設(shè)置請(qǐng)求的頻率（即下載延遲時(shí)間）非常簡(jiǎn)單。在配置文件settings.py中設(shè)置DOWNLOAD_DELAY即可，以下代碼設(shè)置下載延遲時(shí)間為3秒，即兩次請(qǐng)求間隔3秒。


DOWNLOAD_DELAY = 3#設(shè)置下載延遲時(shí)間為3秒


0.0000
0
關(guān)注作者
收藏
評(píng)論(0)

發(fā)表評(píng)論

暫無數(shù)據(jù)
推薦帖子