亚洲精品久久一区二区三区777,99j久久精品久久久久久,啦啦啦在线视频免费观看www

馬錦濤

2021-01-28 閱讀量: 480

反爬如何禁用Cookie？

有些網(wǎng)站會(huì)通過(guò)Cookie來(lái)發(fā)現(xiàn)爬蟲的軌跡。網(wǎng)站會(huì)通過(guò)Cookie跟蹤你的訪問(wèn)過(guò)程，如果發(fā)現(xiàn)了爬蟲異常行為就會(huì)中斷你的訪問(wèn)，比如極為快速地填寫表單，或者瀏覽大量頁(yè)面。雖然這些行為可以通過(guò)關(guān)閉并重新連接或者改變IP地址來(lái)偽裝，但是如果Cookie暴露了你的身份，再多努力也是白費(fèi)。因此，如果不是特殊需要，可以禁用Cookie，這樣網(wǎng)站就無(wú)法通過(guò)Cookie來(lái)偵測(cè)到爬蟲了。Scrapy中禁止Cookie功能也非常簡(jiǎn)單，在配置文件settings.py中將COOKIES_ENABLED設(shè)置為False即可（默認(rèn)是True），如下代碼所示：

# Disable cookies (enabled by default)

COOKIES_ENABLED = False