2021-01-28
閱讀量:
432
反爬如何偽裝成隨機瀏覽器?
之前我們都是通過User-Agent將爬蟲偽裝成固定瀏覽器,但是對于警覺性高的網(wǎng)站,會偵測到這一反?,F(xiàn)象,即持續(xù)訪問網(wǎng)站的是同一種瀏覽器。因此,每次請求時,可以隨機偽裝成不同類型的瀏覽器。Scrapy中的中間件UserAgentMiddleware就是專門用于設(shè)置User-Agent的。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
0條評論
0條評論
0條評論