有的時候，我們本來寫得好好的爬蟲代碼，之前還運行得Ok, 一下子突然報錯了。

報錯信息如下：

Http 800 Internal internet error

這是因為你的對象網(wǎng)站設(shè)置了反爬蟲程序，如果用現(xiàn)有的爬蟲代碼，會被拒絕。

之前正常的爬蟲代碼如下：

from urllib.request import urlopen

...

html = urlopen(scrapeUrl)

bsObj = BeautifulSoup(html.read(), "html.parser")

這個時候，需要我們給我們的爬蟲代碼做下偽裝，

給它添加表頭偽裝成是來自瀏覽器的請求

修改后的代碼如下：

import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')
response = urllib.request.urlopen(req)
html = response.read()

bsObj = BeautifulSoup(html, "html.parser")

Ok,一切搞定，又可以繼續(xù)爬了。