作者：閑歡

來源：Python 技術

經常有粉絲在后臺留言，問：大佬，運行你的爬蟲程序怎么報錯了？

我讓他把報錯信息發(fā)過來，看過之后一聲嘆息。

大多數(shù)粉絲是直接拿著代碼就開始運行，然后就是等待結果，完全不去仔細閱讀和理解源碼，遇到報錯就直接過來詢問。

多數(shù)爬蟲源碼運行的報錯都是由于訪問目標網站過于頻繁，從而導致目標網站返回錯誤或者沒有數(shù)據返回。

目前大多數(shù)網站都是有反爬措施的，如果 IP 在一定時間內 請求次數(shù)超過了一定的閾值就會觸發(fā)反爬措施，拒絕訪問，也就是我們經常聽到的“封IP”。

那么怎么解決這個問題呢？

一種解決辦法就是降低訪問頻率，訪問一次就等待一定時長，然后再次訪問。這種方法對于反爬措施不嚴格的網站是有效的。

如果遇到反爬措施嚴格的網站，訪問次數(shù)多了還是會被封殺。而且有時候你需要爬取數(shù)據，這種解決辦法會使獲取數(shù)據的周期特別長。

第二種解決辦法就是使用代理 IP。我不斷地切換 IP 訪問，讓目標網站認為是不同的用戶在訪問，從而繞過反爬措施。這也是最常見的方式。

接著，我們又面臨一個問題：哪來這么多獨立 IP 地址呢？

最省事的方式當然是花錢買服務，這種花錢買到的 IP 一般都是比較穩(wěn)定可靠的。

今天我們來聊一下不花錢免費獲取代理 IP 的方式。

ProxyPool 簡介

ProxyPool 是一個爬蟲的代理 IP 池，主要功能為定時采集網上發(fā)布的免費代理驗證入庫，定時驗證入庫的代理保證代理的可用性，提供API和CLI兩種使用方式。

同時你也可以擴展代理源以增加代理池IP的質量和數(shù)量。

獲取項目

我們可以通過兩種方式獲取 ProxyPool 項目。

第一種是通過命令行下載：

git clone git@github.com:jhao104/proxy_pool.git

第二種是下載對應的 zip 壓縮包：

安裝依賴

我們獲取到項目之后，進入到項目的根目錄，運行下面的代碼來安裝項目所需的依賴包：

pip install -r requirements.txt

修改配置文件

要在本地運行項目，我們需要針對本地環(huán)境修改一些配置。打開項目中的 setting.py 這個文件，根據自己本地的環(huán)境和要求修改配置。

# setting.py 為項目配置文件 # 配置API服務 HOST = "0.0.0.0" # IP PORT = 5000 # 監(jiān)聽端口 # 配置數(shù)據庫 DB_CONN = 'redis://:pwd@127.0.0.1:8888/0' # 配置 ProxyFetcher PROXY_FETCHER = [ "freeProxy01", # 這里是啟用的代理抓取方法名，所有fetch方法位于fetcher/proxyFetcher.py "freeProxy02", # .... ]

主要修改的幾項配置是監(jiān)聽端口（PORT）、 Redis 數(shù)據庫的配置（DB_CONN）和啟用的代理方法名（PROXY_FETCHER）。

啟動項目

修改完配置之后，我們就可以愉快地使用了。

這個項目總體分為兩個部分：爬取代理 IP 和 取用代理 IP。

如果你要啟用爬取代理 IP 的服務，直接運行下面命令：

python proxyPool.py schedule

啟動之后，你就可以看到如下的控制臺信息了：

程序每隔一段時間就會定時爬取一下，直到我們的 IP 池里面有一定數(shù)量的可用 IP 。

其實，作者在這個項目中運用的原來就是到一些免費的代理網站采集 IP，然后測試 IP 的可用性，可用的就存入 Redis 中，不可用就丟棄。

所以你完全可以自己寫一套程序實現(xiàn)這個邏輯。

使用代理 IP

要使用代理 IP，你需要啟動 webApi 服務：

python proxyPool.py server

啟動web服務后, 默認配置下會開啟 http://127.0.0.1:5010 的api接口服務:

如果要在爬蟲代碼中使用的話， 可以將此api封裝成函數(shù)直接使用，例如：

import requests def get_proxy(): return requests.get("http://127.0.0.1:5010/get/").json() def delete_proxy(proxy): requests.get("http://127.0.0.1:5010/delete/?proxy={}".format(proxy)) # your spider code def getHtml(): # .... retry_count = 5 proxy = get_proxy().get("proxy") while retry_count > 0: try:
            html = requests.get('http://www.example.com', proxies={"http": "http://{}".format(proxy)}) # 使用代理訪問 return html except Exception:
            retry_count -= 1 # 刪除代理池中代理 delete_proxy(proxy) return None 

總結

作為學習使用的 IP 代理池，這項目獲取的足夠使用了，但是對于一些復雜的爬蟲項目或者商業(yè)項目的話，可能比較夠嗆，畢竟這種爬取的免費代理質量肯定沒有那么好，不穩(wěn)定是正常的。