來(lái)源：麥?zhǔn)寰幊?

作者：麥?zhǔn)?

練武的人都知道：練武不練功，到老一場(chǎng)空！

說(shuō)的是只練花架子，不練習(xí)內(nèi)功，最終也都是一個(gè)菜鳥(niǎo)級(jí)武師。

學(xué)習(xí)編程何嘗不是！我時(shí)常見(jiàn)到已經(jīng)學(xué)習(xí)相當(dāng)一段時(shí)間的程序員，連稍微深點(diǎn)的基本知識(shí)都沒(méi)有掌握?？蓢@，可悲??！根子不牢，注定走不遠(yuǎn)啊!

基于實(shí)例學(xué)習(xí)編程非常重要，也非常有效，但與此同時(shí)，我們也必須不斷的加強(qiáng)基本功的學(xué)習(xí)，刻意的加強(qiáng)相關(guān)的技術(shù)。掌握技術(shù)脈絡(luò)，加強(qiáng)各項(xiàng)技術(shù)，跳出編程語(yǔ)言本身，練好內(nèi)功，才能爬的又快又好，成為一個(gè)高級(jí)的爬蟲(chóng)工程師！

本文從爬蟲(chóng)的技術(shù)原理出發(fā)，討論了Python爬蟲(chóng)工程師必須掌握和不斷加強(qiáng)的幾項(xiàng)技術(shù)。

技術(shù)脈絡(luò)

1. 程序發(fā)送請(qǐng)求給網(wǎng)頁(yè)服務(wù)器，請(qǐng)求基于HTTP協(xié)議。
2. 服務(wù)器返回網(wǎng)頁(yè)或者數(shù)據(jù)，格式為HTML，JSON，XML等。
3. 程序從HTML，JSON，XML等文本中解析返回的網(wǎng)頁(yè)，用的技術(shù)包括xpath, 正則表達(dá)式，css選擇器等。
4. 程序把解析好的保存到文件或者數(shù)據(jù)庫(kù)中供后續(xù)分析使用。文件格式通常是cvs，數(shù)據(jù)庫(kù)可以使用關(guān)系型數(shù)據(jù)庫(kù)如MySQL，或者非關(guān)系型數(shù)據(jù)庫(kù)如MongoDB。

除此之外，網(wǎng)站會(huì)有各種反爬取技術(shù)，爬蟲(chóng)工程師和網(wǎng)站開(kāi)發(fā)工程一個(gè)攻，一個(gè)守，斗智斗勇。

另外，爬蟲(chóng)10個(gè)網(wǎng)頁(yè)和爬取10000個(gè)網(wǎng)站是不同的概念，你需要維護(hù)要爬取的數(shù)以萬(wàn)計(jì)的URL，設(shè)置更新頻率，去掉不需要的URL等等，查看各個(gè)網(wǎng)站的爬取狀態(tài)等，這就是一個(gè)工程化的問(wèn)題。商業(yè)級(jí)的爬蟲(chóng)涉及到很多工程化問(wèn)題。

就像家庭作坊可以就在自己院子里，一家人就能生產(chǎn)出少量的產(chǎn)品。但要大量生成就需要廠房，財(cái)務(wù)，人事等企業(yè)框架和管理制度、

Python爬蟲(chóng)工程師的修養(yǎng)

下面列舉了爬蟲(chóng)工程師需要不斷掌握和精進(jìn)的基本功技術(shù)：

HTTP協(xié)議

HTTP協(xié)議是爬蟲(chóng)和網(wǎng)頁(yè)交流的語(yǔ)言，如果不懂這個(gè)語(yǔ)言，你肯定不能成為一個(gè)有效的爬蟲(chóng)工程師。你也不需要成為一個(gè)協(xié)議專家，主要掌握請(qǐng)求，相應(yīng)，header，cookie等就可以了。

網(wǎng)頁(yè)格式：HTML和CSS

我們看到的網(wǎng)頁(yè)基本都是HTML的格式，我們要從HTML的腳本中找出所需要的信息，就必須掌握HTML的格式。

同樣的一個(gè)HTML頁(yè)面，我們可以展現(xiàn)不同的樣式。我們通過(guò)CSS來(lái)指定樣式，比如指定表格用什么背景顏色，文字用什么字體等。

這些樣式，本來(lái)不是爬蟲(chóng)工程師在意的事情，因?yàn)槲覀冎辉谝鈹?shù)據(jù)。但是通過(guò)CSS，我們可以有效的定位到某些數(shù)據(jù)，所以CSS還是需要學(xué)習(xí)的，后面的數(shù)據(jù)解析部分會(huì)再次提到CSS。

網(wǎng)頁(yè)格式：JavaScript

HTML是完全靜態(tài)的網(wǎng)頁(yè)，為了在網(wǎng)頁(yè)上實(shí)現(xiàn)動(dòng)態(tài)效果，就有了JavaScript。很多網(wǎng)頁(yè)上的數(shù)據(jù)并沒(méi)有直接在HTML中給出，而是通過(guò)JavaScript后續(xù)又加載出來(lái)的。

實(shí)際上，JavaScript是編程語(yǔ)言排行榜上很靠前的編程語(yǔ)言，所謂的前端開(kāi)發(fā)者需要精通JavaScript，而爬蟲(chóng)工程師了解基本的知識(shí)，知道Ajax請(qǐng)求的相關(guān)原理，有時(shí)候還要知道如何用JavaScript加密，就差不多了。

網(wǎng)頁(yè)格式：JSON

JSON是JavaScript Object Notation的意思，可以理解成一種數(shù)據(jù)結(jié)構(gòu)。一般的數(shù)據(jù)API都是以JSON格式的：

數(shù)據(jù)解析 - xpath

我們需要用某種技術(shù)，從HTML中找出我們想要的數(shù)據(jù)，xpath是其中一種。簡(jiǎn)單說(shuō)，就是通過(guò)路徑來(lái)找到想要的數(shù)據(jù)：

數(shù)據(jù)解析 - css選擇器

通過(guò)指定樣式，我們也可以定位到指定的數(shù)據(jù)，再解析數(shù)據(jù)：

因?yàn)橄矚gJquery的原因，我個(gè)人更喜歡CSS選擇器。

數(shù)據(jù)解析 - 正則表達(dá)式

前兩種數(shù)據(jù)解析都是基于結(jié)構(gòu)的解析方式，而正則表達(dá)式(re)就把HTML當(dāng)成一個(gè)文本，不在意其中的結(jié)構(gòu)，用字符串的規(guī)則解析數(shù)據(jù)：

數(shù)據(jù)存儲(chǔ) - csv

CSV是用逗號(hào)隔開(kāi)的一種純文本的數(shù)據(jù)格式，是數(shù)據(jù)分析和處理中最常用的格式。CSV可以用記事本打開(kāi)，也可以用Excel打開(kāi)。

數(shù)據(jù)存儲(chǔ) - 數(shù)據(jù)庫(kù)

把數(shù)據(jù)存儲(chǔ)在CSV等文本中很方便，但是數(shù)據(jù)的查詢和處理不方便，為了解決這個(gè)問(wèn)題，我們可以會(huì)把數(shù)據(jù)保存在數(shù)據(jù)庫(kù)中。

這是很廣闊的領(lǐng)域，數(shù)據(jù)庫(kù)是計(jì)算機(jī)技術(shù)中最重要分分支之一。值得你不斷地學(xué)習(xí)和精進(jìn)。相比前面的HTML等，你只要幾個(gè)小時(shí)就可以學(xué)會(huì)了，后面也不怎么需要更新知識(shí)。

反爬技術(shù) - ocr, selenium等

關(guān)于反爬技術(shù)，請(qǐng)看我另外一篇文章：

搞瘋爬蟲(chóng)程序員的8個(gè)難點(diǎn)！！

工程化框架 - scapy

在Python的世界里，工程化最常用的就是Scrapy框架，它使用組件化的方式分解了爬蟲(chóng)所需要處理的事情，讓你可以集中在最關(guān)鍵的地方，剩下的管理工作交給框架來(lái)完成。