大家好，我是曹鑫老師，今天要給大家分享的是網(wǎng)上數(shù)據(jù)的自動批量搜集整理，大家更熟悉的名字是「爬蟲」。

掃碼預(yù)約九宮格數(shù)據(jù)

線下體驗店

在課程開始之前，我要先說一段免責(zé)聲明：這次課程對于數(shù)據(jù)抓取的相關(guān)知識，只做學(xué)術(shù)探討，不要利用抓取到的數(shù)據(jù)做有損訪問網(wǎng)站商業(yè)利益的事情，比如你也建立一個同樣業(yè)務(wù)的網(wǎng)站；也不要對訪問網(wǎng)站的服務(wù)器造成壓力，影響正常用戶的訪問。以上也是大家以后在進行數(shù)據(jù)采集的時候需要注意的。那我們繼續(xù)講技術(shù)，數(shù)據(jù)采集對于我們?nèi)粘５墓ぷ饔惺裁磶椭?？我舉個例子。

比如當(dāng)我們來到CDA官網(wǎng)的直播公開課頁面，我們可以看到這里有很多的課程，每個課程的組成部分是一致的，包含了它的主題海報、標(biāo)題內(nèi)容、授課老師的介紹和頭像，同時我還可以翻頁到下一頁，看到更多的往期公開課，這種構(gòu)造相信你在很多網(wǎng)站都看到過，你就要聯(lián)想到，今天學(xué)到的內(nèi)容，也差不多能應(yīng)用到類似的網(wǎng)站去。

接下來，如果想要把這些內(nèi)容全部整理到一張Excel表里面，你該怎么辦？第一反應(yīng)是不是：那就去挨個復(fù)制標(biāo)題，復(fù)制老師的名字，復(fù)制介紹內(nèi)容，一個個粘貼到Excel表里？沒錯，這是我們要做的，但真要拿著鼠標(biāo)去挨個點，敲著鍵盤 `Ctrl+C`、 `Ctrl+V`，未免也太累了，這就是日常工作中比較典型的場景：任務(wù)操作一點不難，但需要不斷重復(fù)操作，費時費力。

如果掌握了 Python 數(shù)據(jù)采集，我會怎么來解決這個重復(fù)操作的任務(wù)呢？我先給你演示一下效果。代碼不難，就這么一段，你現(xiàn)在看肯定一頭霧水，不要著急，我一段段帶你來閱讀理解。

• 第一部分：調(diào)用包
• 第二部分：啟動瀏覽器打開指定網(wǎng)頁
• 第三部分：生成一個空的數(shù)據(jù)表
• 第四部分：循環(huán)翻頁獲取數(shù)據(jù)
• 第五部分：結(jié)果輸出成Excel 表

點擊`Shift+回車`，我們運行一下代碼看看：

1. 瀏覽器自動打開指定的頁面，也就是直播公開課的第一頁。

2. Anaconda 中，星號表示該代碼區(qū)域正在運行，而在代碼區(qū)域下方會輸出打印的結(jié)果。

3. 緊接著循環(huán)獲取數(shù)據(jù)，代碼獲取到了第一頁的內(nèi)容，并整理成表格打印出來。

4. 然后，瀏覽器自動翻頁到第二頁，又一次獲取第二頁的內(nèi)容，并整理成表格打印出來。

5. 繼續(xù)，第三頁，同樣的輸出。

6. 最后，輸出了一個 Excel 文件，我們打開看一下，全部頁數(shù)我需要的數(shù)據(jù)都整理好了。

我們想要的效果實現(xiàn)了，有幾個好處：

1. 我只點了一下鼠標(biāo)移動到代碼區(qū)域；敲了一下鍵盤 `Shift+回車`啟動程序，接下來我就不用再點鼠標(biāo)或者敲鍵盤了，全部交給 Python 程序

2. 我現(xiàn)在是獲取3頁，我要獲取10頁，100頁，1000頁，我只要改一下循環(huán)這里的數(shù)字，讓它循環(huán)10次、100次甚至是1000次，再也不用多花更多時間和體力，始終就是一點一運行，剩下的體力活全部交給 Python 。

一旦掌握了數(shù)據(jù)采集技術(shù)，類似的重復(fù)性工作你都可以自動化完成。

下面是分享給大家的代碼，可以自行操作試試哦。

# 調(diào)用包
from selenium import webdriver
from lxml import etree
import pandas as pd


# 啟動瀏覽器打開指定網(wǎng)頁
browser = webdriver.Chrome('/Users/davidfnck/Downloads/chromedriver')
url = 'http://www.3lll3.cn/open.html'
browser.get(url)


# 先創(chuàng)建一個匯總的數(shù)據(jù)空表
df_all = pd.DataFrame()


# 循環(huán)獲取每一頁
for i in range(3):
 page_no = i+1
 # 獲取頁面源碼解析
 html = etree.HTML(browser.page_source) 


 # 獲取數(shù)據(jù)
 ## 標(biāo)題
 title_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/h2/text()')
 ## 講師
 teacher_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/h4/text()')
 ## 介紹
 intro_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/div/div/p/text()')
 ## 圖片
 pic_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/img/@src')
 ## 鏈接
 link_list = html.xpath('/html/body/div[3]/div[2]/ul/li/a/@href')


 # 組合成字典，生成數(shù)據(jù)表
 all_dict = {'標(biāo)題':title_list,
        '講師':teacher_list,
        '介紹':intro_list,
        '海報':pic_list,
        '鏈接':link_list
 }


 df = pd.DataFrame(all_dict)


 # 輸出結(jié)果
 print(f'第{page_no}頁的輸出結(jié)果：')
 print(df.head(3))


 # 新表拼接到舊表的結(jié)尾
 df_all = df_all.append(df)


 # 點擊翻頁
 browser.find_element_by_xpath('/html/body/div[3]/div[2]/div/a[4]').click()


# 數(shù)據(jù)表寫入輸出 Excel
df_all.to_excel('./CDA_Live_公開課_多頁.xlsx')
print('最終結(jié)果的Excel已經(jīng)生成')

當(dāng)下企業(yè)數(shù)字化轉(zhuǎn)型正快速發(fā)展，在越來越嚴(yán)苛的外部監(jiān)管及越來越激烈的市場競爭驅(qū)動下，各行各業(yè)都在急迫地對數(shù)據(jù)進行最大化的價值挖掘。然而，大多數(shù)企業(yè)在推動落地時，都會遇到諸多問題?？焖倭私狻皵?shù)據(jù)從治理到分析”的落地流程與產(chǎn)出效果，以最低成本實現(xiàn)團隊協(xié)同，快速解決深奧數(shù)據(jù)問題，成為越來越多企業(yè)加大數(shù)字化轉(zhuǎn)型投入的核心動力。

CDA數(shù)據(jù)分析師作為專注于數(shù)字化人才培養(yǎng)及服務(wù)的教育品牌， 一直致力于大數(shù)據(jù)在產(chǎn)、學(xué)、 研的融合應(yīng)用。以“培養(yǎng)企業(yè)需要的專業(yè)數(shù)字化人才， 搭建引領(lǐng)數(shù)字化時代的企業(yè)人才梯隊” 為使命， 為DT時代數(shù)字化人才的數(shù)據(jù)能力提升及企業(yè)數(shù)字化轉(zhuǎn)型提供標(biāo)準(zhǔn)化、 高效率、 可落地的數(shù)據(jù)應(yīng)用側(cè)解決方案。成立15年來， 始終在總結(jié)凝練先進數(shù)字化商業(yè)數(shù)據(jù)策略及技術(shù)應(yīng)用實踐， 以實際行動提升了數(shù)字化人才的職業(yè)素養(yǎng)與能力水平， 以建設(shè)高質(zhì)量生態(tài)圈層促進了行業(yè)的持續(xù)快速發(fā)展。

CDA數(shù)據(jù)分析師攜手華矩科技，以數(shù)據(jù)治理與數(shù)據(jù)分析為特色，聯(lián)合開設(shè)九宮格數(shù)據(jù)體驗店北京分店并對外運營。

圖-CDA&華矩聯(lián)合的九宮格數(shù)據(jù)·數(shù)據(jù)治理與分析體驗店

體驗內(nèi)容

在數(shù)據(jù)治理與分析體驗店，您可以從技術(shù)、業(yè)務(wù)、管理三大方面全方位體驗數(shù)據(jù)治理與分析。

• 技術(shù)體驗方面，您可以體驗從數(shù)據(jù)預(yù)處理、數(shù)據(jù)內(nèi)碼轉(zhuǎn)化、數(shù)據(jù)結(jié)構(gòu)化處理、數(shù)據(jù)質(zhì)量診斷、數(shù)據(jù)查重與匹配、異構(gòu)數(shù)據(jù)集成、特征工程、統(tǒng)計建模、機器學(xué)習(xí)、模型診斷與調(diào)優(yōu)等技術(shù)科目；
• 業(yè)務(wù)體驗方面，您可以基于模擬真實業(yè)務(wù)場景的數(shù)據(jù)體驗客戶統(tǒng)一視圖、合規(guī)檢查、遵從度檢查、數(shù)據(jù)溯源、代碼標(biāo)準(zhǔn)化、SKU標(biāo)準(zhǔn)庫、商業(yè)策略優(yōu)化、用戶分群與畫像、業(yè)務(wù)分析與預(yù)測及風(fēng)險識別等數(shù)字化場景；
• 管理體驗方面，您還可以從團隊或項目管理的角度體驗數(shù)據(jù)安全管理、數(shù)據(jù)治理與分析不同崗位角色及團隊協(xié)作、數(shù)據(jù)問題跟蹤管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)字化工作方法及BI可視化報告。

而CDA數(shù)據(jù)分析師與華矩科技的強強聯(lián)合，也賦予了數(shù)據(jù)治理與分析體驗店更多特色體驗，主要包括：

• 數(shù)據(jù)治理與分析理論培訓(xùn)+實操演習(xí)針對志在數(shù)據(jù)治理與數(shù)據(jù)分析發(fā)展領(lǐng)域的個人及企業(yè)提供相關(guān)理論培訓(xùn)課程及實操體驗，旨在讓零基礎(chǔ)學(xué)員通過理論學(xué)習(xí)與技能習(xí)得掌握數(shù)據(jù)治理及數(shù)據(jù)分析應(yīng)用，快速讓數(shù)據(jù)價值變現(xiàn)。
• 數(shù)據(jù)治理+數(shù)據(jù)分析全流程體驗基于體驗店提供的模擬場景測試數(shù)據(jù)，通過平臺數(shù)據(jù)治理實操輸出高質(zhì)量的數(shù)據(jù)，導(dǎo)入相關(guān)數(shù)據(jù)分析算法模型，從而獲得有價值的分析結(jié)果。該體驗服務(wù)重點針對個人學(xué)員的技能習(xí)得，及企業(yè)數(shù)據(jù)團隊協(xié)同，使其可以真正學(xué)會數(shù)據(jù)處理技能了解各環(huán)節(jié)的關(guān)系，從而可以真正用到自己的工作中。

體驗店的亮點優(yōu)勢

區(qū)別于以往很重的數(shù)據(jù)治理咨詢與實施，華矩科技首創(chuàng)的九宮格數(shù)據(jù)體驗店模式讓用戶可以更輕更快地了解與體驗數(shù)據(jù)治理，并在體驗店獲得場景模擬，團隊協(xié)同和報告輸出。主要包括：

• 直觀感受數(shù)據(jù)價值
• 端到端全流程體驗
• 場景化的模擬實驗
• 技術(shù)業(yè)務(wù)快速協(xié)同
• 模擬真實測試數(shù)據(jù)
• 快速解決數(shù)據(jù)問題
• 模擬練習(xí)創(chuàng)新體驗
• 項目前期團隊實操
• 專業(yè)顧問咨詢輔導(dǎo)

開放免費體驗科目

新店試業(yè)期間，九宮格數(shù)據(jù)·數(shù)據(jù)治理與分析體驗店數(shù)個技術(shù)場景科目免費體驗，從數(shù)據(jù)預(yù)處理、數(shù)據(jù)探查與診斷、數(shù)據(jù)清洗規(guī)則與標(biāo)準(zhǔn)化設(shè)計、數(shù)據(jù)集成、數(shù)據(jù)優(yōu)化、數(shù)據(jù)質(zhì)量監(jiān)控到數(shù)據(jù)分析和數(shù)據(jù)挖掘等全流程場景，了解數(shù)據(jù)從產(chǎn)生到處理到應(yīng)用的相關(guān)邏輯與實操路徑，實現(xiàn)一個閉環(huán)體驗并賦能個人技能習(xí)得或團隊項目預(yù)演。

體驗預(yù)約須知

1. 體驗店開放地點

廣州店：廣州市天河區(qū)體育東路122號羊城商貿(mào)中心西塔1010

深圳店：深圳市福田區(qū)新聞路華豐大廈303

北京店：北京市海淀區(qū)高梁橋斜街59號院1號樓13層1306

2. 體驗店開放時間

周一至周五 9:00-18:00

3. 體驗預(yù)約流程

填寫預(yù)約申請表單——后臺審核體驗資格——溝通確認(rèn)體驗時間地點——上門體驗

4. 體驗內(nèi)容說明

每個場景科目均包含高級顧問輔導(dǎo)與自由實操環(huán)節(jié)，以確保用戶了解操作方法并能自主操作獲得結(jié)果。如需更多操作原理與數(shù)據(jù)治理與分析理論方法，敬請關(guān)注體驗店后續(xù)推出的培訓(xùn)課程。

5. 溫馨提示

新店開業(yè)期間針對既定科目場景開放免費體驗，限時限量，請盡快預(yù)約體驗。

不同科目體驗涉及不同時長，敬請注意體驗期間差旅住宿餐飲等費用需自理。

*該活動最終解釋權(quán)歸九宮格數(shù)據(jù)·數(shù)據(jù)治理與分析體驗店所有。

碼上預(yù)約體驗，開啟不一樣的數(shù)據(jù)治理之旅