對于科學研究：人類動力學研究，計量社會學，復雜網(wǎng)絡，數(shù)據(jù)挖掘，理論計量學、應用計量學、或是各個論文中對數(shù)據(jù)整理都異常重要。

而網(wǎng)絡爬蟲是收集相關數(shù)據(jù)的利器,它可以抓取某個網(wǎng)站或者某個應用的內(nèi)容，提取有用的價值以及各種數(shù)據(jù)。也可以模擬用戶在瀏覽器或者App應用上的操作，實現(xiàn)自動化的程序。

而因為Python的腳本特性，以及其不僅易于配置，而且對字符的處理也非常靈活，加上Python有豐富的網(wǎng)絡抓取模塊，所以網(wǎng)絡爬蟲經(jīng)常與Python聯(lián)系在一起。

“工欲善其事，必先利其器”，當您的實證分析中有了一手的準確數(shù)據(jù)，就好像伐木人有了一把鋒利的斧子，那么您的實證效率會呈現(xiàn)幾何級的增長！這把利器就是Python爬蟲：

Python爬蟲學術應用_3月北京現(xiàn)場班

時間：2019年3月22-25日 (四天)

地點：北京市海淀區(qū)丹龍大廈附近

安排：上午9:00-12:00，下午1:30-4:30，答疑4:30-5:00

費用：3600元 / 3000元(學生價僅限全日制本科生及碩士在讀)；食宿自理

我要報名

講師介紹：

閻老師，長期從事數(shù)據(jù)分析的理論研究、教學和實踐工作。長期關注各類統(tǒng)計軟件的發(fā)展和國內(nèi)外各行業(yè)的應用情況，一直保持著與統(tǒng)計應用前沿的密切接觸，在數(shù)據(jù)挖掘應用、市場研究應用等領域經(jīng)驗豐富。
擅長企業(yè)數(shù)據(jù)分析和企業(yè)診斷，參與多項國家級、省級課題的科研工作，曾任多家電商企業(yè)的運營顧問和培訓師，積累了大量實戰(zhàn)經(jīng)驗。

課程導引：

在了解爬蟲的過程中，由于對這項技術缺乏系統(tǒng)了解，“小白”們難免會被紛繁生僻的知識點折騰地眼花繚亂、暈頭轉向。有的人打算先搞懂基本原理和工作流程，有的人計劃從軟件的基本語法入門，也有人打算弄懂了網(wǎng)頁文檔再來……在學習抓取網(wǎng)絡信息的道路上，許多人因為中途掉進陷阱最終無功而返。因此，掌握正確的方法的確非常重要。

這一門課的目的，就是希望能夠通過通俗易懂的講解，令沒有編程基礎的研究人員通過學習，能夠學會爬取主流網(wǎng)站的內(nèi)容并整理成為可為后續(xù)分析提供依據(jù)的數(shù)據(jù)資料。在這門課結束之后，我們能夠爬取豆瓣的評論內(nèi)容、學術論文、淘寶的銷售數(shù)據(jù)、房價的變化趨勢，還能對股票市場進行分析和預測。

課程大綱：

為了能夠完整地呈現(xiàn)Python數(shù)據(jù)采集的方法和過程，這門課將分為四大部分——

一、Python快速入門

在寫爬蟲之前，我們需要了解一些有關工具的基礎知識。所以，第一天的授課內(nèi)容是關于Python基礎的，是后續(xù)課程中讀懂并編寫爬蟲程序的鋪墊。其中包括了Python的數(shù)據(jù)結構、變量類型、循環(huán)和控制語句、Numpy和Pandas包的基本功能。有基礎的老師可以跳過這一部分直接進入第二部分。

第1章 認識Python

1. Python的數(shù)據(jù)結構與函數(shù)

2. Python的循環(huán)與控制流

3. Python的基本擴展庫

二、初識爬蟲

在這一部分中，我們將正式接觸爬蟲，我們也將感受到每天都在使用的瀏覽器究竟藏著哪些細節(jié)。為了能夠得到清潔的數(shù)據(jù)，我們不得不忽略網(wǎng)頁精致的外觀和編排，刻意繞開瀏覽器的幫助來分離和理解數(shù)據(jù)。頁源里除了我們認識的文字，那些標簽都有著怎樣的含義？如何把網(wǎng)頁內(nèi)容“請”到我們的分析工具中來？爬取數(shù)據(jù)有怎樣的規(guī)律可循？這些都是第二部分將要呈現(xiàn)的內(nèi)容。

第2章 重新認識網(wǎng)絡

1. 什么是Web前端

2. HTML的結構

第3章 創(chuàng)建爬蟲

1. 什么是爬蟲

2. Python爬蟲的環(huán)境搭建

3. 爬蟲三部曲——獲取、解析、保持

小例子：創(chuàng)建第一個爬蟲

三、頁面解析

在之前的課程中，我們已經(jīng)知道了要怎樣繁復的工程才堆砌出絢麗的網(wǎng)頁，但這其中大部分的內(nèi)容是我們并不需要的。如何穿越層層與我們無關的標簽和HTML屬性抽取到清潔的數(shù)據(jù)內(nèi)容？如何使用更簡潔高效的方式達到目的？大名鼎鼎的“正則”究竟是什么？這些是4-6章要重點講授的內(nèi)容。

第4章 復雜HTML解析

1. 正則表達式

2. 一個名叫“心靈雞湯”的擴展庫

3. 導航樹

4. 突破反爬蟲的限制

案例1：靜態(tài)頁面爬蟲

第5章 動態(tài)渲染頁面的爬取

1. Ajax和動態(tài)HTML

2. 無界面瀏覽器PhantomJS

3. 自動化測試庫Selenium

案例2：動態(tài)爬蟲

第6章 Scrapy爬蟲架構

1. Scrapy爬蟲結構

2. 創(chuàng)建爬蟲模塊

3. 選擇器

4. 構建Item Pipeline

5. 請求與相應

案例3：Scrapy爬蟲

四、爬取結果的處理

到目前為止，我們處理的還都是規(guī)范數(shù)據(jù)，但現(xiàn)實是，我們面對更多的是樣式不規(guī)范的數(shù)據(jù)，放棄不符合預期的數(shù)據(jù)并不是一個長久之計。在我們無法挑選數(shù)據(jù)時，這一章的內(nèi)容就顯得格外有用了。一個長句中究竟包含了哪些有效信息？一條評價反映出客戶怎樣的態(tài)度？接下來的內(nèi)容將介紹一些工具和方法，幫助我們控制或篩選進入視線的數(shù)據(jù)，為后續(xù)的數(shù)據(jù)分析做準備。

第7章 數(shù)據(jù)清洗

1. 清洗結構化數(shù)據(jù)

2. 清洗非結構化數(shù)據(jù)

3. 數(shù)據(jù)標準化

案例4：計算詞頻

第8章 自然語言處理入門

1. 獲取文本語料

2. 加工原始文本

3. 從文本中提取信息

案例5：情感分析

優(yōu)惠信息：

現(xiàn)場班老學員9折優(yōu)惠；
同一單位三人以上同時報名9折優(yōu)惠；

以上優(yōu)惠不疊加。

報名流程：

1. 點擊“我要報名”，網(wǎng)上提交報名信息；

2. 訂單繳費；

3. 繳費確認，開課前一周發(fā)送軟件準備，電子版講義；
4. 現(xiàn)場領取發(fā)票及邀請函。

聯(lián)系方式：

魏老師
QQ：2881989714  
Tel：010-68478566

Mail：vip@pinggu.org