大數(shù)據(jù)應(yīng)用于行業(yè)研究_數(shù)據(jù)分析師考試

國(guó)際知名的咨詢(xún)公司麥肯錫認(rèn)為，企業(yè)的發(fā)展戰(zhàn)略制定流程可以分為七步（如圖1），包括設(shè)定戰(zhàn)略目標(biāo)、定義經(jīng)營(yíng)單元、進(jìn)行行業(yè)分析、產(chǎn)生戰(zhàn)略選擇、測(cè)試動(dòng)態(tài)影響并選擇、設(shè)計(jì)細(xì)節(jié)并實(shí)施和監(jiān)控結(jié)果七大方面，可見(jiàn)，進(jìn)行行業(yè)分析是企業(yè)制定戰(zhàn)略相關(guān)決策的重要環(huán)節(jié)。而我們已經(jīng)進(jìn)入互聯(lián)網(wǎng)和大數(shù)據(jù)時(shí)代，行業(yè)分析的方法可以結(jié)合大數(shù)據(jù)有更好的創(chuàng)新和突破。本文將大數(shù)據(jù)如何更好的幫助進(jìn)行行業(yè)分析，從而更加有效的輔助戰(zhàn)略決策。

圖1：戰(zhàn)略規(guī)劃的流程

企業(yè)的發(fā)展受多種力量影響（如圖2），進(jìn)行行業(yè)分析的時(shí)候，需要要分析這些力量的影響，這些影響都作為戰(zhàn)略決策的重要依據(jù)。企業(yè)所處的最外層的環(huán)境受四種力量影響，包括政府政策（Politics）、經(jīng)濟(jì)環(huán)境（Economics）、社會(huì)（Society）和科技（Technology）四大方面，構(gòu)成宏觀環(huán)境分析的PEST模型；企業(yè)還受產(chǎn)業(yè)的五種力量影響，包括同行競(jìng)爭(zhēng)者、潛在進(jìn)入者、替代品、供應(yīng)商和顧客（用戶(hù)）所影響，構(gòu)成產(chǎn)業(yè)分析的波特五力模型。本文將介紹如何通過(guò)大數(shù)據(jù)的手段對(duì)影響企業(yè)發(fā)展的各種力量進(jìn)行監(jiān)測(cè)，以輔助戰(zhàn)略分析師以及相關(guān)的決策者更好的決策。

圖2：企業(yè)發(fā)展所處的生態(tài)環(huán)境

大數(shù)據(jù)應(yīng)用于行業(yè)研究采用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取和挖掘方法（如圖3）?？偟膩?lái)看，此方法分為四大步驟，包括智能數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析與挖掘以及數(shù)據(jù)展現(xiàn)。在智能數(shù)據(jù)采集方面，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)相關(guān)網(wǎng)站進(jìn)行信息抓取，形成半結(jié)構(gòu)化以及非結(jié)構(gòu)化的信息。網(wǎng)絡(luò)信息抓取的時(shí)候，一開(kāi)始指定的抓取對(duì)象非常重要，如對(duì)于行業(yè)政策，指定抓取相關(guān)的政府官方網(wǎng)站、行業(yè)協(xié)會(huì)網(wǎng)站會(huì)使得抓取的效果更好。第二步是對(duì)抓取下來(lái)的信息進(jìn)行數(shù)據(jù)預(yù)處理，包括頁(yè)面信息解析、數(shù)據(jù)清洗和內(nèi)容提取，對(duì)重復(fù)文章信息進(jìn)行去重，并進(jìn)行文本分詞、特征提取以及關(guān)鍵詞提取，以從噪音數(shù)據(jù)中分離出有用的信息以及減少數(shù)據(jù)的維數(shù)。第三步是對(duì)這些預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和挖掘，實(shí)現(xiàn)有用信息的提煉和發(fā)現(xiàn)，包括使用文本分類(lèi)和聚類(lèi)方法發(fā)現(xiàn)熱點(diǎn)事件，結(jié)合信息的規(guī)模度和離散度等維度來(lái)發(fā)現(xiàn)敏感信息，通過(guò)算法和人工手段對(duì)指定關(guān)鍵詞的進(jìn)行專(zhuān)題的偵測(cè)，通過(guò)數(shù)據(jù)的走勢(shì)來(lái)判斷信息的趨勢(shì)等。第四步為數(shù)據(jù)展示，即通過(guò)主題的方式和圖表的方式來(lái)展示，或者通過(guò)計(jì)算機(jī)對(duì)信息進(jìn)行更高層次的提煉，形成信息簡(jiǎn)報(bào)。

圖3：基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘 

大數(shù)據(jù)應(yīng)用于宏觀環(huán)境分析

我們可以利用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘方法對(duì)行業(yè)產(chǎn)生影響的相關(guān)因素進(jìn)行監(jiān)測(cè)。在行業(yè)分析中最經(jīng)典的宏觀環(huán)境分析模型為PEST模型，PEST即分別對(duì)應(yīng)政策、經(jīng)濟(jì)環(huán)境、社會(huì)和科技信息。以互聯(lián)網(wǎng)企業(yè)為例，影響互聯(lián)網(wǎng)行業(yè)的相關(guān)政策因素包括互聯(lián)網(wǎng)信息內(nèi)容管理、網(wǎng)站備案管理、網(wǎng)絡(luò)安全交易環(huán)境、電子商務(wù)平臺(tái)服務(wù)規(guī)范、知識(shí)產(chǎn)權(quán)維護(hù)和個(gè)人信息保護(hù)等方面；影響互聯(lián)網(wǎng)行業(yè)的經(jīng)濟(jì)環(huán)境包括國(guó)內(nèi)宏觀經(jīng)濟(jì)運(yùn)行情況相關(guān)數(shù)據(jù)、國(guó)內(nèi)金融運(yùn)行情況相關(guān)數(shù)據(jù)以及國(guó)際宏觀經(jīng)濟(jì)運(yùn)行相關(guān)數(shù)據(jù)等。影響互聯(lián)網(wǎng)行業(yè)的社會(huì)因素包括社會(huì)環(huán)境的包括人口規(guī)模、年齡結(jié)構(gòu)、種族結(jié)構(gòu)、收入分布、消費(fèi)結(jié)構(gòu)和水平、人口流動(dòng)性等，其中人口規(guī)模直接影響著一個(gè)國(guó)家或地區(qū)市場(chǎng)的容量，年齡結(jié)構(gòu)則決定互聯(lián)網(wǎng)服務(wù)的發(fā)展方向及推廣方式；影響互聯(lián)網(wǎng)行業(yè)的技術(shù)因素包括網(wǎng)絡(luò)技術(shù)、云計(jì)算技術(shù)、安全技術(shù)、軟件技術(shù)、數(shù)據(jù)庫(kù)技術(shù)、動(dòng)畫(huà)視頻多媒體技術(shù)等，近年來(lái)，互聯(lián)網(wǎng)新技術(shù)加快創(chuàng)新發(fā)展，不斷催生新的產(chǎn)品。以移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等為代表的互聯(lián)網(wǎng)技術(shù)及應(yīng)用，帶動(dòng)了相關(guān)互聯(lián)網(wǎng)的創(chuàng)新發(fā)展。

對(duì)于互聯(lián)網(wǎng)行業(yè)，我們可以從特定類(lèi)型的網(wǎng)站抓取相關(guān)政府政策、經(jīng)濟(jì)環(huán)境、社會(huì)和科技信息。我們可以抓取相關(guān)政府機(jī)構(gòu)網(wǎng)站如國(guó)務(wù)院網(wǎng)站、工信部網(wǎng)站、文化部網(wǎng)站、商務(wù)部網(wǎng)站、新聞出版總署網(wǎng)站、國(guó)家工商總局網(wǎng)站、相關(guān)協(xié)會(huì)網(wǎng)站如中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)、相關(guān)研究機(jī)構(gòu)網(wǎng)站如第三方互聯(lián)網(wǎng)研究機(jī)構(gòu)網(wǎng)站艾瑞網(wǎng)以及國(guó)家統(tǒng)計(jì)局等網(wǎng)站。對(duì)抓取后的內(nèi)容進(jìn)行主題分類(lèi)，分為政策主題、經(jīng)濟(jì)主題、社會(huì)主題和科技主題，以便于分析師或者相關(guān)的決策者作為參考。

大數(shù)據(jù)應(yīng)用于市場(chǎng)分析

行業(yè)市場(chǎng)分析一般從行業(yè)市場(chǎng)規(guī)模、市場(chǎng)成長(zhǎng)速度預(yù)測(cè)以及產(chǎn)業(yè)集中度、該市場(chǎng)的細(xì)分市場(chǎng)分析以及行業(yè)發(fā)展趨勢(shì)等角度來(lái)分析。以互聯(lián)網(wǎng)行業(yè)為例，互聯(lián)網(wǎng)行業(yè)會(huì)比較關(guān)注市場(chǎng)的用戶(hù)規(guī)模和營(yíng)收規(guī)模以及未來(lái)的增長(zhǎng)速度。產(chǎn)業(yè)集中度是用于衡量產(chǎn)業(yè)競(jìng)爭(zhēng)性和壟斷性的最常用指標(biāo)，產(chǎn)業(yè)集中度也叫市場(chǎng)集中度，是指市場(chǎng)上的某種行業(yè)內(nèi)少數(shù)企業(yè)的生產(chǎn)量、銷(xiāo)售量等方面對(duì)某一行業(yè)的支配程度，它一般是用這幾家企業(yè)的某一指標(biāo)（大多數(shù)情況下用銷(xiāo)售額指標(biāo)）占該行業(yè)總量的百分比來(lái)表示，該比例越高，市場(chǎng)的壟斷程度越高。

對(duì)于行業(yè)市場(chǎng)分析中相關(guān)的行業(yè)市場(chǎng)規(guī)模、增速速度預(yù)測(cè)、產(chǎn)業(yè)集中度的分析、細(xì)分市場(chǎng)的分析以及行業(yè)發(fā)展趨勢(shì)等方向，我們可以通過(guò)基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取與挖掘方法在網(wǎng)絡(luò)上抓取相關(guān)的信息。我們可以通過(guò)爬蟲(chóng)技術(shù)抓取財(cái)經(jīng)類(lèi)網(wǎng)站如金融界、證券公司網(wǎng)站、第三方市場(chǎng)研究公司網(wǎng)站、投資機(jī)構(gòu)網(wǎng)站等抓取相關(guān)市場(chǎng)分析的有用信息，以輔助分析師進(jìn)行行業(yè)市場(chǎng)分析。

大數(shù)據(jù)應(yīng)用于競(jìng)爭(zhēng)分析

企業(yè)需要分析競(jìng)爭(zhēng)者的優(yōu)勢(shì)與劣勢(shì)以及競(jìng)爭(zhēng)對(duì)手在各方面的動(dòng)態(tài)，做到知己知彼，才能有針對(duì)性地制定正確的市場(chǎng)競(jìng)爭(zhēng)戰(zhàn)略。競(jìng)爭(zhēng)對(duì)手分析的內(nèi)容包括以下方面：（1）產(chǎn)品構(gòu)成和新產(chǎn)品情況。競(jìng)爭(zhēng)企業(yè)的產(chǎn)品構(gòu)成、產(chǎn)品的新功能和新產(chǎn)品的研發(fā)情況等。（2）產(chǎn)品的價(jià)格變動(dòng)情況，價(jià)格策略；（3）營(yíng)銷(xiāo)和促銷(xiāo)行為。競(jìng)爭(zhēng)對(duì)手的廣告和促銷(xiāo)行為的監(jiān)測(cè)信息可以用來(lái)分析競(jìng)爭(zhēng)對(duì)手的戰(zhàn)術(shù)層面的情況。及時(shí)了解到這些情況，比較有利利于企業(yè)進(jìn)行及時(shí)的反擊；（4）研發(fā)能力和專(zhuān)利申請(qǐng)情況。我們需要了解競(jìng)爭(zhēng)企業(yè)內(nèi)部在產(chǎn)品研究、技術(shù)和基礎(chǔ)研究、以及專(zhuān)利等方面的情況，有利于企業(yè)在研發(fā)方向制定相應(yīng)的競(jìng)爭(zhēng)策略；（5）組織結(jié)構(gòu)和人力資源變動(dòng)情況。組織結(jié)構(gòu)和人力資源的變動(dòng)較為容易透漏競(jìng)爭(zhēng)企業(yè)的一些戰(zhàn)略行動(dòng)，比如如果競(jìng)爭(zhēng)對(duì)手招聘一位全新產(chǎn)品的總負(fù)責(zé)人，側(cè)面反映該企業(yè)在這個(gè)新產(chǎn)品上有規(guī)劃和行動(dòng)；（6）生產(chǎn)與經(jīng)營(yíng)。這方面我們需要掌握競(jìng)爭(zhēng)企業(yè)的生產(chǎn)規(guī)模與生產(chǎn)成本水平、設(shè)施與設(shè)備的技術(shù)先進(jìn)性與靈活性；生產(chǎn)能力的擴(kuò)展；原材料的來(lái)源與成本等。

以上競(jìng)爭(zhēng)對(duì)手情況可以通過(guò)大數(shù)據(jù)手段來(lái)輔助抓取和挖掘。關(guān)于產(chǎn)品構(gòu)成以及新產(chǎn)品相關(guān)的情況，我們可以抓取競(jìng)爭(zhēng)對(duì)手的網(wǎng)站、微博、產(chǎn)品發(fā)布的一些常見(jiàn)網(wǎng)站和網(wǎng)絡(luò)渠道來(lái)獲得；關(guān)于產(chǎn)品的價(jià)格以及促銷(xiāo)行為情況，我們可以抓取產(chǎn)品的官方網(wǎng)站、電商網(wǎng)站等來(lái)獲得；研發(fā)能力和專(zhuān)利情況也可以通過(guò)抓取企業(yè)官方網(wǎng)站、相關(guān)的技術(shù)網(wǎng)站和論壇、專(zhuān)利查詢(xún)網(wǎng)站等渠道來(lái)獲取；組織結(jié)構(gòu)和人力資源變動(dòng)情況可以通過(guò)抓取其企業(yè)官方網(wǎng)站、主流的招聘網(wǎng)站或者高端人才的獵聘類(lèi)等網(wǎng)站；生產(chǎn)和經(jīng)營(yíng)情況這方面的網(wǎng)上資料可能偏少，如果是上市企業(yè)，可以通過(guò)財(cái)經(jīng)類(lèi)的網(wǎng)站、上市公司財(cái)報(bào)等渠道獲取。相對(duì)于宏觀環(huán)境分析、行業(yè)市場(chǎng)分析，大數(shù)據(jù)在企業(yè)競(jìng)爭(zhēng)分析所起到的作用更為關(guān)鍵，對(duì)企業(yè)的用處也更為直接。企業(yè)需要高度重視這個(gè)方向，以通過(guò)大數(shù)據(jù)的手段獲得更為及時(shí)和有效的競(jìng)爭(zhēng)情報(bào)。

大數(shù)據(jù)用于發(fā)現(xiàn)快速成長(zhǎng)的企業(yè)

業(yè)務(wù)發(fā)展速度較快或者用戶(hù)量增長(zhǎng)速度較快的企業(yè)，往往在產(chǎn)品或者服務(wù)創(chuàng)新或者微創(chuàng)新等方面有所建樹(shù)，因此值得我們關(guān)注。我們可以通過(guò)利用大數(shù)據(jù)可以輔助發(fā)現(xiàn)業(yè)務(wù)增長(zhǎng)或者用戶(hù)量增長(zhǎng)較快的企業(yè)，監(jiān)測(cè)的維度包括：（1）用戶(hù)或者客戶(hù)的增長(zhǎng)速度；（2）用戶(hù)在社區(qū)或者微博上正面口碑量增長(zhǎng)較快的企業(yè)或者產(chǎn)品；（3）網(wǎng)站的訪(fǎng)問(wèn)量增長(zhǎng)速度較快的企業(yè)或者產(chǎn)品；（4）股價(jià)增長(zhǎng)速度較快的企業(yè)。以移動(dòng)互聯(lián)網(wǎng)企業(yè)為例，我們可以利用大數(shù)據(jù)手段來(lái)抓取應(yīng)用下載市場(chǎng)的下載量以及計(jì)算下載量的增長(zhǎng)速度或者應(yīng)用下載的排名變化情況；利用大數(shù)據(jù)手段來(lái)抓取微博上正面口碑增長(zhǎng)速度較快的應(yīng)用；或者運(yùn)用電信運(yùn)營(yíng)商的流量數(shù)據(jù)來(lái)掌握應(yīng)用使用規(guī)模的增長(zhǎng)情況。

總之，我們可以通過(guò)大數(shù)據(jù)的手段更好的輔助行業(yè)研究，監(jiān)測(cè)企業(yè)所處的行業(yè)環(huán)境、競(jìng)爭(zhēng)對(duì)手的動(dòng)態(tài)以及發(fā)現(xiàn)成長(zhǎng)快的企業(yè)。對(duì)于行業(yè)環(huán)境和競(jìng)爭(zhēng)對(duì)手監(jiān)測(cè)，我們更多的是運(yùn)用基于大數(shù)據(jù)的網(wǎng)絡(luò)信息抓取和挖掘方法，利用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)抓取和分析相關(guān)的網(wǎng)絡(luò)信息，在這個(gè)過(guò)程中，除了要重視爬蟲(chóng)技術(shù)、自然語(yǔ)言處理技術(shù)以外，我們還要重視抓取的網(wǎng)站對(duì)象的選取，選取合適的抓取對(duì)象會(huì)事半功倍。對(duì)于發(fā)現(xiàn)成長(zhǎng)快的企業(yè)，運(yùn)營(yíng)商的流量數(shù)據(jù)是比較好的信息來(lái)源，當(dāng)然也可以通過(guò)其他渠道如應(yīng)用下載市場(chǎng)來(lái)獲取。以上通過(guò)大數(shù)據(jù)手段所獲取的信息，還需要結(jié)合分析師進(jìn)行進(jìn)一步的分析，以提取有用的決策信息。在行業(yè)研究中，大數(shù)據(jù)不能取代分析師，但可以更好的輔助分析師進(jìn)行更為全面和及時(shí)有效信息獲取，節(jié)省分析師在信息獲取的時(shí)間，讓分析師更好的聚焦在信息分析和提出企業(yè)發(fā)展的建議上。