大數(shù)據(jù)應用于行業(yè)研究_數(shù)據(jù)分析師考試

國際知名的咨詢公司麥肯錫認為，企業(yè)的發(fā)展戰(zhàn)略制定流程可以分為七步（如圖1），包括設定戰(zhàn)略目標、定義經營單元、進行行業(yè)分析、產生戰(zhàn)略選擇、測試動態(tài)影響并選擇、設計細節(jié)并實施和監(jiān)控結果七大方面，可見，進行行業(yè)分析是企業(yè)制定戰(zhàn)略相關決策的重要環(huán)節(jié)。而我們已經進入互聯(lián)網(wǎng)和大數(shù)據(jù)時代，行業(yè)分析的方法可以結合大數(shù)據(jù)有更好的創(chuàng)新和突破。本文將大數(shù)據(jù)如何更好的幫助進行行業(yè)分析，從而更加有效的輔助戰(zhàn)略決策。

圖1：戰(zhàn)略規(guī)劃的流程

企業(yè)的發(fā)展受多種力量影響（如圖2），進行行業(yè)分析的時候，需要要分析這些力量的影響，這些影響都作為戰(zhàn)略決策的重要依據(jù)。企業(yè)所處的最外層的環(huán)境受四種力量影響，包括政府政策（Politics）、經濟環(huán)境（Economics）、社會（Society）和科技（Technology）四大方面，構成宏觀環(huán)境分析的PEST模型；企業(yè)還受產業(yè)的五種力量影響，包括同行競爭者、潛在進入者、替代品、供應商和顧客（用戶）所影響，構成產業(yè)分析的波特五力模型。本文將介紹如何通過大數(shù)據(jù)的手段對影響企業(yè)發(fā)展的各種力量進行監(jiān)測，以輔助戰(zhàn)略分析師以及相關的決策者更好的決策。

圖2：企業(yè)發(fā)展所處的生態(tài)環(huán)境

大數(shù)據(jù)應用于行業(yè)研究采用基于大數(shù)據(jù)的網(wǎng)絡信息抓取和挖掘方法（如圖3）。總的來看，此方法分為四大步驟，包括智能數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)分析與挖掘以及數(shù)據(jù)展現(xiàn)。在智能數(shù)據(jù)采集方面，利用網(wǎng)絡爬蟲技術對相關網(wǎng)站進行信息抓取，形成半結構化以及非結構化的信息。網(wǎng)絡信息抓取的時候，一開始指定的抓取對象非常重要，如對于行業(yè)政策，指定抓取相關的政府官方網(wǎng)站、行業(yè)協(xié)會網(wǎng)站會使得抓取的效果更好。第二步是對抓取下來的信息進行數(shù)據(jù)預處理，包括頁面信息解析、數(shù)據(jù)清洗和內容提取，對重復文章信息進行去重，并進行文本分詞、特征提取以及關鍵詞提取，以從噪音數(shù)據(jù)中分離出有用的信息以及減少數(shù)據(jù)的維數(shù)。第三步是對這些預處理后的數(shù)據(jù)進行數(shù)據(jù)分析和挖掘，實現(xiàn)有用信息的提煉和發(fā)現(xiàn)，包括使用文本分類和聚類方法發(fā)現(xiàn)熱點事件，結合信息的規(guī)模度和離散度等維度來發(fā)現(xiàn)敏感信息，通過算法和人工手段對指定關鍵詞的進行專題的偵測，通過數(shù)據(jù)的走勢來判斷信息的趨勢等。第四步為數(shù)據(jù)展示，即通過主題的方式和圖表的方式來展示，或者通過計算機對信息進行更高層次的提煉，形成信息簡報。

圖3：基于大數(shù)據(jù)的網(wǎng)絡信息抓取與挖掘 

大數(shù)據(jù)應用于宏觀環(huán)境分析

我們可以利用基于大數(shù)據(jù)的網(wǎng)絡信息抓取與挖掘方法對行業(yè)產生影響的相關因素進行監(jiān)測。在行業(yè)分析中最經典的宏觀環(huán)境分析模型為PEST模型，PEST即分別對應政策、經濟環(huán)境、社會和科技信息。以互聯(lián)網(wǎng)企業(yè)為例，影響互聯(lián)網(wǎng)行業(yè)的相關政策因素包括互聯(lián)網(wǎng)信息內容管理、網(wǎng)站備案管理、網(wǎng)絡安全交易環(huán)境、電子商務平臺服務規(guī)范、知識產權維護和個人信息保護等方面；影響互聯(lián)網(wǎng)行業(yè)的經濟環(huán)境包括國內宏觀經濟運行情況相關數(shù)據(jù)、國內金融運行情況相關數(shù)據(jù)以及國際宏觀經濟運行相關數(shù)據(jù)等。影響互聯(lián)網(wǎng)行業(yè)的社會因素包括社會環(huán)境的包括人口規(guī)模、年齡結構、種族結構、收入分布、消費結構和水平、人口流動性等，其中人口規(guī)模直接影響著一個國家或地區(qū)市場的容量，年齡結構則決定互聯(lián)網(wǎng)服務的發(fā)展方向及推廣方式；影響互聯(lián)網(wǎng)行業(yè)的技術因素包括網(wǎng)絡技術、云計算技術、安全技術、軟件技術、數(shù)據(jù)庫技術、動畫視頻多媒體技術等，近年來，互聯(lián)網(wǎng)新技術加快創(chuàng)新發(fā)展，不斷催生新的產品。以移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等為代表的互聯(lián)網(wǎng)技術及應用，帶動了相關互聯(lián)網(wǎng)的創(chuàng)新發(fā)展。

對于互聯(lián)網(wǎng)行業(yè)，我們可以從特定類型的網(wǎng)站抓取相關政府政策、經濟環(huán)境、社會和科技信息。我們可以抓取相關政府機構網(wǎng)站如國務院網(wǎng)站、工信部網(wǎng)站、文化部網(wǎng)站、商務部網(wǎng)站、新聞出版總署網(wǎng)站、國家工商總局網(wǎng)站、相關協(xié)會網(wǎng)站如中國互聯(lián)網(wǎng)協(xié)會、相關研究機構網(wǎng)站如第三方互聯(lián)網(wǎng)研究機構網(wǎng)站艾瑞網(wǎng)以及國家統(tǒng)計局等網(wǎng)站。對抓取后的內容進行主題分類，分為政策主題、經濟主題、社會主題和科技主題，以便于分析師或者相關的決策者作為參考。

大數(shù)據(jù)應用于市場分析

行業(yè)市場分析一般從行業(yè)市場規(guī)模、市場成長速度預測以及產業(yè)集中度、該市場的細分市場分析以及行業(yè)發(fā)展趨勢等角度來分析。以互聯(lián)網(wǎng)行業(yè)為例，互聯(lián)網(wǎng)行業(yè)會比較關注市場的用戶規(guī)模和營收規(guī)模以及未來的增長速度。產業(yè)集中度是用于衡量產業(yè)競爭性和壟斷性的最常用指標，產業(yè)集中度也叫市場集中度，是指市場上的某種行業(yè)內少數(shù)企業(yè)的生產量、銷售量等方面對某一行業(yè)的支配程度，它一般是用這幾家企業(yè)的某一指標（大多數(shù)情況下用銷售額指標）占該行業(yè)總量的百分比來表示，該比例越高，市場的壟斷程度越高。

對于行業(yè)市場分析中相關的行業(yè)市場規(guī)模、增速速度預測、產業(yè)集中度的分析、細分市場的分析以及行業(yè)發(fā)展趨勢等方向，我們可以通過基于大數(shù)據(jù)的網(wǎng)絡信息抓取與挖掘方法在網(wǎng)絡上抓取相關的信息。我們可以通過爬蟲技術抓取財經類網(wǎng)站如金融界、證券公司網(wǎng)站、第三方市場研究公司網(wǎng)站、投資機構網(wǎng)站等抓取相關市場分析的有用信息，以輔助分析師進行行業(yè)市場分析。

大數(shù)據(jù)應用于競爭分析

企業(yè)需要分析競爭者的優(yōu)勢與劣勢以及競爭對手在各方面的動態(tài)，做到知己知彼，才能有針對性地制定正確的市場競爭戰(zhàn)略。競爭對手分析的內容包括以下方面：（1）產品構成和新產品情況。競爭企業(yè)的產品構成、產品的新功能和新產品的研發(fā)情況等。（2）產品的價格變動情況，價格策略；（3）營銷和促銷行為。競爭對手的廣告和促銷行為的監(jiān)測信息可以用來分析競爭對手的戰(zhàn)術層面的情況。及時了解到這些情況，比較有利利于企業(yè)進行及時的反擊；（4）研發(fā)能力和專利申請情況。我們需要了解競爭企業(yè)內部在產品研究、技術和基礎研究、以及專利等方面的情況，有利于企業(yè)在研發(fā)方向制定相應的競爭策略；（5）組織結構和人力資源變動情況。組織結構和人力資源的變動較為容易透漏競爭企業(yè)的一些戰(zhàn)略行動，比如如果競爭對手招聘一位全新產品的總負責人，側面反映該企業(yè)在這個新產品上有規(guī)劃和行動；（6）生產與經營。這方面我們需要掌握競爭企業(yè)的生產規(guī)模與生產成本水平、設施與設備的技術先進性與靈活性；生產能力的擴展；原材料的來源與成本等。

以上競爭對手情況可以通過大數(shù)據(jù)手段來輔助抓取和挖掘。關于產品構成以及新產品相關的情況，我們可以抓取競爭對手的網(wǎng)站、微博、產品發(fā)布的一些常見網(wǎng)站和網(wǎng)絡渠道來獲得；關于產品的價格以及促銷行為情況，我們可以抓取產品的官方網(wǎng)站、電商網(wǎng)站等來獲得；研發(fā)能力和專利情況也可以通過抓取企業(yè)官方網(wǎng)站、相關的技術網(wǎng)站和論壇、專利查詢網(wǎng)站等渠道來獲??；組織結構和人力資源變動情況可以通過抓取其企業(yè)官方網(wǎng)站、主流的招聘網(wǎng)站或者高端人才的獵聘類等網(wǎng)站；生產和經營情況這方面的網(wǎng)上資料可能偏少，如果是上市企業(yè)，可以通過財經類的網(wǎng)站、上市公司財報等渠道獲取。相對于宏觀環(huán)境分析、行業(yè)市場分析，大數(shù)據(jù)在企業(yè)競爭分析所起到的作用更為關鍵，對企業(yè)的用處也更為直接。企業(yè)需要高度重視這個方向，以通過大數(shù)據(jù)的手段獲得更為及時和有效的競爭情報。

大數(shù)據(jù)用于發(fā)現(xiàn)快速成長的企業(yè)

業(yè)務發(fā)展速度較快或者用戶量增長速度較快的企業(yè)，往往在產品或者服務創(chuàng)新或者微創(chuàng)新等方面有所建樹，因此值得我們關注。我們可以通過利用大數(shù)據(jù)可以輔助發(fā)現(xiàn)業(yè)務增長或者用戶量增長較快的企業(yè)，監(jiān)測的維度包括：（1）用戶或者客戶的增長速度；（2）用戶在社區(qū)或者微博上正面口碑量增長較快的企業(yè)或者產品；（3）網(wǎng)站的訪問量增長速度較快的企業(yè)或者產品；（4）股價增長速度較快的企業(yè)。以移動互聯(lián)網(wǎng)企業(yè)為例，我們可以利用大數(shù)據(jù)手段來抓取應用下載市場的下載量以及計算下載量的增長速度或者應用下載的排名變化情況；利用大數(shù)據(jù)手段來抓取微博上正面口碑增長速度較快的應用；或者運用電信運營商的流量數(shù)據(jù)來掌握應用使用規(guī)模的增長情況。

總之，我們可以通過大數(shù)據(jù)的手段更好的輔助行業(yè)研究，監(jiān)測企業(yè)所處的行業(yè)環(huán)境、競爭對手的動態(tài)以及發(fā)現(xiàn)成長快的企業(yè)。對于行業(yè)環(huán)境和競爭對手監(jiān)測，我們更多的是運用基于大數(shù)據(jù)的網(wǎng)絡信息抓取和挖掘方法，利用網(wǎng)絡爬蟲技術抓取和分析相關的網(wǎng)絡信息，在這個過程中，除了要重視爬蟲技術、自然語言處理技術以外，我們還要重視抓取的網(wǎng)站對象的選取，選取合適的抓取對象會事半功倍。對于發(fā)現(xiàn)成長快的企業(yè)，運營商的流量數(shù)據(jù)是比較好的信息來源，當然也可以通過其他渠道如應用下載市場來獲取。以上通過大數(shù)據(jù)手段所獲取的信息，還需要結合分析師進行進一步的分析，以提取有用的決策信息。在行業(yè)研究中，大數(shù)據(jù)不能取代分析師，但可以更好的輔助分析師進行更為全面和及時有效信息獲取，節(jié)省分析師在信息獲取的時間，讓分析師更好的聚焦在信息分析和提出企業(yè)發(fā)展的建議上。