數(shù)據(jù)分析師在物聯(lián)網(wǎng)的哪個環(huán)節(jié)?

物聯(lián)網(wǎng)(Internet of Things)用最簡單的一句話就是各種感知器的廣泛應(yīng)用，具體來說，要實現(xiàn)“物-物互聯(lián)”，主要分三個層次：

(1)感知層：由各種傳感器以及傳感器網(wǎng)關(guān)構(gòu)成，包括二氧化碳濃度傳感器、溫度傳感器、濕度傳感器、二維碼標簽、RFID 標簽和讀寫器、攝像頭、GPS等感知終端。感知層的作用相當于人的眼耳鼻喉和皮膚等神經(jīng)末梢，它是物聯(lián)網(wǎng)識別物體、采集信息的來源，其主要功能是識別物體，采集信息。

(2)網(wǎng)絡(luò)層：由各種私有網(wǎng)絡(luò)、互聯(lián)網(wǎng)、有線和無線通信網(wǎng)、網(wǎng)絡(luò)管理系統(tǒng)和云計算平臺等組成，相當于人的神經(jīng)中樞和大腦，負責(zé)傳遞和處理感知層獲取的信息。

(3)應(yīng)用層：物聯(lián)網(wǎng)和用戶(包括人、組織和其他系統(tǒng))的接口，它與行業(yè)需求結(jié)合，利用云計算、模式識別等智能技術(shù)對數(shù)據(jù)進行處理分析。

比如，監(jiān)測飛機噴氣引擎中一些不易察覺的警報信號，以此來預(yù)測哪些設(shè)備需要進行維護，甚至能提前一個月預(yù)測其維護需求，預(yù)測準確率達到70%，這可以極大減少飛行延誤。這也是跟我們數(shù)據(jù)分析師最相關(guān)一層。

聚焦在應(yīng)用層，看數(shù)據(jù)分析師如何發(fā)揮他們的“雄才大略”：

剛剛說的飛機噴氣引擎的例子，這個實際上是GE(通用電氣)機器學(xué)習(xí)專家AnilVarma正在做的事情。這些傳感器將溫度、壓力和電壓等數(shù)據(jù)實時傳輸回GE進行分析。雖然資料中沒有提及具體的算法，但數(shù)說君認為應(yīng)該是：結(jié)合業(yè)務(wù)經(jīng)驗，構(gòu)建一定的模型或者指標，監(jiān)測“危險”信號，預(yù)測未來一段時間內(nèi)的維護需求——一個典型的數(shù)據(jù)分析師的任務(wù)。

實際上，GE在這一塊已經(jīng)相當領(lǐng)先，涉及各個領(lǐng)域，比如GE與加拿大一家電力公司通過分析衛(wèi)星影像、天氣地圖當?shù)赝ｋ娪涗浀葦?shù)據(jù)預(yù)測樹木修剪的熱點地區(qū)(掉落的樹枝是雷電導(dǎo)致停電的主要原因之一)。

GE全球董事長伊梅爾特戲言：“GE昨天還是一家制造業(yè)公司，一覺醒來已經(jīng)成為一家軟件和數(shù)據(jù)公司了。”

那么GE對數(shù)據(jù)人才是怎樣的?數(shù)說君在GE的官網(wǎng)上搜集了一些人才需求，以數(shù)據(jù)科學(xué)家 Data Scientist為例，這個職位在上海：

職位：

The Data Scientist will work in the Digital Foundry addressing statistical, machine learning and data understanding problems in a commercial technology and consultancy development environment. In this role, you will contribute to the development and deployment of modern machine learning, operational research, semantic analysis, and statistical methods for finding structure in large data sets.

主要涉及機器學(xué)習(xí)、運籌學(xué)、語義分析、大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)方法等。

要求:

Basic Qualifications:

Bachelor’s Degree in a “STEM” major (Science, Technology, Engineering, Mathematics)

Minimum 2 years analytics development in a commercial setting

Demonstrated skill in the use of one or more analytic software tools or languages (e.g., SAS, SPSS, R, Python)

Demonstrated skill at data cleansing, data quality assessment, and using analytics for data assessment

Demonstrated skill in the use of applied analytics, deive statistics, and predictive analytics on industrial datasets

簡單而言就是STEM專業(yè)(科學(xué)、技術(shù)、工程、數(shù)學(xué))的學(xué)士以上，至少2年工作經(jīng)驗、掌握統(tǒng)計軟件如R、SAS、SPSS、Python，有數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量評估和分析的技能，可以對工業(yè)數(shù)據(jù)進行應(yīng)用分析、描述統(tǒng)計以及預(yù)測分析等。

我們非常熟悉的SAS公司，也在物聯(lián)網(wǎng)上進行了布局，實際上，SAS已經(jīng)推出了專門的物聯(lián)網(wǎng)分析產(chǎn)品。

SAS?物聯(lián)網(wǎng)分析(SAS? Analytics for IoT)是在SAS成熟的數(shù)據(jù)分析產(chǎn)品基礎(chǔ)上組合而成的全新套裝產(chǎn)品，成功將SAS大數(shù)據(jù)分析的核心技術(shù)應(yīng)用到了物聯(lián)網(wǎng)連接的傳感器和設(shè)備上。SAS物聯(lián)網(wǎng)分析結(jié)合了流技術(shù)、數(shù)據(jù)分析和其他領(lǐng)域?qū)ｉL，把物聯(lián)網(wǎng)數(shù)據(jù)轉(zhuǎn)化為深刻洞察。

例如SAS可向企業(yè)提供穩(wěn)健的維保需求預(yù)測方案，實現(xiàn)當即制定個性化產(chǎn)品，促使企業(yè)采取具有商業(yè)價值的行動等。

SAS物聯(lián)網(wǎng)分析可以幫助企業(yè)解讀快速流轉(zhuǎn)并積累的數(shù)據(jù)，協(xié)助客戶根據(jù)數(shù)據(jù)信息做出正確決策。由此產(chǎn)生的收益，例如安全性和產(chǎn)品質(zhì)量的提高、人身傷害的減少等，能轉(zhuǎn)化為更有益的利潤。制造業(yè)、能源、零售業(yè)等相關(guān)行業(yè)都可以從SAS?物聯(lián)網(wǎng)分析中獲益。

科尼集團是一家工業(yè)起重機制造商，利用SAS，他們分析設(shè)備和客戶數(shù)據(jù)，以及使用情況、撞擊數(shù)據(jù)，把大數(shù)據(jù)同可靠性分析與模擬相結(jié)合，提高預(yù)測能力。

另外在農(nóng)業(yè)上，我們也介紹過在畜牧場、農(nóng)場如何使用傳感器進行監(jiān)測分析的例子(Farmeron：農(nóng)場主的數(shù)據(jù)分析工具;德強農(nóng)場—一家國內(nèi)大數(shù)據(jù)農(nóng)場)。

從以上內(nèi)容，我們稍稍提煉一下數(shù)據(jù)分析師在物聯(lián)網(wǎng)大數(shù)據(jù)的實踐技能：

1)語義引擎、多元數(shù)據(jù)融合技術(shù)

物聯(lián)網(wǎng)中數(shù)據(jù)的存儲方式、組織結(jié)構(gòu)以及時效性呈現(xiàn)出多樣性。我們需要一系列的工具去解析、提取、分析數(shù)據(jù)，語義引擎需要被設(shè)計成能夠從“文檔”中智能提取信息。

2)海量數(shù)據(jù)挖掘技術(shù)

MapReduce架構(gòu)可以作為海量數(shù)據(jù)資源知識元挖掘算法的統(tǒng)一處理機制，在Hadoop分布式系統(tǒng)平臺上，能夠?qū)崿F(xiàn)分類、聚類和關(guān)聯(lián)知識挖掘等算法，深入數(shù)據(jù)內(nèi)部，挖掘價值，這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

3)可視化分析

近隨著處理的數(shù)據(jù)量越來越大，可視化的需求越高越高。對體量大、多源的物聯(lián)網(wǎng)數(shù)據(jù)而言，可視化呈現(xiàn)是一個非常重要的技能。

4)預(yù)測分析能力

預(yù)測是物聯(lián)網(wǎng)的一個重要應(yīng)用，無論是農(nóng)業(yè)產(chǎn)量、物流，還是工業(yè)設(shè)備維護，預(yù)測效果直接顯像在應(yīng)用層面。

12年GE發(fā)布的報告顯示，每提高1%的燃油效率，航空業(yè)每年能節(jié)省20億美元，而能源行業(yè)則能節(jié)省40億美元。到2020年全球工業(yè)互聯(lián)網(wǎng)年產(chǎn)值將達到2250億美元，大大超越消費物聯(lián)網(wǎng)1700億美元的產(chǎn)值。

最后，物聯(lián)網(wǎng)是個陌生又有點熟悉的行業(yè)，對我而言更多的是一個學(xué)習(xí)的態(tài)度，非常非常希望能有這方面的專家賜文指導(dǎo)。