R語言玩數(shù)據(jù)：數(shù)據(jù)+算法+計(jì)算引擎+知識表達(dá)

本文介紹玩數(shù)據(jù)的四部曲，分別是數(shù)據(jù)、算法、計(jì)算引擎和知識表達(dá)。

一、數(shù)據(jù)

數(shù)據(jù)的觀點(diǎn)，如下：

玩數(shù)據(jù)首先要擁有數(shù)據(jù)，”巧婦難為無米之炊“。

業(yè)務(wù)問題是什么？預(yù)期目標(biāo)是什么？圍繞問題和目標(biāo)所要的數(shù)據(jù)是什么？這些數(shù)據(jù)是否擁有，有多長和多寬？如何利用這些數(shù)據(jù)解決業(yè)務(wù)問題和實(shí)現(xiàn)預(yù)期目標(biāo)？

數(shù)據(jù)的結(jié)構(gòu)是什么？是結(jié)構(gòu)化的、半結(jié)構(gòu)化還是非結(jié)構(gòu)化的；數(shù)據(jù)的源頭是那些？是業(yè)務(wù)數(shù)據(jù)、前端與后端日志數(shù)據(jù)、第三方數(shù)據(jù)、埋點(diǎn)收集數(shù)據(jù)等；數(shù)據(jù)的類型是是什么？是數(shù)字、還是文本、還是音頻、圖像、視頻，甚至是綜合體。總之，數(shù)據(jù)具有多樣性

數(shù)據(jù)的采集極其復(fù)雜，也富有挑戰(zhàn)性，不僅是源頭多樣，結(jié)構(gòu)迥異，還有各種“不確定性”的因素。究竟是一窩蜂地記錄所有的數(shù)據(jù)，還是根據(jù)不同階段有針對性地收集和存儲(chǔ)數(shù)據(jù)呢？

數(shù)據(jù)的商業(yè)價(jià)值需要通過分析和挖掘，然后以有效地知識表達(dá)出來，才能實(shí)現(xiàn)“數(shù)據(jù)變現(xiàn)”或者基于數(shù)據(jù)創(chuàng)造新的商業(yè)模式。

如何從數(shù)據(jù)中學(xué)習(xí)到有用的知識，就需要算法+計(jì)算引擎+知識表達(dá)。

二、算法

算法的觀點(diǎn)，如下：

算法是什么？算法就是告訴計(jì)算機(jī)做事情的步驟與方法，一類算法就是嚴(yán)謹(jǐn)?shù)匾徊讲礁嬖V計(jì)算機(jī)要做什么以及最后輸出什么結(jié)果；領(lǐng)一類算法就是通過給計(jì)算喂養(yǎng)數(shù)據(jù)（Data），從Data中學(xué)習(xí)到有用知識，然后利用這些知識去做預(yù)測或者判別的有價(jià)值的行動(dòng)。

算法有其特定的適用場景，那種“一招通吃”的期盼肯定是不現(xiàn)實(shí)的。這就注定了面對不同業(yè)務(wù)問題和數(shù)據(jù)，要選擇適合的算法。換句話說，“天下沒有免費(fèi)的午餐！”

同一問題，面對多種算法處理時(shí)，選擇那種既能夠達(dá)到預(yù)期效果，又能夠簡單易用的算法，換句話說，“若無必要，勿增實(shí)體！”

三、計(jì)算引擎

算法要讓計(jì)算機(jī)來執(zhí)行，面對各種邏輯弄清楚后，落地就是“計(jì)算”了。因此，熟悉常用的計(jì)算引擎和選擇合適的計(jì)算引擎，也是非常重要的。
數(shù)據(jù)人網(wǎng)的數(shù)據(jù)技術(shù)里面包括R、Python、Hadoop和Spark，實(shí)則它們都可以當(dāng)作一種計(jì)算引擎。關(guān)于計(jì)算引擎的使用，唯一的建議，根據(jù)具體的問題選擇合適的計(jì)算引擎，秉持“不負(fù)荷和不浪費(fèi)”的原則。

四、知識表達(dá)

從數(shù)據(jù)中學(xué)習(xí)到有用的知識后，知識如何表達(dá)呢？或者說，輸出的結(jié)果怎么表達(dá)的？
知識表達(dá)觀點(diǎn)，如下：

知識表達(dá)有多重形式，可以表格化，可以規(guī)則化，可以數(shù)值化，可以模式化等等。

知識表達(dá)的形態(tài)可以促進(jìn)我們對學(xué)習(xí)過程的理解，對所解決問題進(jìn)一步認(rèn)識。

知識表達(dá)的方式也決定了我們?nèi)绾卫弥R的方式與方法。

知識表達(dá)也是人工智能所研究的一個(gè)重要領(lǐng)域。

總結(jié)

一個(gè)玩數(shù)據(jù)的人，數(shù)據(jù)這四部曲，需要花費(fèi)時(shí)間和精力去修煉。慶幸的是，“你不是一個(gè)人在奮斗！”