大數(shù)據(jù)真的不需要人為干預(yù)嗎？

關(guān)于“大數(shù)據(jù)”你一定聽(tīng)濫了，但也沒(méi)搞明白究竟是怎么回事。盡管你無(wú)時(shí)無(wú)刻不在感受到它帶來(lái)的“某些”便利：

比如一周前你在某個(gè)社交網(wǎng)站上做面試測(cè)試題，當(dāng)你面試完時(shí)才知道，那份測(cè)試題真正的意圖是匹配你與團(tuán)隊(duì)性格的契合度有多高。又如，在十一黃金周前你接到某個(gè)購(gòu)票應(yīng)用推送的信息，上面提示你提前16天通過(guò)電話訂火車(chē)票，要比同日在網(wǎng)上購(gòu)票成功機(jī)率高。當(dāng)你真的打過(guò)去時(shí)，發(fā)現(xiàn)電話預(yù)訂系統(tǒng)正處于繁忙狀態(tài)，而不得不等了2小時(shí)后再致電，才訂票成功。但好過(guò)同一時(shí)刻被卡在12306網(wǎng)站上而付不了款。

大數(shù)據(jù)正在滲透各行各業(yè)，甚至能跟你考試能力測(cè)試、患上某種疾病的機(jī)率等非常生活化的場(chǎng)景應(yīng)用都發(fā)生緊密的聯(lián)系。今后大數(shù)據(jù)在我們的生活中就像是水和電一樣，讓社會(huì)整個(gè)信息質(zhì)量更好、讓信息利用效率更高效。

在這個(gè)系統(tǒng)中，數(shù)據(jù)的采樣與后期分析仍需要靠人為力量去完成。

眾包讓數(shù)據(jù)采樣更自動(dòng)化

“今后人工干預(yù)會(huì)越來(lái)越不必要，至少在前端采集數(shù)據(jù)是這樣?！碑a(chǎn)品經(jīng)理James向騰訊科技談到，現(xiàn)在很多數(shù)據(jù)的采集都來(lái)自與用戶的交互行為，比如搜索、微博互動(dòng)、又比如“喜歡”、“贊”、“丟掉廢紙簍”這類在應(yīng)用中小的設(shè)計(jì)，只要用戶主動(dòng)完成，在后臺(tái)便可推算出數(shù)據(jù)質(zhì)量。

洋蔥價(jià)格的高漲起落決定了印度通貨膨脹率的趨勢(shì)，一家名為Premise的創(chuàng)業(yè)公司，每天通過(guò)700多個(gè)安裝了自己開(kāi)發(fā)應(yīng)用的用戶來(lái)實(shí)時(shí)上傳各地區(qū)的不同洋蔥零售價(jià)格。

該公司的聯(lián)合創(chuàng)始人大衛(wèi)-斯洛夫（David Soloff）認(rèn)為，這是一種能夠?qū)崟r(shí)感知全球金融動(dòng)態(tài)的有效渠道，因?yàn)楫?dāng)?shù)厣痰暌话愣紩?huì)根據(jù)經(jīng)濟(jì)環(huán)境的變化（其中包括批發(fā)價(jià)格和消費(fèi)者信心等因素）及時(shí)調(diào)整商品售價(jià)。

“Premise所提出的分析方法已經(jīng)證明，根據(jù)自己所收集的數(shù)據(jù)在部分經(jīng)濟(jì)環(huán)境中提前4-6周給出通脹指標(biāo)預(yù)測(cè)。大家完全不必再等待此前那種每月一次的‘經(jīng)濟(jì)天氣預(yù)報(bào)’了?！彼孤宸驈?qiáng)調(diào)。

而對(duì)零售門(mén)店來(lái)說(shuō)，貨架上品牌的陳列直接決定著銷量，如何讓品牌在流動(dòng)的顧客中一直占據(jù)較好的陳列位置，讓這項(xiàng)工作既需要耗時(shí)耗力，也非?，嵥?。

為此一家名為Quri的公司，通過(guò)開(kāi)發(fā)一款名為EasyShift的應(yīng)用，讓用戶有償貢獻(xiàn)時(shí)間去精力去完成這項(xiàng)數(shù)據(jù)的收集。用戶只要領(lǐng)取應(yīng)用下達(dá)的任務(wù)，在指定的地點(diǎn)拍指定場(chǎng)所的照片，上傳到Quri的服務(wù)器上，便可領(lǐng)取相應(yīng)微薄的報(bào)酬。

EasyShift的理念不難理解：現(xiàn)在大多數(shù)用戶都隨身攜帶智能手機(jī)。品牌商想要了解自己的商品在大型零售店的展示情況、評(píng)估競(jìng)爭(zhēng)對(duì)手的動(dòng)態(tài)、報(bào)告斷貨的產(chǎn)品和定價(jià)信息、監(jiān)測(cè)促銷和產(chǎn)品發(fā)布情況。EasyShift向消費(fèi)者付費(fèi)，讓他們?cè)谫?gòu)物時(shí)順手收集這些信息。

在日本大地震中，意外地運(yùn)用了某汽車(chē)品牌車(chē)載導(dǎo)航實(shí)時(shí)的可視化數(shù)據(jù)，打通“綠色生命通道”的項(xiàng)目“連接生命線”。

該項(xiàng)目負(fù)責(zé)人菅野熏是日本電通創(chuàng)意設(shè)計(jì)中心高級(jí)總監(jiān)，在日本大地震前他接受了某汽車(chē)品牌的合作項(xiàng)目。該項(xiàng)目為在某路段行駛了哪一輛車(chē)，什么時(shí)間行駛，位于哪個(gè)經(jīng)緯度，以多快的速度朝哪個(gè)方向行駛等，每分鐘大約有十萬(wàn)條的動(dòng)態(tài)數(shù)據(jù)都會(huì)記錄在一個(gè)車(chē)載導(dǎo)航數(shù)據(jù)庫(kù)中，菅野熏將這些數(shù)據(jù)集成一個(gè)程序內(nèi)，并以日本地圖的形式展現(xiàn)出來(lái)。

在日本發(fā)生地震時(shí)，這些導(dǎo)航數(shù)據(jù)都能臨時(shí)派上用場(chǎng)。

“地震時(shí)，通訊信號(hào)都不太暢通，人們只能夠通過(guò)網(wǎng)絡(luò)確認(rèn)親人朋友是否平安，我們所面臨的挑戰(zhàn)就是如何將救援隊(duì)去送往災(zāi)區(qū)。”菅野熏說(shuō)道。

導(dǎo)航數(shù)據(jù)本來(lái)用于交通擁堵情況而搜集車(chē)輛的行駛數(shù)據(jù)?！皬牧硪粋€(gè)角度來(lái)說(shuō)，有車(chē)輛行駛的數(shù)據(jù)說(shuō)明，道路是可通過(guò)的?！陛岩把劦?，地震后一旦有車(chē)輛行駛，就用綠色去進(jìn)行標(biāo)注，形成一條通行軌跡。

與此同時(shí)，團(tuán)隊(duì)還在Twitter上實(shí)時(shí)組織用戶去發(fā)布目前全日本各地路況與路標(biāo)信息，綜合兩類信息后，將綠色生命通道數(shù)據(jù)于地震發(fā)生20個(gè)小時(shí)后發(fā)布在網(wǎng)上公開(kāi)下載。除了網(wǎng)頁(yè)端外，編程人員也快速開(kāi)發(fā)了移動(dòng)端。在當(dāng)時(shí)的危機(jī)之下，信息擴(kuò)散的力度是極快的，很快在在網(wǎng)站和手機(jī)應(yīng)用中，多條綠色的線路都逐一呈現(xiàn)，為救援隊(duì)快速到達(dá)提供了參考。

大數(shù)據(jù)時(shí)代人工干預(yù)仍有必要

機(jī)器學(xué)習(xí)在大數(shù)據(jù)中確實(shí)占據(jù)主導(dǎo)作用，但真的不需要人為干預(yù)嗎？例如，你已經(jīng)習(xí)慣泛濫在身邊網(wǎng)絡(luò)營(yíng)銷，但你真的認(rèn)可靠單純的數(shù)學(xué)模型與規(guī)模數(shù)據(jù)分析的營(yíng)銷推薦嗎？

ZestFinance是一個(gè)利用機(jī)器學(xué)習(xí)加大數(shù)據(jù)分析為payday loan行業(yè)（發(fā)薪日貸款，類似高利貸的短期高利息借款）提供客戶品質(zhì)分析的平臺(tái)。

與傳統(tǒng)的分析方式不同，ZestFinance可同時(shí)運(yùn)營(yíng)多個(gè)模型對(duì)海量數(shù)據(jù)進(jìn)行分析來(lái)判斷各種可能性，再加上越來(lái)越多的數(shù)據(jù)來(lái)源和種類，然后這些信息被轉(zhuǎn)化為幾萬(wàn)個(gè)可對(duì)借貸者行為做出測(cè)量的指標(biāo)，如詐騙幾率、長(zhǎng)期和短期內(nèi)的信用風(fēng)險(xiǎn)和他的償還能力。最后各模型的結(jié)果被整合成最終結(jié)果。這個(gè)平臺(tái)可在幾秒間為用戶提供最可靠的結(jié)果。創(chuàng)始人Merrill說(shuō)：“我們更傾向于通過(guò)把機(jī)器學(xué)習(xí)機(jī)制和人工干預(yù)結(jié)合到一起。”

例如在醫(yī)療領(lǐng)域，機(jī)器學(xué)習(xí)基礎(chǔ)上的數(shù)據(jù)分析就遠(yuǎn)遠(yuǎn)不夠?！耙?yàn)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)能推算出一定比例的概率，但無(wú)法達(dá)到精確、精準(zhǔn)?！贝河暾粕厢t(yī)生CTO曾柏毅向騰訊科技舉例，如對(duì)于某種疾病模型的設(shè)計(jì)，是通過(guò)調(diào)取現(xiàn)有數(shù)據(jù)庫(kù)中所有相似度90%以上提問(wèn)，將問(wèn)題結(jié)果分析匯總，制作疾病發(fā)生概率模型，并將每個(gè)問(wèn)題醫(yī)生的建議，總結(jié)出“無(wú)大礙”和“去醫(yī)院“比例，為患者提供直觀的數(shù)據(jù)參考。

“但這也是取一定比例的概率，是用于用戶自查。可是否能精確到病人真的符合這種病癥，還是需要人為分析（醫(yī)生診斷），我們這些在后臺(tái)的數(shù)據(jù)分析員也要去再排查、甄別數(shù)據(jù)的準(zhǔn)確度。”上述人士談到。