
大數(shù)據(jù)急需攻克的五大世界性難題
世界人民的健康記錄:醫(yī)學(xué)領(lǐng)域最急需的資源,人腦圖譜:了解身體的各個(gè)部分如何運(yùn)作,統(tǒng)籌世界范圍內(nèi)的鈾原料供應(yīng):追蹤武器化活動(dòng)與能源供給等這些人們最關(guān)注的世界性難題,IBM、谷歌等巨頭級(jí)企業(yè)已經(jīng)開始對(duì)這類高難度挑戰(zhàn)發(fā)起沖擊,這很令人期待。
盡管計(jì)算性能、存儲(chǔ)容量以及分析技術(shù)一直在不斷進(jìn)步,某些現(xiàn)實(shí)挑戰(zhàn)對(duì)于大數(shù)據(jù)而言仍然過于龐大以至于無法應(yīng)對(duì)。在今天的文章中,我們將探討五個(gè)此類難題 ——看看如何才能將其解決。
如果大數(shù)據(jù)能夠在傳統(tǒng)領(lǐng)域之外進(jìn)一步解決世界性難題,結(jié)果會(huì)怎么樣?到目前為止,IBM、谷歌以及惠普等巨頭級(jí)企業(yè)已經(jīng)開始對(duì)這類高難度挑戰(zhàn)發(fā)起沖擊,其中包括分析繁忙的高速公路上到底會(huì)有多少車輛通過某條橋梁,或者計(jì)算會(huì)有多少用戶查看網(wǎng)絡(luò)瀏覽器中的一條小廣告。谷歌公司甚至公布了一項(xiàng)雄心勃勃的計(jì)劃,稱將解決人類衰老這一歷史性難題。
但仍有幾大世界性難題等待著我們攻克。在某些情況下,分析所需要的數(shù)據(jù)根本無跡可尋。在其它情況下,足以應(yīng)對(duì)如此龐大數(shù)據(jù)量的計(jì)算機(jī)還沒有被發(fā)明出來。目前有五大課題值得我們關(guān)注。會(huì)有大數(shù)據(jù)技術(shù)企業(yè)站出來排憂解難嗎?我們等待時(shí)間帶來答案。
世界人民的健康記錄:醫(yī)學(xué)領(lǐng)域最急需的資源
大多數(shù)人都擁有一份電子健康記錄(簡稱HER),不過其中的內(nèi)容頗為有限——甚至只包含最近一次健康檢查的基本結(jié)果。目前足以支撐全世界健康記錄資料庫的工具與技術(shù)已經(jīng)到位。這樣的全球性數(shù)據(jù)庫一旦出現(xiàn),制藥企業(yè)就能對(duì)其進(jìn)行分析以開發(fā)人民群眾最急需的疫苗及藥物——也就是說,根據(jù)供應(yīng)鏈的實(shí)際需要進(jìn)行優(yōu)先選擇。
既然前景一片光明,為什么我們還沒有感受到由此帶來的益處呢?這是由于目前還缺乏一套訪問全球數(shù)據(jù)的可行機(jī)制。“健康記錄被保存在一大堆彼此隔離的系統(tǒng)當(dāng)中,而資料持有者沒有足夠的動(dòng)力來分享這些信息,”分布式數(shù)據(jù)庫供應(yīng)商Cloudant公司聯(lián)合創(chuàng)始人兼首席科學(xué)家 MikeMiller表示?!凹词刮覀冋娴陌阉袛?shù)據(jù)都?xì)w攏在一起,也仍然需要通過機(jī)器學(xué)習(xí)算法及實(shí)時(shí)分析對(duì)其進(jìn)行全面優(yōu)化。這也正是我們目前正在努力鉆研的課題?!?/span>
人腦圖譜:了解身體的各個(gè)部分如何運(yùn)作
人類大腦模型能夠?yàn)榭茖W(xué)研究帶來巨大幫助。醫(yī)生可以查看腫瘤的生長情況或者了解大腦如何通過一系列功能控制身體的其它器官。目前已經(jīng)有包括歐洲人類大腦項(xiàng)目在內(nèi)的多個(gè)科學(xué)項(xiàng)目嘗試在未來十年之內(nèi)創(chuàng)建出大腦模擬系統(tǒng)。
障礙何在?要完成這項(xiàng)工作,我們需要一臺(tái)運(yùn)算速度千倍于當(dāng)前水平的超級(jí)計(jì)算機(jī)。大腦當(dāng)中存在數(shù)以百萬計(jì)的神經(jīng)遞質(zhì),而且它們彼此之間互相連通、共同數(shù)據(jù)我們所接觸到的“數(shù)據(jù)”。
“這樣的計(jì)算規(guī)模要求我們從傳統(tǒng)的硅芯片領(lǐng)域脫離出來,邁向生物芯片時(shí)代——這是分子計(jì)算的前提條件,”曾任克林頓政府前副助理國務(wù)卿(負(fù)責(zé)運(yùn)輸體系技術(shù)政策)、現(xiàn)任霍華德大學(xué)教授的OliverG.McGee解釋道?!皬闹庇^角度看,分子計(jì)算在數(shù)據(jù)管理方面的運(yùn)算速度比傳統(tǒng)硅芯片高750倍,只有這樣的機(jī)制才能處理顱腹腦體系當(dāng)中的關(guān)系認(rèn)知奧秘?!?/span>
統(tǒng)籌世界范圍內(nèi)的鈾原料供應(yīng):追蹤武器化活動(dòng)與能源供給
毫無疑問,在全球范圍內(nèi)收集任何數(shù)據(jù)都將是一項(xiàng)極為艱巨的任務(wù),但追蹤全球鈾原料供應(yīng)至少擁有其積極意義——當(dāng)然,前提是所有信息碎片都能嚴(yán)絲合縫地被拼接在一起。
數(shù)據(jù)收集企業(yè)Connotate公司CEOKeithCooper指出,我們目前只能解決其中一部分難題,因?yàn)槟承﹪也]有公開其鈾原料供應(yīng)記錄?!澳壳埃芏噔檭?chǔ)量豐富的國家雖然已經(jīng)擁有便捷的互聯(lián)網(wǎng)體系,但卻仍然拒絕以標(biāo)準(zhǔn)化方式公布其資源流向?!毙疫\(yùn)的是,計(jì)算宏觀形勢(shì)倒不太困難——畢竟將鈾原料投入武器化領(lǐng)域的國家數(shù)量有限。
我們真正需要追蹤并掌握的是全球可用鈾原料當(dāng)中最為寶貴的、僅占15%的濃縮鈾,他解釋道?!拔覀冃枰R(shí)別并追蹤所有與濃縮鈾相關(guān)的銷售活動(dòng)(通過黑市或者合法渠道)以及礦藏分布,并通過論壇、博客、監(jiān)管機(jī)構(gòu)及其它周邊體系進(jìn)行數(shù)據(jù)統(tǒng)計(jì),包括各政府及非政府組織對(duì)于鈾原料生產(chǎn)數(shù)據(jù)及開采活動(dòng)的報(bào)道等。為了處理收集到的這些結(jié)果,我們還需要設(shè)計(jì)出一套智能化人機(jī)交流方案。”
全球?qū)崟r(shí)犯罪數(shù)據(jù):更加主動(dòng)的警務(wù)處理能力
很多地方性執(zhí)法機(jī)構(gòu)已經(jīng)掌握著非常豐富的犯罪數(shù)據(jù),警務(wù)人員則可以在自己的警車內(nèi)輕松訪問犯罪記錄數(shù)據(jù)庫,從而根據(jù)犯罪嫌疑人的具體情況做出反應(yīng)。
障礙何在?這些數(shù)據(jù)只包含過往的罪行,Cloudant公司的Miller表示,其中無法體現(xiàn)剛剛發(fā)生或者正在進(jìn)行中的犯罪活動(dòng)。由于無法在犯罪活動(dòng)進(jìn)行的過程中進(jìn)行阻止,警方只能被迫采取更為被動(dòng)的應(yīng)對(duì)措施。
不過情況已經(jīng)有所轉(zhuǎn)變,Miller指出。舉例來說,加利福尼亞州奧克蘭市警方已經(jīng)配備聲學(xué)監(jiān)控器用于識(shí)別槍聲。技術(shù)人士將其稱為 “ShotSpotter”,配合大數(shù)據(jù)分析機(jī)制即可用于追蹤潛在的犯罪發(fā)生地點(diǎn),警員則根據(jù)分析結(jié)論立即前往對(duì)應(yīng)位置。實(shí)時(shí)犯罪數(shù)據(jù)所帶來的易處并不局限于執(zhí)法領(lǐng)域:TruliaLocal熱點(diǎn)地圖能夠提供犯罪活動(dòng)報(bào)告,從而幫助住房買家選擇更友善、更安全的生活環(huán)境。
追蹤兒童行蹤:更好、更及時(shí)的AmberAlert
時(shí)至今日,我們已經(jīng)擁有很多種通報(bào)失蹤兒童的方式,例如美國所采用的AmberAlert系統(tǒng)。不過這些通告機(jī)制的最大問題在于,只能在事后發(fā)起提醒。追蹤兒童位置所必要的技術(shù)已經(jīng)存在,當(dāng)下大部分智能手機(jī)都能通過谷歌位置報(bào)告功能將兒童的當(dāng)前所在地發(fā)送給父母。與此同時(shí),大眾汽車的Car-Net以及福特汽車的MyKey應(yīng)用也能在青少年駕車到達(dá)特殊地理位置時(shí)發(fā)送報(bào)告。
障礙何在?分析。數(shù)字營銷企業(yè)RoundarchIsobar公司副總裁JaisonManian指出,預(yù)測(cè)技術(shù)能夠助我們一臂之力。大數(shù)據(jù)廠商能夠分析兒童的行為模式,當(dāng)然前提是家長愿意分享相關(guān)數(shù)據(jù)。
“預(yù)測(cè)分析能夠追蹤兒童的日常行動(dòng)模式,并在出現(xiàn)嚴(yán)重偏差時(shí)立即向父母發(fā)出警示,”他表示。只要滿足警示條件,信息會(huì)被實(shí)時(shí)發(fā)出 ——這能有效阻止重大事故的發(fā)生。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07