
大數據服務還是那個大數據服務嗎
2012年大數據是個流行詞,沒想到4年過后,在一些大數據論壇上還有人會說“如果我有大數據,我會怎樣怎樣……?!焙冒?,如果還停留在如果上,就不該隨便上論壇演講,講不好說不準工作都沒了?,F在大數據挖掘的技術都很成熟,更完善更系統(tǒng)的解決方案早已有人做得非常好。如果連數據都還沒有,那就什么都不用提了。畢竟,人工智能+大數據的生態(tài)模式已經開啟。
7月初,據外媒福布斯報道百度將人工智能+大數據為中國政府采集數據提供支持。7月13日,李彥宏在百度的開放云戰(zhàn)略發(fā)布會上首度公開百度開放云“人工智能、大數據和云計算”三位一體的發(fā)展戰(zhàn)略。為什么谷歌和百度都在人工智能領域重金發(fā)力?2015年百度投入研發(fā)創(chuàng)新的資金占公司總營收的16%。谷歌就不用說了,在量子計算這樣離實現還遙不可及的技術上都已經投入很多研發(fā)資金。因為互聯網未來向智能+發(fā)展的基礎是數據。有數,有趨向完整的海量數據是現在所有巨頭在布局人工智能+大數據生態(tài)模式的重點。
數據獲取的最新模式:眾包
眾包是一種整合資源提升效率的方式,通過眾包可以在集合海量數據中,篩選符合一定標準的有效數據,能夠降低數據收集的成本,提高機器學習訓練的效率。有個生物學家叫戴維?休斯(David Hughes),他和作物流行病學家馬塞爾?薩拉斯(Marcel Salathé)將機器視覺技術和深度學習算法應用于農業(yè)病蟲害智能防治上。他們將關于植物葉子的5萬多張照片導入計算機,并運行相應的深度學習算法,針對在明亮的光線條件及合乎標準的背景下拍攝出植物的照片,最終程序正確識別率高達99.35%。如果在互聯網上隨機選取的植物葉子照片,其識別準確率將降至30%-40%,這也是目前視覺識別技術在復雜環(huán)境下尚未突破的地方。為了突破算法的限制,提高準確率,休斯和薩拉斯開發(fā)手機應用Plant VillaGE,讓世界各地的農民通過Plant Village上傳患病作物照片,其中包含照片如何拍攝、拍攝地點、年份等大量數據,并包含農業(yè)專家對此做出相應診斷的信息。這種方式出現之后,數據獲取的難度依舊聚焦在多維度數據資源的聚合,眾包可以解決從分散的個體獲取目標數據的問題,但對于基礎數據資源層的擴張和占領依然是一場沒有硝煙的砸錢戰(zhàn)斗。
數多了怎么辦:智能計算
有些人在努力獲取數據,有些人在為數據多而未能充分利用而焦慮。
數據量級達到一定程度,再利用數據優(yōu)化服務需要人工智能算法。隨著企業(yè)數據量的積累,挖掘數據提高效率變成了必需。比如商業(yè)應用中打車平臺的應用,國內平臺滴滴與快滴合并之后,業(yè)務線從出租車擴張到專車、順風車、公交等領域,數據范圍猛增,數據量包含司機行為數據、顧客行為數據及各種路線數據、實時交通情況數據,定位數據等,據滴滴官方公布,滴滴出行每天處理的數據量達到70TB,由于訂單處理響應時間的要求,單純處理數據的效率已無法滿足實時服務的需求,必須借助人工智能算法才能夠進一步提升服務效果。從用戶體驗角度,也需要實現提升定位精準度,提高接單率,縮短應答時間。目前滴滴內部基于海量數據+機器學習算法的推薦匹配系統(tǒng),針對海量司機的交班時間、地點、接單/拒單情況等海量數據進行司機畫像,以此為基礎,針對實時的訂單數據,分配訂單時實時按需分配,滿足服務需求。從數據應用展現更宏觀價值的角度來看,基于滴滴已有數據,可整合實時交通情況數據,包括擁堵路段、集中路線、集中商圈等多維度動態(tài)數據,進行結構化處理,達到整合一個城市的車輛分布,實現統(tǒng)籌平衡調度的目的。
大數據服務的現在及未來:智能+生態(tài)模式
未來人工智能+大數據生態(tài)模式將更多的應用于在商業(yè)場景下。HCR慧辰TMT研究部認為,大數據服務未來將有以下四種模式:
一是形成數據資源和計算資源提供平臺。當前企業(yè)數據大多僅留存于企業(yè)內部,在開發(fā)應用上一般也只有內部應用,企業(yè)之間數據各自孤立,獨立計算,行業(yè)內尚未形成整合大數據,目前第三方數據采集、監(jiān)測機構已經開始致力于多維數據的采集服務,包括外部數據的直接采集和企業(yè)內部數據的間接采集,已有第三方在提供基礎數據庫資源。未來伴隨數據維度的豐富和數據量的擴大,第三方機構將采集并使用智能算法結構化處理形成相對完整的數據資源提供平臺,并針對些海量數據的存儲、整合及計算提供基于云端的平臺式服務。
二是出現技術服務平臺,包含提供Paas服務的開源平臺及計算能力、大數據解決方案及技術服務支持。從目前人工智能和大數據企業(yè)發(fā)展來看,只有巨頭和少數創(chuàng)業(yè)企業(yè)掌握核心算法及存儲真正大數據,更多企業(yè)通過合作或建立產業(yè)聯盟的方式獲取行業(yè)或其他領域的數據。但對于數據的存儲、處理和應用需要技術支撐且突破這些技術需要消耗大量人力物力財力,沒必要所有企業(yè)都去做這件事。PaaS服務將數據處理能力作為模塊開放出來,使得數據挖掘技術的使用門檻和成本大幅降低,更多企業(yè)有能力利用云端數據服務創(chuàng)造附加價值。因此形成Paas服務平臺或解決方案技術服務平臺,據此可以聚合數據資源,優(yōu)化算法,提高準確率。另外也會形成基于數據存儲、處理及挖掘技術的整體服務解決方案提供商,企業(yè)可以將數據服務完全外包給第三方機構,第三方機構也可以通過這種方式在云端整合資源并優(yōu)化技術,提高準確率,同時產生推動行業(yè)發(fā)展的效果。
三是出現資訊服務平臺。大數據產業(yè)相對仍是新興產業(yè),發(fā)展日新月異。一方面企業(yè)需要尋找大數據資源或技術服務平臺,另外一方面第三方服務機構需要推廣宣傳自身及行業(yè)發(fā)展、技術發(fā)展現狀。在這種背景下將出現起到橋梁作用的專業(yè)資訊服務平臺,連接企業(yè)和第三方服務機構,同時起到發(fā)布整個行業(yè)前沿信息的作用。
四是出現交叉/垂直化服務應用?,F階段在教育、金融領域的垂直應用以及在未來智能營銷、智能制造等交叉行業(yè)的應用。如在教育行業(yè)已出現利用積累的教、考、學環(huán)節(jié)的大數據結合深度學習算法推出個性化學習平臺,如國外的Knewton、國內的智學網都是這種模式。未來將延伸至農業(yè)、制造業(yè)、交通、醫(yī)療等各行各業(yè),出現如智能農業(yè)生產管理、智能交通、個性化精準醫(yī)療等創(chuàng)新服務。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經網絡(RNN)家族中,長短期記憶網絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數據分析師報考條件詳解與準備指南? ? 在數據驅動決策的時代浪潮下,CDA 數據分析師認證愈發(fā)受到矚目,成為眾多有志投身數 ...
2025-07-11數據透視表中兩列相乘合計的實用指南? 在數據分析的日常工作中,數據透視表憑借其強大的數據匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數據分析師:連接數據與業(yè)務的價值轉化者? ? 在大數據與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數據查詢到趨勢預判? ? 在數據驅動決策的時代,預測分析作為挖掘數據潛在價值的核心手段,正被廣泛 ...
2025-07-10數據查詢結束后:分析師的收尾工作與價值深化? ? 在數據分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數 ...
2025-07-10CDA 數據分析師考試:從報考到取證的全攻略? 在數字經濟蓬勃發(fā)展的今天,數據分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數據背后的時間軌跡? 在數據分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數據類型:時間維度的精準切片? ? 在數據的世界里,時間是最不可或缺的維度之一,而year_month數據類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數據分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數據分析師認證考試中,Python 作為數據處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數據趨勢與突變分析的有力工具? ? ? 在數據分析的廣袤領域中,準確捕捉數據的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數據分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數據分析師認證作為國內權威的數據分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網絡(LSTM)作為循環(huán)神經網絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調研數據中的深度應用? 市場調研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調研數 ...
2025-07-07CDA數據分析師證書考試全攻略? 在數字化浪潮席卷全球的當下,數據已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數據分析師也因此成為 ...
2025-07-07剖析 CDA 數據分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數據分析師考試作為衡量數據專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數據處理的關鍵技能? 在數據處理與分析工作中,數據格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數據分析師視角:從數據迷霧中探尋商業(yè)真相? 在數字化浪潮席卷全球的今天,數據已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數據分析師:開啟數據職業(yè)發(fā)展新征程? ? 在數據成為核心生產要素的今天,數據分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03