
如何緩解大數(shù)據(jù)帶來的尷尬
關(guān)于大數(shù)據(jù),最近爆出的一個笑話:在電影業(yè)一次內(nèi)部行業(yè)會議上,一位巨無霸級別的電影業(yè)發(fā)言人說:通過數(shù)據(jù)挖掘,我們發(fā)現(xiàn)不同觀眾的相關(guān)賣品偏好。比如《芳華》的觀眾比《戰(zhàn)狼》觀眾消費(fèi)了更多的熱飲。這些都是之前我們不知道的,也是無法預(yù)測的。
上面這樣一個基于兩部影片的觀影數(shù)據(jù)分析得出來的結(jié)論,看似客觀正確,實(shí)則因?yàn)槟P筒煌晟?缺少觀影季節(jié)的考量)等原因,而鬧出笑話。
在近期,我們在給金融科技做盤點(diǎn)的時候,就發(fā)現(xiàn)大數(shù)據(jù)自身就是一個“尷尬”。我們找遍新聞,也沒有發(fā)現(xiàn)這個詞有什么特別值得說道的地方。只能靠著一點(diǎn)時政資料湊齊了這個關(guān)鍵詞的盤點(diǎn)。
2017年,大數(shù)據(jù)如此重要,卻又如此沒有料。
大數(shù)據(jù)模型不完善,是因?yàn)楦焕未髷?shù)據(jù)一直不溫不火,和他的發(fā)展缺陷有很大的關(guān)系。雖然大家極力看好它,但未能迎來行業(yè)的爆發(fā)。
和一些做大數(shù)據(jù)的朋友聊天,他們甚至?xí)苤卑椎赝虏圩约杭业臄?shù)據(jù)模型。
“那些所謂的數(shù)據(jù)模型之類的鬼東西,你只需瞄上一眼,就能頭疼一整天。模型里的數(shù)據(jù)巨大無比,線索邏輯紛繁復(fù)雜。很多數(shù)據(jù)看似很重要卻極其無聊,對結(jié)果判斷毫無意義,食之無味棄之可惜,雞肋一般的存在?!?
“說實(shí)在的,根本原因不在于技術(shù)的落后,而是整個行業(yè)的發(fā)展根基太淺,無法對數(shù)據(jù)的有效性進(jìn)行勘誤、歸納和合理解釋?!?
“粗略地說,合理的大數(shù)據(jù)架構(gòu)是,數(shù)據(jù)模型完善,能根據(jù)特定領(lǐng)域做出全面合理的數(shù)據(jù)精簡,去掉無關(guān)數(shù)據(jù)和干擾數(shù)據(jù),梳理出一條合理的客觀建議,并根據(jù)數(shù)據(jù)分析師的主觀判斷和勘誤,再總結(jié)出合理的結(jié)論,對相關(guān)行業(yè)做出準(zhǔn)確的預(yù)判?!?
“現(xiàn)在呢?本來數(shù)據(jù)模型都存在這樣和那樣的漏洞,卻還想著數(shù)據(jù)處理的完全自動化。”
“而完全依靠客觀數(shù)據(jù),完成所謂的人工智能演算,那都是扯淡的事兒。”
“剛才說的那個《芳華》和《戰(zhàn)狼》的笑話其實(shí)就是一個看似客觀,實(shí)則可笑的分析結(jié)論。”
“這是因?yàn)?,大家一說到大數(shù)據(jù),就太拿數(shù)據(jù)想當(dāng)然了。如果只靠著這點(diǎn)意識去做消費(fèi)金融領(lǐng)域的數(shù)據(jù)分析,肯定有很多投資人被坑得底兒朝天!”
“所以現(xiàn)在掙錢的還是那些靠著倒買倒賣用戶資料的數(shù)據(jù)公司,一個數(shù)據(jù)包,加點(diǎn)水分,到處賣,收益無限?!?
“不過,最近似乎也沒那么容易整了,因?yàn)楣俜皆讲樵絿?yán),有些所謂的大數(shù)據(jù)公司搞不動了,怕是要涼了。”
物聯(lián)網(wǎng)或許是大數(shù)據(jù)公司的真正機(jī)會“除了行業(yè)經(jīng)驗(yàn)的累積,還需要更多數(shù)據(jù)做線上支撐?!?
“當(dāng)然,并不是說數(shù)據(jù)越多越好,而是說,線上的數(shù)據(jù)越豐富,越有利于我們組織有效數(shù)據(jù)。”
“核心問題就在于,如何產(chǎn)生大量的有效數(shù)據(jù)。”
“有效數(shù)據(jù),簡單了說,就某個領(lǐng)域,比如,消費(fèi)金融領(lǐng)域的某一個小細(xì)分的消費(fèi)品的相關(guān)數(shù)據(jù),在合理組合和解構(gòu)之后,對行業(yè)發(fā)展做出合理預(yù)判,對投資人預(yù)期負(fù)責(zé)的數(shù)據(jù)。否則,數(shù)據(jù)越大,負(fù)擔(dān)越重,越成不了事兒?!?
積累經(jīng)驗(yàn)到什么時候才算是個頭呢?
“或許要等到物聯(lián)網(wǎng)時代的真正到來?!?
為什么?
“物聯(lián)網(wǎng)可以讓更多的消費(fèi)金融數(shù)據(jù)和物流數(shù)據(jù)線上化,個人消費(fèi)信用信息也將進(jìn)一步線上化,數(shù)據(jù)的歸集和處理將更加高效和全面?!?
“不過,隨著移動支付的快速發(fā)展,更多人的金融消費(fèi)能力在線上就基本被呈現(xiàn)了出來,包括個人的消費(fèi)習(xí)慣和個人征信信息都被線上化,而由此產(chǎn)生的物流信息、住房、貸款信息等都在逐步完成終極線上化,這些對大數(shù)據(jù)來說,都是極好的機(jī)會?!?
“大數(shù)據(jù)行業(yè)機(jī)會很大,但大數(shù)據(jù)是一個不穩(wěn)定的行業(yè),因?yàn)橐磺械臄?shù)據(jù)都?xì)w結(jié)到機(jī)器里,而機(jī)器由人來掌控,相關(guān)的操作風(fēng)險(xiǎn)完全看自己的風(fēng)險(xiǎn)意識和人品。行業(yè)隨時爆發(fā)大規(guī)模風(fēng)險(xiǎn),運(yùn)氣好只影響數(shù)據(jù)安全,運(yùn)氣不好,很企業(yè)和個人的信用會破產(chǎn)。這會給行業(yè),甚至整個社會帶來巨大的災(zāi)難。”
“因此,從業(yè)企業(yè)的相關(guān)準(zhǔn)則需要進(jìn)一步細(xì)化和規(guī)范,對人也需要有個職業(yè)操守方面的管制?!?
什么樣的人怎么用數(shù)據(jù),其目的和效果都是不一樣的。
這又和一個大數(shù)據(jù)相關(guān)的段子有點(diǎn)關(guān)系,正好段子開頭,笑話結(jié)尾,也還算圓滿。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03