
五大步驟讓你創(chuàng)建持續(xù)成功的大數(shù)據(jù)項目
一些企業(yè)正在利用新興技術(shù)來應(yīng)對新的數(shù)據(jù)源,但大多數(shù)企業(yè)仍然面臨著需要努力管理好他們已經(jīng)掌握或者應(yīng)當(dāng)掌握的數(shù)據(jù)信息的困境,而當(dāng)他們試圖部署大數(shù)據(jù)功能時,發(fā)現(xiàn)自己還需要面對和處理新的以及當(dāng)下實時的數(shù)據(jù)。
企業(yè)需要積極的提升他們的數(shù)據(jù)管理能力。這并非意味著他們應(yīng)該制定繁瑣的流程和監(jiān)督機制。明智的企業(yè)會配合他們的數(shù)據(jù)活動的生命周期制定靈活的流程和功能:根據(jù)業(yè)務(wù)需求啟動更輕更嚴(yán)格、更強大的功能,并根據(jù)需求的增加來提升質(zhì)量或精度。
為了能夠?qū)崿F(xiàn)持久成功的大數(shù)據(jù)項目,企業(yè)需要把重點放在如下五個主要領(lǐng)域。
1、確立明確的角色分工和職責(zé)范圍。
對于您企業(yè)環(huán)境中的所有的數(shù)據(jù)信息,您需要對于這些數(shù)據(jù)信息所涉及的關(guān)鍵利益相關(guān)者、決策者有一個清晰的了解和把控。當(dāng)數(shù)據(jù)信息在企業(yè)的系統(tǒng)傳輸過程中及其整個生命周期中,角色分工將發(fā)生變化,而企業(yè)需要對這些變化有一個很好的理解。當(dāng)企業(yè)開始部署大數(shù)據(jù)項目之后,務(wù)必要明確識別相關(guān)數(shù)據(jù)的關(guān)鍵利益相關(guān)者,并做好這些數(shù)據(jù)信息的完善和迭代工作。
2、加強企業(yè)的數(shù)據(jù)治理和數(shù)據(jù)管理功能。
確保您企業(yè)的進(jìn)程足夠強大,能夠滿足和支持大數(shù)據(jù)用戶和大數(shù)據(jù)技術(shù)的需求。進(jìn)程可以是靈活的,并應(yīng)充分考慮到業(yè)務(wù)部門和事務(wù)部門的需求,這些部門均伴有不同程度的嚴(yán)謹(jǐn)性和監(jiān)督要求。
確保您企業(yè)的參考信息架構(gòu)已經(jīng)更新到包括大數(shù)據(jù)。這樣做會給未來的項目打好最好的使用大數(shù)據(jù)技術(shù)和適當(dāng)?shù)男畔⒐芾砟芰Φ幕A(chǔ)。
確保您企業(yè)的元數(shù)據(jù)管理功能足夠強大,能夠包括并關(guān)聯(lián)所有的基本元數(shù)據(jù)組件。隨著時間的推移,進(jìn)行有序的分類,滿足業(yè)務(wù)規(guī)范。
一旦您開始在您企業(yè)的生產(chǎn)部門推廣您的解決方案時,您會希望他們長期持續(xù)的使用該解決方案,所以對架構(gòu)功能的定義并監(jiān)督其發(fā)揮的作用是至關(guān)重要的。確保您企業(yè)的治理流程包括IT控制的角色,以幫助企業(yè)的利益相關(guān)者們進(jìn)行引導(dǎo)項目,以最佳地利用這些數(shù)據(jù)信息。其還應(yīng)該包括您企業(yè)的安全和法務(wù)團隊。根據(jù)我們的經(jīng)驗,使用現(xiàn)有的監(jiān)督機制能夠達(dá)到最佳的工作狀態(tài),只要企業(yè)實施了大數(shù)據(jù)應(yīng)用,并專注于快速在進(jìn)程中處理應(yīng)用程序,而不是阻礙進(jìn)程的通過。
3、了解環(huán)境中的數(shù)據(jù)的目的和要求的精度水平,并相應(yīng)地調(diào)整您企業(yè)的期望值和流程。
無論其是一個POC,或一個已經(jīng)進(jìn)入主流業(yè)務(wù)流程的項目,請務(wù)必確保您對于期望利用這些數(shù)據(jù)來執(zhí)行什么任務(wù),及其質(zhì)量和精度處于何種級別有一個非常清晰的了解。這種方法將使得企業(yè)的項目能夠?qū)ふ业秸_的數(shù)據(jù)來源和利益相關(guān)者,以更好地評估這些數(shù)據(jù)信息的價值和影響,進(jìn)而讓您決定如何最好地管理這些數(shù)據(jù)信息。更高的質(zhì)量和精度則要求更強大的數(shù)據(jù)管理和監(jiān)督能力。
隨著您企業(yè)大數(shù)據(jù)項目的日趨成熟,考慮建立一套按照數(shù)據(jù)質(zhì)量或精確度分類的辦法,這將使得數(shù)據(jù)用戶得以更好的了解他們所使用的是什么,并相應(yīng)地調(diào)整自己的期望值。例如,您可以使用白色、藍(lán)色或金色來分別代表原始數(shù)據(jù)、清理過的數(shù)據(jù),經(jīng)過驗證可以有針對性的支持分析和使用的數(shù)據(jù)。有些企業(yè)甚至進(jìn)一步完善了這一分類方法:將數(shù)據(jù)從1到5進(jìn)行分類,其中1是原始數(shù)據(jù),而5是便于理解,經(jīng)過整理的、有組織的數(shù)據(jù)。
4、將對非結(jié)構(gòu)化的內(nèi)容的管理納入到您企業(yè)的數(shù)據(jù)管理能力。
非結(jié)構(gòu)化數(shù)據(jù)一直是企業(yè)業(yè)務(wù)運營的一部分,但既然現(xiàn)在我們已經(jīng)有了更好的技術(shù)來探索,分析和這些非結(jié)構(gòu)化的內(nèi)容,進(jìn)而幫助改善業(yè)務(wù)流程和工業(yè)務(wù)洞察,所以我們最終將其正式納入我們的數(shù)據(jù)管理是非常重要的。大多數(shù)企業(yè)目前都被困在了這一步驟。
數(shù)據(jù)庫中基本的、非結(jié)構(gòu)化的數(shù)據(jù)是以評論的形式或者自由的形式存在的,其至少是數(shù)據(jù)庫的一部分,應(yīng)該被納入到數(shù)據(jù)管理。但挖掘這些數(shù)據(jù)信息則是非常難的。
數(shù)字數(shù)據(jù)存儲在傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫和業(yè)務(wù)流程外,很少有許多的治理范圍分組和數(shù)據(jù)管理的實現(xiàn),除了當(dāng)其被看作是一個技術(shù)問題時。一般來說,除了嚴(yán)格遵守相關(guān)的安全政策,今天的企業(yè)尚未對其進(jìn)行真正有效的管理。當(dāng)您的企業(yè)開始大跨步實現(xiàn)了大數(shù)據(jù)項目之后,您會發(fā)現(xiàn)這一類型的數(shù)據(jù)信息迅速進(jìn)入了您需要管理的范疇,其輸出會影響您企業(yè)的商業(yè)智能解決方案或者甚至是您企業(yè)的業(yè)務(wù)活動。積極的考慮將這些數(shù)據(jù)納入到您企業(yè)的數(shù)據(jù)管理功能的范圍,并明確企業(yè)的所有權(quán),并記錄好這些數(shù)據(jù)信息的諸如如何使用、信息來源等等資料。
不要采取“容易的輕松路線”,單純依靠大數(shù)據(jù)技術(shù)是您企業(yè)唯一正式的非結(jié)構(gòu)化數(shù)據(jù)管理的過程。隨著時間的推移,企業(yè)將收集越來越多的非結(jié)構(gòu)化數(shù)據(jù),請務(wù)必搞清楚哪些數(shù)據(jù)是好的,哪些是壞的,他們分別來自何處,以及其使用是否一致,將變得越來越重要,甚至在其生命周期使用這個數(shù)據(jù)都是至關(guān)重要的。
要保持這種清晰,您可以使用大數(shù)據(jù)和其他工具,以了解您企業(yè)所收集的數(shù)據(jù)信息,確定其有怎樣的價值,需要怎樣的管理,這是至關(guān)重要的。大多數(shù)進(jìn)入您企業(yè)的大數(shù)據(jù)系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù)都已經(jīng)經(jīng)過一些監(jiān)控了,但通常是作為一個BLOB(binarylargeobject)二進(jìn)制大對象和非結(jié)構(gòu)化的形式進(jìn)行的。隨著您的企業(yè)不斷的在您的業(yè)務(wù)流程中“發(fā)掘”出這一類型的數(shù)據(jù),其變得更加精確和有價值。其可能還具有額外的特點,符合安全,隱私或法律和法規(guī)的元素要求。最終,這些數(shù)據(jù)塊可以成為新的數(shù)據(jù)元素或添加到現(xiàn)有的數(shù)據(jù),但您必須有元數(shù)據(jù)對其進(jìn)行描述和管理,以便盡可能最有效地利用這些數(shù)據(jù)。
5、正式在生產(chǎn)環(huán)境運行之前進(jìn)行測試。
如果您的企業(yè)做的是一次性的分析或完整的一次性的試點,這可能并不適用于您的企業(yè),但對大多數(shù)企業(yè)來說,他們最初的大數(shù)據(jù)工作將迅速發(fā)展,他們找到一個可持續(xù)利用他們已經(jīng)挖掘出的極具價值的信息的需求。這意味著需要在您的沙箱環(huán)境中進(jìn)行測試,然后才正式的在您的生產(chǎn)環(huán)境運行。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03