
大數(shù)據(jù)遷移的五大陷阱和風險
計算機系統(tǒng)之間的數(shù)據(jù)傳輸或存儲格式從來就不是一個輕松的任務(wù),特別是當它涉及結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。
"復(fù)雜的數(shù)據(jù)遷移工作意味著超負荷運行和延遲都是很長常見的",Arvind Singh(以下簡稱辛格),芝加哥一家企業(yè)的數(shù)據(jù)解決方案提供商的聯(lián)合創(chuàng)始人兼CEO表達了以上觀點。
在《信息周刊》的一次電話采訪中,Arvind Singh概述了10個常見的數(shù)據(jù)遷移問題,其中包括五個陷阱和五個風險,以此警告企業(yè)應(yīng)該竭力避免。
大數(shù)據(jù)遷移的五大陷阱
陷阱#1:未能吸引業(yè)務(wù)線和業(yè)務(wù)用戶開始。
當公司合并多個系統(tǒng)整合到一個--通常發(fā)生在兼并后--他們需要從確定正確的商業(yè)用途開始。
你需要確定誰知道和理解業(yè)務(wù)數(shù)據(jù),"辛格說。
"誰是你業(yè)務(wù)的專家?這當然不是IT或系統(tǒng)集成商。"
換句話說,把那些數(shù)據(jù)使用精英搬進遷移項目。
畢竟,只有他們才能將那些操作系統(tǒng)玩轉(zhuǎn)一旦上線。
陷阱#2:沒有數(shù)據(jù)管理策略和組織結(jié)構(gòu)。
"你已經(jīng)將系統(tǒng)A的數(shù)據(jù)移動到系統(tǒng)B,但誰擁有管理結(jié)構(gòu)?誰有權(quán)利在系統(tǒng)中創(chuàng)建、批準、編輯或刪除數(shù)據(jù)?"辛格問。
還有一些問題必須解決:你設(shè)置了數(shù)據(jù)管理了嗎?有一個業(yè)務(wù)流程來管理數(shù)據(jù)周期嗎?另外,你有數(shù)據(jù)管理員在公司嗎?
陷阱#3:在原始系統(tǒng)數(shù)據(jù)質(zhì)量差。
公司經(jīng)常意識不到一個"原有評估"是至關(guān)重要的數(shù)據(jù)遷移工作鋪墊。
"了解原始系統(tǒng)里的數(shù)據(jù)的質(zhì)量是一個巨大的陷阱,但企業(yè)常常不愿意花足夠的時間,"辛格說。
必須要考慮的問題:現(xiàn)有的數(shù)據(jù)支持新用戶嗎?它缺少什么?你打算怎么做,你現(xiàn)在不能夠做什么?
一個詳細的評估讓企業(yè)能夠更容易地估計需要的工作量來成功地遷移原始數(shù)據(jù)。
陷阱#4:忽略驗證和定義業(yè)務(wù)規(guī)則。
你公司的業(yè)務(wù)和驗證規(guī)則可能不是最新的。
"難以讓人相信一個公司在達成業(yè)務(wù)規(guī)則時花了多短的時間,更不用說確保數(shù)據(jù)符合業(yè)務(wù)規(guī)則,"辛格說。
"換句話說,你認為你有一個業(yè)務(wù)規(guī)則,但是你的現(xiàn)有數(shù)據(jù)是否匹配,細致,或遵循這個規(guī)定?"
此外,審計人員需要確保數(shù)據(jù)從原始系統(tǒng)到新的系統(tǒng)是有效的,特別是當這個遷移涉及關(guān)鍵信息,如金融、庫存、和就業(yè)數(shù)據(jù)。
陷阱#5:未能驗證和測試數(shù)據(jù)遷移過程。
不要以為這是最后一步了。
你絕對絕對要確保在整個過程中你一直在驗證和測試,"辛格說。
必須要考慮的問題:你打算怎樣測試數(shù)據(jù)?誰將測試和評估? 誰將簽署它嗎?以及誰將是數(shù)據(jù)的最終消費者?
“這一過程必須貫穿項目的始終,但不幸的是公司通常"不花足夠的時間校準數(shù)據(jù)的測試和驗證”辛格說。
大數(shù)據(jù)遷移的五大風險
風險#1:被委托進行數(shù)據(jù)遷移項目的員工缺乏實戰(zhàn)經(jīng)驗。
一個公司的員工可能非常擅長他們所做的事,但這并不意味著他們是在數(shù)據(jù)管理、遷移和治理是專家。
"他們是數(shù)據(jù)的創(chuàng)作者和消費者,但是他們并不是完全熟練運用工具、過程、服務(wù)、模板和加速器,"辛格說。
風險#2:你的團隊太依賴工具的開發(fā)工作。
這個問題往往是導(dǎo)致缺乏經(jīng)驗的員工。一個數(shù)據(jù)遷移項目通常是IT部門的事,但可能并沒被專業(yè)訓(xùn)練過。遷移工具使用不當最終會遷移了錯誤數(shù)據(jù)。"這是類似于把垃圾傳來傳去,"辛格說。
你的目標,當然是快速、可靠地傳輸數(shù)據(jù)。重要的是你如何運用數(shù)據(jù)遷移工具,和"你搭配的有什么樣的加速器和模板,"辛格說。
風險#3:交叉對象依賴性。
"我無法告訴你我有多少次坐在會議上,(客戶)說,"我們剛剛發(fā)現(xiàn)了一個全新的資料來源,我們甚至都不知道自己需要移動的',"辛格說。
交叉對象依賴常常很晚才被發(fā)現(xiàn)。一個復(fù)雜的項目可能會有60、70、甚至80個不同的數(shù)據(jù)對象中來自一百個左右的應(yīng)用程序。
"當我們與客戶談生意時,我們尋找丟失的數(shù)據(jù)塊,或者相關(guān)數(shù)據(jù),"辛格說。
事實上,交叉對象依賴性--并在后來發(fā)現(xiàn)新的數(shù)據(jù)來源的過程--是主要的風險,可以打亂你的遷移的時間表。
風險#4:試圖在一個大的上傳之后去上線。
這是一個災(zāi)難,辛格說,因為你在假設(shè)一切都是完美的,你將能夠簡單地點擊一個按鈕,和所有的數(shù)據(jù)將負載得完美無瑕。 "這是個很大的風險,"他說。"你需要一個項目時間軸,復(fù)雜的,長期的測試負載的道路。"
風險#5:預(yù)算超支由于不適當?shù)姆秶驕蕚涔ぷ鞯那啡薄?br />
這經(jīng)常發(fā)生在,當一個組織認為它的系統(tǒng)集成商(SI)會照顧到這些細節(jié)。
"大多數(shù)系統(tǒng)集成商通常不處理數(shù)據(jù)只是說,'我將連接管道使原始數(shù)據(jù)移動到一個目標系統(tǒng)',"辛格說。
"在現(xiàn)實階段,我們可以調(diào)用到數(shù)據(jù)遷移項目,"他說,"人們說:'看,數(shù)據(jù)沒有捆綁在一起,我們無法進行用戶測試。'"
這個問題,當然,會導(dǎo)致成本超支和毀壞的時間表。
如今IT
面臨的最大挑戰(zhàn)之一,是風險評估。風險的度量和影響評估不是一門確切的科學(xué),而是有工具、過程和原理,可用于確保組織很好地被保護,高級管理層消息靈通。在我們的Measuring
Risk: A Security Pro's
Guide測量風險中:一個安全專業(yè)人員的指導(dǎo)報告中,我們推薦工具來評估安全風險和提供一些想法供有效地將結(jié)果數(shù)據(jù)投入到業(yè)務(wù)中去。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03