
大數(shù)據(jù)遷移的五大陷阱和風險
計算機系統(tǒng)之間的數(shù)據(jù)傳輸或存儲格式從來就不是一個輕松的任務,特別是當它涉及結構化和非結構化的數(shù)據(jù)。
"復雜的數(shù)據(jù)遷移工作意味著超負荷運行和延遲都是很長常見的",Arvind Singh(以下簡稱辛格),芝加哥一家企業(yè)的數(shù)據(jù)解決方案提供商的聯(lián)合創(chuàng)始人兼CEO表達了以上觀點。
在《信息周刊》的一次電話采訪中,Arvind Singh概述了10個常見的數(shù)據(jù)遷移問題,其中包括五個陷阱和五個風險,以此警告企業(yè)應該竭力避免。
大數(shù)據(jù)遷移的五大陷阱
陷阱#1:未能吸引業(yè)務線和業(yè)務用戶開始。
當公司合并多個系統(tǒng)整合到一個--通常發(fā)生在兼并后--他們需要從確定正確的商業(yè)用途開始。
你需要確定誰知道和理解業(yè)務數(shù)據(jù),"辛格說。
"誰是你業(yè)務的專家?這當然不是IT或系統(tǒng)集成商。"
換句話說,把那些數(shù)據(jù)使用精英搬進遷移項目。
畢竟,只有他們才能將那些操作系統(tǒng)玩轉一旦上線。
陷阱#2:沒有數(shù)據(jù)管理策略和組織結構。
"你已經將系統(tǒng)A的數(shù)據(jù)移動到系統(tǒng)B,但誰擁有管理結構?誰有權利在系統(tǒng)中創(chuàng)建、批準、編輯或刪除數(shù)據(jù)?"辛格問。
還有一些問題必須解決:你設置了數(shù)據(jù)管理了嗎?有一個業(yè)務流程來管理數(shù)據(jù)周期嗎?另外,你有數(shù)據(jù)管理員在公司嗎?
陷阱#3:在原始系統(tǒng)數(shù)據(jù)質量差。
公司經常意識不到一個"原有評估"是至關重要的數(shù)據(jù)遷移工作鋪墊。
"了解原始系統(tǒng)里的數(shù)據(jù)的質量是一個巨大的陷阱,但企業(yè)常常不愿意花足夠的時間,"辛格說。
必須要考慮的問題:現(xiàn)有的數(shù)據(jù)支持新用戶嗎?它缺少什么?你打算怎么做,你現(xiàn)在不能夠做什么?
一個詳細的評估讓企業(yè)能夠更容易地估計需要的工作量來成功地遷移原始數(shù)據(jù)。
陷阱#4:忽略驗證和定義業(yè)務規(guī)則。
你公司的業(yè)務和驗證規(guī)則可能不是最新的。
"難以讓人相信一個公司在達成業(yè)務規(guī)則時花了多短的時間,更不用說確保數(shù)據(jù)符合業(yè)務規(guī)則,"辛格說。
"換句話說,你認為你有一個業(yè)務規(guī)則,但是你的現(xiàn)有數(shù)據(jù)是否匹配,細致,或遵循這個規(guī)定?"
此外,審計人員需要確保數(shù)據(jù)從原始系統(tǒng)到新的系統(tǒng)是有效的,特別是當這個遷移涉及關鍵信息,如金融、庫存、和就業(yè)數(shù)據(jù)。
陷阱#5:未能驗證和測試數(shù)據(jù)遷移過程。
不要以為這是最后一步了。
你絕對絕對要確保在整個過程中你一直在驗證和測試,"辛格說。
必須要考慮的問題:你打算怎樣測試數(shù)據(jù)?誰將測試和評估? 誰將簽署它嗎?以及誰將是數(shù)據(jù)的最終消費者?
“這一過程必須貫穿項目的始終,但不幸的是公司通常"不花足夠的時間校準數(shù)據(jù)的測試和驗證”辛格說。
大數(shù)據(jù)遷移的五大風險
風險#1:被委托進行數(shù)據(jù)遷移項目的員工缺乏實戰(zhàn)經驗。
一個公司的員工可能非常擅長他們所做的事,但這并不意味著他們是在數(shù)據(jù)管理、遷移和治理是專家。
"他們是數(shù)據(jù)的創(chuàng)作者和消費者,但是他們并不是完全熟練運用工具、過程、服務、模板和加速器,"辛格說。
風險#2:你的團隊太依賴工具的開發(fā)工作。
這個問題往往是導致缺乏經驗的員工。一個數(shù)據(jù)遷移項目通常是IT部門的事,但可能并沒被專業(yè)訓練過。遷移工具使用不當最終會遷移了錯誤數(shù)據(jù)。"這是類似于把垃圾傳來傳去,"辛格說。
你的目標,當然是快速、可靠地傳輸數(shù)據(jù)。重要的是你如何運用數(shù)據(jù)遷移工具,和"你搭配的有什么樣的加速器和模板,"辛格說。
風險#3:交叉對象依賴性。
"我無法告訴你我有多少次坐在會議上,(客戶)說,"我們剛剛發(fā)現(xiàn)了一個全新的資料來源,我們甚至都不知道自己需要移動的',"辛格說。
交叉對象依賴常常很晚才被發(fā)現(xiàn)。一個復雜的項目可能會有60、70、甚至80個不同的數(shù)據(jù)對象中來自一百個左右的應用程序。
"當我們與客戶談生意時,我們尋找丟失的數(shù)據(jù)塊,或者相關數(shù)據(jù),"辛格說。
事實上,交叉對象依賴性--并在后來發(fā)現(xiàn)新的數(shù)據(jù)來源的過程--是主要的風險,可以打亂你的遷移的時間表。
風險#4:試圖在一個大的上傳之后去上線。
這是一個災難,辛格說,因為你在假設一切都是完美的,你將能夠簡單地點擊一個按鈕,和所有的數(shù)據(jù)將負載得完美無瑕。 "這是個很大的風險,"他說。"你需要一個項目時間軸,復雜的,長期的測試負載的道路。"
風險#5:預算超支由于不適當?shù)姆秶驕蕚涔ぷ鞯那啡薄?br />
這經常發(fā)生在,當一個組織認為它的系統(tǒng)集成商(SI)會照顧到這些細節(jié)。
"大多數(shù)系統(tǒng)集成商通常不處理數(shù)據(jù)只是說,'我將連接管道使原始數(shù)據(jù)移動到一個目標系統(tǒng)',"辛格說。
"在現(xiàn)實階段,我們可以調用到數(shù)據(jù)遷移項目,"他說,"人們說:'看,數(shù)據(jù)沒有捆綁在一起,我們無法進行用戶測試。'"
這個問題,當然,會導致成本超支和毀壞的時間表。
如今IT
面臨的最大挑戰(zhàn)之一,是風險評估。風險的度量和影響評估不是一門確切的科學,而是有工具、過程和原理,可用于確保組織很好地被保護,高級管理層消息靈通。在我們的Measuring
Risk: A Security Pro's
Guide測量風險中:一個安全專業(yè)人員的指導報告中,我們推薦工具來評估安全風險和提供一些想法供有效地將結果數(shù)據(jù)投入到業(yè)務中去。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結構數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結構數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結構數(shù)據(jù)特征價值的專業(yè)核心 表結構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結構數(shù)據(jù)(以 “行 - 列” 存儲的結構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結構數(shù)據(jù)價值的核心操盤手 表格結構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到決策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10