介紹

在軟件開發(fā)、信息安全和數(shù)據(jù)分析的長期職業(yè)生涯中，我觀察到，除非得到非常好的管理，否則大型、復雜和壓倒性的項目可能無法滿足風險承擔者的需求。相比之下，我參與的大多數(shù)成功的數(shù)據(jù)分析項目在范圍、規(guī)模、團隊規(guī)模和時間表上都很小。它們通常需要幾天、幾周或幾個月的時間來完成，而不是需要幾年的時間，并且通常滿足最終用戶的需求。

健全的管理、敏捷實踐、熟練的實踐者、強大的工具、標準和指導方針可以結合起來創(chuàng)建一個數(shù)據(jù)分析生態(tài)系統(tǒng)，從而導致短的項目生命周期和有用的解決方案。以下各節(jié)描述了我的團隊開發(fā)并成功利用的一些組織、項目和數(shù)據(jù)分析屬性和技術。當我們在大型企業(yè)的風險管理和內部審計功能中構建數(shù)據(jù)分析程序時，您也可以將這些技術應用到您的工作環(huán)境中。

良好的管理和領導能力

在我從事軟件開發(fā)和數(shù)據(jù)分析的34年中，我觀察到了許多管理和領導風格，有好的也有壞的。我最近在與一位經(jīng)理一起工作時茁壯成長，這位經(jīng)理創(chuàng)建了一個框架，并指導我們的團隊在一家大型企業(yè)中建立了一個成功的部門數(shù)據(jù)分析程序。根據(jù)經(jīng)驗和觀察，以下是他和其他模范領導者為幫助個人、團隊和項目取得成功而發(fā)揮的一些屬性和行動：

• 為項目設定目標，并管理它和團隊來實現(xiàn)這些目標。
• 確定所需的能力，并雇用和培訓員工以實現(xiàn)這些能力。
• 與內部和外部組織合作，分享和學習最佳實踐。
• 提供適合需要的強大軟件工具。
• 充當與上層管理層之間的溝通管道。
• 與團隊合作，關心團隊及其成員，不霸道。
• 確保基本但適當?shù)纳潭藴?、指導方針和程序得到?zhí)行和遵守。
• 建立成長和成就的節(jié)奏。
• 尊重每個團隊成員的時間，需要集中精力。

雇用和發(fā)展技能和知識

幾年前，我參加了一個數(shù)據(jù)分析會議，會上一位演講者描述了她作為數(shù)據(jù)科學家所需的一些技能。她說，要有效地完成工作，需要200多項技能。事實上，創(chuàng)建成功的數(shù)據(jù)分析解決方案需要分析師具備許多才能。要雇用和培養(yǎng)具備所需技能和知識的分析師，您和您的管理層可以考慮以下步驟：

1. 撰寫引人注目的職位描述和職位說明-制定描述成功候選人必須具備的技能和知識的職位描述和職位說明。此外，列出員工在受雇期間必須發(fā)展的技能和知識。
2. 雇用具有專業(yè)知識和良好潛力的數(shù)據(jù)分析師-應用職務說明和職位公告雇用具有所需技能和知識以及開發(fā)額外所需技能的能力和潛力的分析師。
3. 確定學習資源-創(chuàng)建一個課程和教程列表，以幫助數(shù)據(jù)分析師開發(fā)在其職位上取得成功所需的技能和知識。
4. 評估技能-為了衡量團隊及其成員的優(yōu)勢和劣勢，并確定發(fā)展和增長需求，根據(jù)每個數(shù)據(jù)分析師的工作描述和深入的能力列表，評估他們的技能和知識。
5. 培訓分析師-確保工作單位的預算和時間表允許數(shù)據(jù)分析師有足夠的資金和時間完成培訓，以發(fā)展所需的技能和知識。根據(jù)技能評估結果，確保分析師按照學習資源列表中的定義進行培訓。

保持項目團隊規(guī)模小

大型團隊的復雜項目可能會陷入困境，除非經(jīng)過專業(yè)的管理。試圖保持每個項目的規(guī)模和范圍較小，并將團隊的規(guī)模限制在一到三個最終用戶和一個首席數(shù)據(jù)分析師，這可能有助于項目的成功。團隊可以將數(shù)據(jù)分析師添加到復雜的項目中，這將從分工或互補技能中受益。對于大型或復雜的項目，您可能希望指派一名項目經(jīng)理與團隊一起工作，以確定和管理任務、時間表、風險和問題。最后，在需要的時候，在項目的業(yè)務領域中尋找主題專家。

采用敏捷實踐

項目團隊，尤其是在軟件開發(fā)中，經(jīng)常將敏捷開發(fā)方法，如Scrum或看板，應用到他們的項目中，以組織任務并快速移動。我的團隊有效地使用了在Microsoft OneNote中開發(fā)的看板板，以便在頻繁的即席會議上在團隊和經(jīng)理之間跟蹤和交流任務。它由一頁上的三欄組成。每個任務在開始時從準備工作轉移到工作中，在完成時從工作中轉移到完成。

定義簡明的范圍、目標和時間表

在整個項目生命周期中與最終用戶、隊友和經(jīng)理的對話對于建立和堅持其商定的和簡明的范圍、目標和時間表至關重要。通過保持項目緊湊，我成功地完成了一周到三個月的項目。

如果一個項目很大很復雜，可以考慮把它分成一些較小的子項目，每個子項目都有有限的范圍、目標和時間表。

將一組合理的競爭項目和任務分配給數(shù)據(jù)分析師

一些研究人員發(fā)現(xiàn)，當多任務處理時，人類的表現(xiàn)會受到影響。給個人分配大量的項目或任務可能會適得其反。此外，雖然技能和任務多樣性是可以提高個人滿意度和績效的工作組成部分（見工作特征理論），但分配給員工的項目或任務的數(shù)量應該合理，以允許員工成功并完成所有這些項目或任務。

平衡團隊合作與自主性

在一個運作良好的團隊中工作可以提供許多好處，例如：

• 隊友可以互相補充技能。
• 隊友們可以互相鼓勵，互相推動前進。
• 一個團隊的成員可以分享想法和集思廣益來確定解決方案。
• 團隊的生產(chǎn)力可能超過其各部分的總和。

有效的團隊合作的好處是毫無疑問的。另一方面，某些類型的工作，如數(shù)據(jù)分析、編程和寫作，通常最好由半自主工作的個人完成，通常由團隊成員提供輸入。他們的工作需要專注和有限的干擾。

采用并掌握功能強大、通用性強的工具和語言

數(shù)據(jù)分析員應該為自己配備強大的、多功能的數(shù)據(jù)分析工具，以滿足他們的需求。通過這種方法，分析人員可以利用每個工具的特性并開發(fā)能力和最佳實踐。以下各節(jié)描述了我的當前團隊在其數(shù)據(jù)分析項目中使用的每個軟件包。

AlteryX Designer-根據(jù)AlteryX的網(wǎng)站，設計器可以用來“自動化分析的每一步，包括數(shù)據(jù)準備、混合、報告、預測分析和數(shù)據(jù)科學?！彪m然單用戶許可成本數(shù)千美元，但它是一個強大的數(shù)據(jù)分析和數(shù)據(jù)科學工具。我的團隊使用它來創(chuàng)建和運行輸入數(shù)據(jù)、轉換和準備數(shù)據(jù)以及以多種格式輸出數(shù)據(jù)的工作流。分析人員使用它快速、輕松地創(chuàng)建功能強大、運行迅速的工作流。

Tableau-Tableau軟件創(chuàng)建了一個強大的，也許是最流行的商業(yè)智能和數(shù)據(jù)可視化平臺。我的團隊使用Tableau Desktop連接到數(shù)據(jù)源并開發(fā)可視化工作表和儀表板。然后，我們將可視化發(fā)布到Tableau服務器，終端用戶在那里查看并與它們交互。

Python-Python是一種用戶友好且功能強大的編程語言，深受數(shù)據(jù)分析師和數(shù)據(jù)科學家的歡迎。與數(shù)據(jù)科學家中流行的以統(tǒng)計數(shù)據(jù)為中心的R語言不同，Python是一種通用語言。它是自由和容易學習。分析人員可以使用免費的庫來擴展Python的功能，比如NumPyandTensorFlow。

SQL-結構化查詢語言(SQL)是用于實現(xiàn)、操作和查詢存儲在關系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)中的結構化數(shù)據(jù)的標準語言。它包括多個子語言。通過其數(shù)據(jù)查詢語言(DQL)，分析人員可以從數(shù)據(jù)庫表中查詢和檢索數(shù)據(jù)。RDMS數(shù)據(jù)庫存儲了世界各地企業(yè)的大量數(shù)據(jù)集。

Microsoft SQL Server Management Studio(SSMS)-SSMS是Microsoft的集成開發(fā)環(huán)境(IDE)，用于管理和查詢在其SQL Server RDBMS中實現(xiàn)的數(shù)據(jù)庫。我使用SSMS創(chuàng)建和運行SQL代碼來查詢包含所需數(shù)據(jù)的數(shù)據(jù)庫。

Rapid SQL-Rapid SQL是一種類似SSMS的IDE，用于開發(fā)SQL查詢以訪問存儲在Oracle、SQL Server、DB2和SAP Sybase數(shù)據(jù)庫中的數(shù)據(jù)。我使用快速SQL從DB2或Oracle數(shù)據(jù)庫中獲取數(shù)據(jù)。

Microsoft Visual Studio-Visual Studio是Microsoft的旗艦集成開發(fā)環(huán)境(IDE)。我使用Visual Studio Professional創(chuàng)建用Python和其他編程語言編寫的應用程序。它的編輯器功能強大，帶有顏色編碼的語法。Visual Studio Community 2019是IDE的免費版本，可以滿足您的需求。來自Microsoft的Visual Studio代碼（VS Code）是另一種受程序員和數(shù)據(jù)分析師歡迎的免費IDE。

Microsoft Excel-Excel當然是一個無處不在、有用、功能強大、有時是不可或缺的工具。我使用Excel工作簿作為項目數(shù)據(jù)源和輸出來創(chuàng)建小型數(shù)據(jù)集，執(zhí)行必要的數(shù)據(jù)清理和計算，等等。像Excel這樣的電子表格應用程序是任何數(shù)據(jù)分析或數(shù)據(jù)科學商店中的重要工具。

制定基本標準、指導方針和程序

在數(shù)據(jù)分析項目中應用簡明的標準和指導方針可以提高工作產(chǎn)品的生產(chǎn)率、維護和共享。以下是指導我工作的標準和指導方針。

命名標準-如何將文件夾、文件、數(shù)據(jù)庫表、列和字段等項標準化，以便于一致地命名它們，并在許多產(chǎn)品的集合中查找工作產(chǎn)品。

文件夾結構標準和模板-對所有項目使用標準文件夾結構可以輕松設置新項目和查找文件夾和文件。我的團隊使用以下文件夾結構模板來組織和存儲所有數(shù)據(jù)分析項目的工作產(chǎn)品：

• Project_name（將此值更改為項目的名稱）
• ALTERYX_WORKFLOWS
• 數(shù)據(jù)
• 文件編制
• python_programs
• SQL_scripts
• tableau_workbooks

文件夾結構根據(jù)每個項目的需要展開和收縮。

編碼標準-編碼標準適用于編程，就像語法適用于英語散文一樣。它們幫助我們清晰一致地組織和傳達思想。我工作過的數(shù)據(jù)分析和軟件開發(fā)團隊從文檔化的編碼約定中受益。在項目中應用這些標準可以使每個代碼模塊的原始編碼器更容易編寫，任何團隊成員也更容易閱讀、理解、增強和維護。下面是我的團隊用來指導其工作的一些編碼標準的描述。

• 類、變量和函數(shù)命名約定-為了可讀性，我們決定用小寫形式創(chuàng)建所有類、函數(shù)和變量名稱，每個單詞或縮寫用下劃線（“_”）分隔。每個類和變量名描述它存儲的值的類型，而每個函數(shù)名描述函數(shù)用什么值或對象做什么。例如，存儲人名的變量可以稱為person_name或person_nm。從數(shù)據(jù)庫中檢索人名列表的函數(shù)可以稱為get_person_names()。
• 代碼模塊前序-我們用文本來說明每個模塊的用途。為了幫助維護該模塊的其他程序員，我們添加了額外的信息，如作者的姓名、數(shù)據(jù)庫連接字符串、文件位置信息和更改日志。
• 注釋-雖然有些人說代碼本身就是文檔，但我相信放置良好的注釋可以幫助編碼器組織他們的思想，并幫助需要維護或增強代碼的其他人更快地理解它。例如，在它的開頭，我描述了一個函數(shù)用什么數(shù)據(jù)做什么。我還在執(zhí)行任務的代碼的每個邏輯分組之前添加一個簡短的注釋。
• 空白-為了使代碼更容易閱讀，我在每個函數(shù)、每個變量定義集和執(zhí)行特定任務的每個代碼塊之間插入一個空行。
• 簡潔的函數(shù)范圍和可見的大小-與空白一樣，我限制了每個函數(shù)的內容，以便更容易編碼、理解、維護和增強。我努力使每個函數(shù)保持簡單，并試圖使其內容在編輯器中保持可見（例如橫過80個字符，向下40行）。

可視化樣式指南-雖然編碼標準可以幫助程序員理解、編寫和維護代碼，但可視化樣式指南可以幫助數(shù)據(jù)分析師開發(fā)一致、有用和有意義的可視化。它們還可以通過提供一致的、設計良好的、易于理解的和用戶友好的可視化，使數(shù)據(jù)分析項目的最終用戶受益。以下是我的團隊采用的一些視覺風格指南。

• 品牌標準-我們公司的品牌管理部門已經(jīng)確定了一套一致的字體、顏色和視覺設計風格和組件。我們已經(jīng)將這些引入到我們的可視化指導方針中，以增加專業(yè)性和一致性，并幫助為最終用戶提供熟悉的用戶界面風格。
• 字體-我們公司設計了一種字體，我們將在可用時使用。否則，我們的數(shù)據(jù)分析產(chǎn)品將默認使用Ariel字體。
• 顏色-我們公司的品牌標準包括一個小型調色板。我們在可能的情況下將這些顏色應用于圖表、圖形和儀表板。我們還試圖將任何圖表、圖形或儀表板上使用的顏色數(shù)量限制在視覺上令人愉快的一組。
• 標題、標題和標簽-我們的指南描述了應用于文本元素（如儀表板標題、圖形和圖表標題、列、篩選器和圖例）的標準位置、字體、大小和顏色。
• 可視組件的放置-與文本一樣，我們的指南描述了儀表板上元素的標準位置，如圖表和圖形、過濾器和圖例。

摘要

建立一個有效的數(shù)據(jù)分析團隊并不容易，它定期構建和交付數(shù)據(jù)分析解決方案，為最終用戶提供洞察力并幫助他們做出決策。但是，應用我在軟件開發(fā)和數(shù)據(jù)分析的長期職業(yè)生涯中所學到、采用和開發(fā)的一些經(jīng)驗教訓和有效實踐可能會幫助您取得成功。