介紹

在軟件開發(fā)、信息安全和數(shù)據(jù)分析的長期職業(yè)生涯中，我觀察到，除非得到非常好的管理，否則大型、復(fù)雜和壓倒性的項目可能無法滿足風(fēng)險承擔(dān)者的需求。相比之下，我參與的大多數(shù)成功的數(shù)據(jù)分析項目在范圍、規(guī)模、團隊規(guī)模和時間表上都很小。它們通常需要幾天、幾周或幾個月的時間來完成，而不是需要幾年的時間，并且通常滿足最終用戶的需求。

健全的管理、敏捷實踐、熟練的實踐者、強大的工具、標準和指導(dǎo)方針可以結(jié)合起來創(chuàng)建一個數(shù)據(jù)分析生態(tài)系統(tǒng)，從而導(dǎo)致短的項目生命周期和有用的解決方案。以下各節(jié)描述了我的團隊開發(fā)并成功利用的一些組織、項目和數(shù)據(jù)分析屬性和技術(shù)。當(dāng)我們在大型企業(yè)的風(fēng)險管理和內(nèi)部審計功能中構(gòu)建數(shù)據(jù)分析程序時，您也可以將這些技術(shù)應(yīng)用到您的工作環(huán)境中。

良好的管理和領(lǐng)導(dǎo)能力

在我從事軟件開發(fā)和數(shù)據(jù)分析的34年中，我觀察到了許多管理和領(lǐng)導(dǎo)風(fēng)格，有好的也有壞的。我最近在與一位經(jīng)理一起工作時茁壯成長，這位經(jīng)理創(chuàng)建了一個框架，并指導(dǎo)我們的團隊在一家大型企業(yè)中建立了一個成功的部門數(shù)據(jù)分析程序。根據(jù)經(jīng)驗和觀察，以下是他和其他模范領(lǐng)導(dǎo)者為幫助個人、團隊和項目取得成功而發(fā)揮的一些屬性和行動：

• 為項目設(shè)定目標，并管理它和團隊來實現(xiàn)這些目標。
• 確定所需的能力，并雇用和培訓(xùn)員工以實現(xiàn)這些能力。
• 與內(nèi)部和外部組織合作，分享和學(xué)習(xí)最佳實踐。
• 提供適合需要的強大軟件工具。
• 充當(dāng)與上層管理層之間的溝通管道。
• 與團隊合作，關(guān)心團隊及其成員，不霸道。
• 確保基本但適當(dāng)?shù)纳潭藴?、指?dǎo)方針和程序得到執(zhí)行和遵守。
• 建立成長和成就的節(jié)奏。
• 尊重每個團隊成員的時間，需要集中精力。

雇用和發(fā)展技能和知識

幾年前，我參加了一個數(shù)據(jù)分析會議，會上一位演講者描述了她作為數(shù)據(jù)科學(xué)家所需的一些技能。她說，要有效地完成工作，需要200多項技能。事實上，創(chuàng)建成功的數(shù)據(jù)分析解決方案需要分析師具備許多才能。要雇用和培養(yǎng)具備所需技能和知識的分析師，您和您的管理層可以考慮以下步驟：

1. 撰寫引人注目的職位描述和職位說明-制定描述成功候選人必須具備的技能和知識的職位描述和職位說明。此外，列出員工在受雇期間必須發(fā)展的技能和知識。
2. 雇用具有專業(yè)知識和良好潛力的數(shù)據(jù)分析師-應(yīng)用職務(wù)說明和職位公告雇用具有所需技能和知識以及開發(fā)額外所需技能的能力和潛力的分析師。
3. 確定學(xué)習(xí)資源-創(chuàng)建一個課程和教程列表，以幫助數(shù)據(jù)分析師開發(fā)在其職位上取得成功所需的技能和知識。
4. 評估技能-為了衡量團隊及其成員的優(yōu)勢和劣勢，并確定發(fā)展和增長需求，根據(jù)每個數(shù)據(jù)分析師的工作描述和深入的能力列表，評估他們的技能和知識。
5. 培訓(xùn)分析師-確保工作單位的預(yù)算和時間表允許數(shù)據(jù)分析師有足夠的資金和時間完成培訓(xùn)，以發(fā)展所需的技能和知識。根據(jù)技能評估結(jié)果，確保分析師按照學(xué)習(xí)資源列表中的定義進行培訓(xùn)。

保持項目團隊規(guī)模小

大型團隊的復(fù)雜項目可能會陷入困境，除非經(jīng)過專業(yè)的管理。試圖保持每個項目的規(guī)模和范圍較小，并將團隊的規(guī)模限制在一到三個最終用戶和一個首席數(shù)據(jù)分析師，這可能有助于項目的成功。團隊可以將數(shù)據(jù)分析師添加到復(fù)雜的項目中，這將從分工或互補技能中受益。對于大型或復(fù)雜的項目，您可能希望指派一名項目經(jīng)理與團隊一起工作，以確定和管理任務(wù)、時間表、風(fēng)險和問題。最后，在需要的時候，在項目的業(yè)務(wù)領(lǐng)域中尋找主題專家。

采用敏捷實踐

項目團隊，尤其是在軟件開發(fā)中，經(jīng)常將敏捷開發(fā)方法，如Scrum或看板，應(yīng)用到他們的項目中，以組織任務(wù)并快速移動。我的團隊有效地使用了在Microsoft OneNote中開發(fā)的看板板，以便在頻繁的即席會議上在團隊和經(jīng)理之間跟蹤和交流任務(wù)。它由一頁上的三欄組成。每個任務(wù)在開始時從準備工作轉(zhuǎn)移到工作中，在完成時從工作中轉(zhuǎn)移到完成。

定義簡明的范圍、目標和時間表

在整個項目生命周期中與最終用戶、隊友和經(jīng)理的對話對于建立和堅持其商定的和簡明的范圍、目標和時間表至關(guān)重要。通過保持項目緊湊，我成功地完成了一周到三個月的項目。

如果一個項目很大很復(fù)雜，可以考慮把它分成一些較小的子項目，每個子項目都有有限的范圍、目標和時間表。

將一組合理的競爭項目和任務(wù)分配給數(shù)據(jù)分析師

一些研究人員發(fā)現(xiàn)，當(dāng)多任務(wù)處理時，人類的表現(xiàn)會受到影響。給個人分配大量的項目或任務(wù)可能會適得其反。此外，雖然技能和任務(wù)多樣性是可以提高個人滿意度和績效的工作組成部分（見工作特征理論），但分配給員工的項目或任務(wù)的數(shù)量應(yīng)該合理，以允許員工成功并完成所有這些項目或任務(wù)。

平衡團隊合作與自主性

在一個運作良好的團隊中工作可以提供許多好處，例如：

• 隊友可以互相補充技能。
• 隊友們可以互相鼓勵，互相推動前進。
• 一個團隊的成員可以分享想法和集思廣益來確定解決方案。
• 團隊的生產(chǎn)力可能超過其各部分的總和。

有效的團隊合作的好處是毫無疑問的。另一方面，某些類型的工作，如數(shù)據(jù)分析、編程和寫作，通常最好由半自主工作的個人完成，通常由團隊成員提供輸入。他們的工作需要專注和有限的干擾。

采用并掌握功能強大、通用性強的工具和語言

數(shù)據(jù)分析員應(yīng)該為自己配備強大的、多功能的數(shù)據(jù)分析工具，以滿足他們的需求。通過這種方法，分析人員可以利用每個工具的特性并開發(fā)能力和最佳實踐。以下各節(jié)描述了我的當(dāng)前團隊在其數(shù)據(jù)分析項目中使用的每個軟件包。

AlteryX Designer-根據(jù)AlteryX的網(wǎng)站，設(shè)計器可以用來“自動化分析的每一步，包括數(shù)據(jù)準備、混合、報告、預(yù)測分析和數(shù)據(jù)科學(xué)?！彪m然單用戶許可成本數(shù)千美元，但它是一個強大的數(shù)據(jù)分析和數(shù)據(jù)科學(xué)工具。我的團隊使用它來創(chuàng)建和運行輸入數(shù)據(jù)、轉(zhuǎn)換和準備數(shù)據(jù)以及以多種格式輸出數(shù)據(jù)的工作流。分析人員使用它快速、輕松地創(chuàng)建功能強大、運行迅速的工作流。

Tableau-Tableau軟件創(chuàng)建了一個強大的，也許是最流行的商業(yè)智能和數(shù)據(jù)可視化平臺。我的團隊使用Tableau Desktop連接到數(shù)據(jù)源并開發(fā)可視化工作表和儀表板。然后，我們將可視化發(fā)布到Tableau服務(wù)器，終端用戶在那里查看并與它們交互。

Python-Python是一種用戶友好且功能強大的編程語言，深受數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家的歡迎。與數(shù)據(jù)科學(xué)家中流行的以統(tǒng)計數(shù)據(jù)為中心的R語言不同，Python是一種通用語言。它是自由和容易學(xué)習(xí)。分析人員可以使用免費的庫來擴展Python的功能，比如NumPyandTensorFlow。

SQL-結(jié)構(gòu)化查詢語言(SQL)是用于實現(xiàn)、操作和查詢存儲在關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)中的結(jié)構(gòu)化數(shù)據(jù)的標準語言。它包括多個子語言。通過其數(shù)據(jù)查詢語言(DQL)，分析人員可以從數(shù)據(jù)庫表中查詢和檢索數(shù)據(jù)。RDMS數(shù)據(jù)庫存儲了世界各地企業(yè)的大量數(shù)據(jù)集。

Microsoft SQL Server Management Studio(SSMS)-SSMS是Microsoft的集成開發(fā)環(huán)境(IDE)，用于管理和查詢在其SQL Server RDBMS中實現(xiàn)的數(shù)據(jù)庫。我使用SSMS創(chuàng)建和運行SQL代碼來查詢包含所需數(shù)據(jù)的數(shù)據(jù)庫。

Rapid SQL-Rapid SQL是一種類似SSMS的IDE，用于開發(fā)SQL查詢以訪問存儲在Oracle、SQL Server、DB2和SAP Sybase數(shù)據(jù)庫中的數(shù)據(jù)。我使用快速SQL從DB2或Oracle數(shù)據(jù)庫中獲取數(shù)據(jù)。

Microsoft Visual Studio-Visual Studio是Microsoft的旗艦集成開發(fā)環(huán)境(IDE)。我使用Visual Studio Professional創(chuàng)建用Python和其他編程語言編寫的應(yīng)用程序。它的編輯器功能強大，帶有顏色編碼的語法。Visual Studio Community 2019是IDE的免費版本，可以滿足您的需求。來自Microsoft的Visual Studio代碼（VS Code）是另一種受程序員和數(shù)據(jù)分析師歡迎的免費IDE。

Microsoft Excel-Excel當(dāng)然是一個無處不在、有用、功能強大、有時是不可或缺的工具。我使用Excel工作簿作為項目數(shù)據(jù)源和輸出來創(chuàng)建小型數(shù)據(jù)集，執(zhí)行必要的數(shù)據(jù)清理和計算，等等。像Excel這樣的電子表格應(yīng)用程序是任何數(shù)據(jù)分析或數(shù)據(jù)科學(xué)商店中的重要工具。

制定基本標準、指導(dǎo)方針和程序

在數(shù)據(jù)分析項目中應(yīng)用簡明的標準和指導(dǎo)方針可以提高工作產(chǎn)品的生產(chǎn)率、維護和共享。以下是指導(dǎo)我工作的標準和指導(dǎo)方針。

命名標準-如何將文件夾、文件、數(shù)據(jù)庫表、列和字段等項標準化，以便于一致地命名它們，并在許多產(chǎn)品的集合中查找工作產(chǎn)品。

文件夾結(jié)構(gòu)標準和模板-對所有項目使用標準文件夾結(jié)構(gòu)可以輕松設(shè)置新項目和查找文件夾和文件。我的團隊使用以下文件夾結(jié)構(gòu)模板來組織和存儲所有數(shù)據(jù)分析項目的工作產(chǎn)品：

• Project_name（將此值更改為項目的名稱）
• ALTERYX_WORKFLOWS
• 數(shù)據(jù)
• 文件編制
• python_programs
• SQL_scripts
• tableau_workbooks

文件夾結(jié)構(gòu)根據(jù)每個項目的需要展開和收縮。

編碼標準-編碼標準適用于編程，就像語法適用于英語散文一樣。它們幫助我們清晰一致地組織和傳達思想。我工作過的數(shù)據(jù)分析和軟件開發(fā)團隊從文檔化的編碼約定中受益。在項目中應(yīng)用這些標準可以使每個代碼模塊的原始編碼器更容易編寫，任何團隊成員也更容易閱讀、理解、增強和維護。下面是我的團隊用來指導(dǎo)其工作的一些編碼標準的描述。

• 類、變量和函數(shù)命名約定-為了可讀性，我們決定用小寫形式創(chuàng)建所有類、函數(shù)和變量名稱，每個單詞或縮寫用下劃線（“_”）分隔。每個類和變量名描述它存儲的值的類型，而每個函數(shù)名描述函數(shù)用什么值或?qū)ο笞鍪裁?。例如，存儲人名的變量可以稱為person_name或person_nm。從數(shù)據(jù)庫中檢索人名列表的函數(shù)可以稱為get_person_names()。
• 代碼模塊前序-我們用文本來說明每個模塊的用途。為了幫助維護該模塊的其他程序員，我們添加了額外的信息，如作者的姓名、數(shù)據(jù)庫連接字符串、文件位置信息和更改日志。
• 注釋-雖然有些人說代碼本身就是文檔，但我相信放置良好的注釋可以幫助編碼器組織他們的思想，并幫助需要維護或增強代碼的其他人更快地理解它。例如，在它的開頭，我描述了一個函數(shù)用什么數(shù)據(jù)做什么。我還在執(zhí)行任務(wù)的代碼的每個邏輯分組之前添加一個簡短的注釋。
• 空白-為了使代碼更容易閱讀，我在每個函數(shù)、每個變量定義集和執(zhí)行特定任務(wù)的每個代碼塊之間插入一個空行。
• 簡潔的函數(shù)范圍和可見的大小-與空白一樣，我限制了每個函數(shù)的內(nèi)容，以便更容易編碼、理解、維護和增強。我努力使每個函數(shù)保持簡單，并試圖使其內(nèi)容在編輯器中保持可見（例如橫過80個字符，向下40行）。

可視化樣式指南-雖然編碼標準可以幫助程序員理解、編寫和維護代碼，但可視化樣式指南可以幫助數(shù)據(jù)分析師開發(fā)一致、有用和有意義的可視化。它們還可以通過提供一致的、設(shè)計良好的、易于理解的和用戶友好的可視化，使數(shù)據(jù)分析項目的最終用戶受益。以下是我的團隊采用的一些視覺風(fēng)格指南。

• 品牌標準-我們公司的品牌管理部門已經(jīng)確定了一套一致的字體、顏色和視覺設(shè)計風(fēng)格和組件。我們已經(jīng)將這些引入到我們的可視化指導(dǎo)方針中，以增加專業(yè)性和一致性，并幫助為最終用戶提供熟悉的用戶界面風(fēng)格。
• 字體-我們公司設(shè)計了一種字體，我們將在可用時使用。否則，我們的數(shù)據(jù)分析產(chǎn)品將默認使用Ariel字體。
• 顏色-我們公司的品牌標準包括一個小型調(diào)色板。我們在可能的情況下將這些顏色應(yīng)用于圖表、圖形和儀表板。我們還試圖將任何圖表、圖形或儀表板上使用的顏色數(shù)量限制在視覺上令人愉快的一組。
• 標題、標題和標簽-我們的指南描述了應(yīng)用于文本元素（如儀表板標題、圖形和圖表標題、列、篩選器和圖例）的標準位置、字體、大小和顏色。
• 可視組件的放置-與文本一樣，我們的指南描述了儀表板上元素的標準位置，如圖表和圖形、過濾器和圖例。

摘要

建立一個有效的數(shù)據(jù)分析團隊并不容易，它定期構(gòu)建和交付數(shù)據(jù)分析解決方案，為最終用戶提供洞察力并幫助他們做出決策。但是，應(yīng)用我在軟件開發(fā)和數(shù)據(jù)分析的長期職業(yè)生涯中所學(xué)到、采用和開發(fā)的一些經(jīng)驗教訓(xùn)和有效實踐可能會幫助您取得成功。