介紹

在軟件開發(fā)、信息安全和數(shù)據(jù)分析的長期職業(yè)生涯中，我觀察到，除非得到非常好的管理，否則大型、復(fù)雜和壓倒性的項(xiàng)目可能無法滿足風(fēng)險(xiǎn)承擔(dān)者的需求。相比之下，我參與的大多數(shù)成功的數(shù)據(jù)分析項(xiàng)目在范圍、規(guī)模、團(tuán)隊(duì)規(guī)模和時(shí)間表上都很小。它們通常需要幾天、幾周或幾個(gè)月的時(shí)間來完成，而不是需要幾年的時(shí)間，并且通常滿足最終用戶的需求。

健全的管理、敏捷實(shí)踐、熟練的實(shí)踐者、強(qiáng)大的工具、標(biāo)準(zhǔn)和指導(dǎo)方針可以結(jié)合起來創(chuàng)建一個(gè)數(shù)據(jù)分析生態(tài)系統(tǒng)，從而導(dǎo)致短的項(xiàng)目生命周期和有用的解決方案。以下各節(jié)描述了我的團(tuán)隊(duì)開發(fā)并成功利用的一些組織、項(xiàng)目和數(shù)據(jù)分析屬性和技術(shù)。當(dāng)我們在大型企業(yè)的風(fēng)險(xiǎn)管理和內(nèi)部審計(jì)功能中構(gòu)建數(shù)據(jù)分析程序時(shí)，您也可以將這些技術(shù)應(yīng)用到您的工作環(huán)境中。

良好的管理和領(lǐng)導(dǎo)能力

在我從事軟件開發(fā)和數(shù)據(jù)分析的34年中，我觀察到了許多管理和領(lǐng)導(dǎo)風(fēng)格，有好的也有壞的。我最近在與一位經(jīng)理一起工作時(shí)茁壯成長，這位經(jīng)理創(chuàng)建了一個(gè)框架，并指導(dǎo)我們的團(tuán)隊(duì)在一家大型企業(yè)中建立了一個(gè)成功的部門數(shù)據(jù)分析程序。根據(jù)經(jīng)驗(yàn)和觀察，以下是他和其他模范領(lǐng)導(dǎo)者為幫助個(gè)人、團(tuán)隊(duì)和項(xiàng)目取得成功而發(fā)揮的一些屬性和行動：

• 為項(xiàng)目設(shè)定目標(biāo)，并管理它和團(tuán)隊(duì)來實(shí)現(xiàn)這些目標(biāo)。
• 確定所需的能力，并雇用和培訓(xùn)員工以實(shí)現(xiàn)這些能力。
• 與內(nèi)部和外部組織合作，分享和學(xué)習(xí)最佳實(shí)踐。
• 提供適合需要的強(qiáng)大軟件工具。
• 充當(dāng)與上層管理層之間的溝通管道。
• 與團(tuán)隊(duì)合作，關(guān)心團(tuán)隊(duì)及其成員，不霸道。
• 確?；镜m當(dāng)?shù)纳潭?biāo)準(zhǔn)、指導(dǎo)方針和程序得到執(zhí)行和遵守。
• 建立成長和成就的節(jié)奏。
• 尊重每個(gè)團(tuán)隊(duì)成員的時(shí)間，需要集中精力。

雇用和發(fā)展技能和知識

幾年前，我參加了一個(gè)數(shù)據(jù)分析會議，會上一位演講者描述了她作為數(shù)據(jù)科學(xué)家所需的一些技能。她說，要有效地完成工作，需要200多項(xiàng)技能。事實(shí)上，創(chuàng)建成功的數(shù)據(jù)分析解決方案需要分析師具備許多才能。要雇用和培養(yǎng)具備所需技能和知識的分析師，您和您的管理層可以考慮以下步驟：

1. 撰寫引人注目的職位描述和職位說明-制定描述成功候選人必須具備的技能和知識的職位描述和職位說明。此外，列出員工在受雇期間必須發(fā)展的技能和知識。
2. 雇用具有專業(yè)知識和良好潛力的數(shù)據(jù)分析師-應(yīng)用職務(wù)說明和職位公告雇用具有所需技能和知識以及開發(fā)額外所需技能的能力和潛力的分析師。
3. 確定學(xué)習(xí)資源-創(chuàng)建一個(gè)課程和教程列表，以幫助數(shù)據(jù)分析師開發(fā)在其職位上取得成功所需的技能和知識。
4. 評估技能-為了衡量團(tuán)隊(duì)及其成員的優(yōu)勢和劣勢，并確定發(fā)展和增長需求，根據(jù)每個(gè)數(shù)據(jù)分析師的工作描述和深入的能力列表，評估他們的技能和知識。
5. 培訓(xùn)分析師-確保工作單位的預(yù)算和時(shí)間表允許數(shù)據(jù)分析師有足夠的資金和時(shí)間完成培訓(xùn)，以發(fā)展所需的技能和知識。根據(jù)技能評估結(jié)果，確保分析師按照學(xué)習(xí)資源列表中的定義進(jìn)行培訓(xùn)。

保持項(xiàng)目團(tuán)隊(duì)規(guī)模小

大型團(tuán)隊(duì)的復(fù)雜項(xiàng)目可能會陷入困境，除非經(jīng)過專業(yè)的管理。試圖保持每個(gè)項(xiàng)目的規(guī)模和范圍較小，并將團(tuán)隊(duì)的規(guī)模限制在一到三個(gè)最終用戶和一個(gè)首席數(shù)據(jù)分析師，這可能有助于項(xiàng)目的成功。團(tuán)隊(duì)可以將數(shù)據(jù)分析師添加到復(fù)雜的項(xiàng)目中，這將從分工或互補(bǔ)技能中受益。對于大型或復(fù)雜的項(xiàng)目，您可能希望指派一名項(xiàng)目經(jīng)理與團(tuán)隊(duì)一起工作，以確定和管理任務(wù)、時(shí)間表、風(fēng)險(xiǎn)和問題。最后，在需要的時(shí)候，在項(xiàng)目的業(yè)務(wù)領(lǐng)域中尋找主題專家。

采用敏捷實(shí)踐

項(xiàng)目團(tuán)隊(duì)，尤其是在軟件開發(fā)中，經(jīng)常將敏捷開發(fā)方法，如Scrum或看板，應(yīng)用到他們的項(xiàng)目中，以組織任務(wù)并快速移動。我的團(tuán)隊(duì)有效地使用了在Microsoft OneNote中開發(fā)的看板板，以便在頻繁的即席會議上在團(tuán)隊(duì)和經(jīng)理之間跟蹤和交流任務(wù)。它由一頁上的三欄組成。每個(gè)任務(wù)在開始時(shí)從準(zhǔn)備工作轉(zhuǎn)移到工作中，在完成時(shí)從工作中轉(zhuǎn)移到完成。

定義簡明的范圍、目標(biāo)和時(shí)間表

在整個(gè)項(xiàng)目生命周期中與最終用戶、隊(duì)友和經(jīng)理的對話對于建立和堅(jiān)持其商定的和簡明的范圍、目標(biāo)和時(shí)間表至關(guān)重要。通過保持項(xiàng)目緊湊，我成功地完成了一周到三個(gè)月的項(xiàng)目。

如果一個(gè)項(xiàng)目很大很復(fù)雜，可以考慮把它分成一些較小的子項(xiàng)目，每個(gè)子項(xiàng)目都有有限的范圍、目標(biāo)和時(shí)間表。

將一組合理的競爭項(xiàng)目和任務(wù)分配給數(shù)據(jù)分析師

一些研究人員發(fā)現(xiàn)，當(dāng)多任務(wù)處理時(shí)，人類的表現(xiàn)會受到影響。給個(gè)人分配大量的項(xiàng)目或任務(wù)可能會適得其反。此外，雖然技能和任務(wù)多樣性是可以提高個(gè)人滿意度和績效的工作組成部分（見工作特征理論），但分配給員工的項(xiàng)目或任務(wù)的數(shù)量應(yīng)該合理，以允許員工成功并完成所有這些項(xiàng)目或任務(wù)。

平衡團(tuán)隊(duì)合作與自主性

在一個(gè)運(yùn)作良好的團(tuán)隊(duì)中工作可以提供許多好處，例如：

• 隊(duì)友可以互相補(bǔ)充技能。
• 隊(duì)友們可以互相鼓勵，互相推動前進(jìn)。
• 一個(gè)團(tuán)隊(duì)的成員可以分享想法和集思廣益來確定解決方案。
• 團(tuán)隊(duì)的生產(chǎn)力可能超過其各部分的總和。

有效的團(tuán)隊(duì)合作的好處是毫無疑問的。另一方面，某些類型的工作，如數(shù)據(jù)分析、編程和寫作，通常最好由半自主工作的個(gè)人完成，通常由團(tuán)隊(duì)成員提供輸入。他們的工作需要專注和有限的干擾。

采用并掌握功能強(qiáng)大、通用性強(qiáng)的工具和語言

數(shù)據(jù)分析員應(yīng)該為自己配備強(qiáng)大的、多功能的數(shù)據(jù)分析工具，以滿足他們的需求。通過這種方法，分析人員可以利用每個(gè)工具的特性并開發(fā)能力和最佳實(shí)踐。以下各節(jié)描述了我的當(dāng)前團(tuán)隊(duì)在其數(shù)據(jù)分析項(xiàng)目中使用的每個(gè)軟件包。

AlteryX Designer-根據(jù)AlteryX的網(wǎng)站，設(shè)計(jì)器可以用來“自動化分析的每一步，包括數(shù)據(jù)準(zhǔn)備、混合、報(bào)告、預(yù)測分析和數(shù)據(jù)科學(xué)?！彪m然單用戶許可成本數(shù)千美元，但它是一個(gè)強(qiáng)大的數(shù)據(jù)分析和數(shù)據(jù)科學(xué)工具。我的團(tuán)隊(duì)使用它來創(chuàng)建和運(yùn)行輸入數(shù)據(jù)、轉(zhuǎn)換和準(zhǔn)備數(shù)據(jù)以及以多種格式輸出數(shù)據(jù)的工作流。分析人員使用它快速、輕松地創(chuàng)建功能強(qiáng)大、運(yùn)行迅速的工作流。

Tableau-Tableau軟件創(chuàng)建了一個(gè)強(qiáng)大的，也許是最流行的商業(yè)智能和數(shù)據(jù)可視化平臺。我的團(tuán)隊(duì)使用Tableau Desktop連接到數(shù)據(jù)源并開發(fā)可視化工作表和儀表板。然后，我們將可視化發(fā)布到Tableau服務(wù)器，終端用戶在那里查看并與它們交互。

Python-Python是一種用戶友好且功能強(qiáng)大的編程語言，深受數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家的歡迎。與數(shù)據(jù)科學(xué)家中流行的以統(tǒng)計(jì)數(shù)據(jù)為中心的R語言不同，Python是一種通用語言。它是自由和容易學(xué)習(xí)。分析人員可以使用免費(fèi)的庫來擴(kuò)展Python的功能，比如NumPyandTensorFlow。

SQL-結(jié)構(gòu)化查詢語言(SQL)是用于實(shí)現(xiàn)、操作和查詢存儲在關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)中的結(jié)構(gòu)化數(shù)據(jù)的標(biāo)準(zhǔn)語言。它包括多個(gè)子語言。通過其數(shù)據(jù)查詢語言(DQL)，分析人員可以從數(shù)據(jù)庫表中查詢和檢索數(shù)據(jù)。RDMS數(shù)據(jù)庫存儲了世界各地企業(yè)的大量數(shù)據(jù)集。

Microsoft SQL Server Management Studio(SSMS)-SSMS是Microsoft的集成開發(fā)環(huán)境(IDE)，用于管理和查詢在其SQL Server RDBMS中實(shí)現(xiàn)的數(shù)據(jù)庫。我使用SSMS創(chuàng)建和運(yùn)行SQL代碼來查詢包含所需數(shù)據(jù)的數(shù)據(jù)庫。

Rapid SQL-Rapid SQL是一種類似SSMS的IDE，用于開發(fā)SQL查詢以訪問存儲在Oracle、SQL Server、DB2和SAP Sybase數(shù)據(jù)庫中的數(shù)據(jù)。我使用快速SQL從DB2或Oracle數(shù)據(jù)庫中獲取數(shù)據(jù)。

Microsoft Visual Studio-Visual Studio是Microsoft的旗艦集成開發(fā)環(huán)境(IDE)。我使用Visual Studio Professional創(chuàng)建用Python和其他編程語言編寫的應(yīng)用程序。它的編輯器功能強(qiáng)大，帶有顏色編碼的語法。Visual Studio Community 2019是IDE的免費(fèi)版本，可以滿足您的需求。來自Microsoft的Visual Studio代碼（VS Code）是另一種受程序員和數(shù)據(jù)分析師歡迎的免費(fèi)IDE。

Microsoft Excel-Excel當(dāng)然是一個(gè)無處不在、有用、功能強(qiáng)大、有時(shí)是不可或缺的工具。我使用Excel工作簿作為項(xiàng)目數(shù)據(jù)源和輸出來創(chuàng)建小型數(shù)據(jù)集，執(zhí)行必要的數(shù)據(jù)清理和計(jì)算，等等。像Excel這樣的電子表格應(yīng)用程序是任何數(shù)據(jù)分析或數(shù)據(jù)科學(xué)商店中的重要工具。

制定基本標(biāo)準(zhǔn)、指導(dǎo)方針和程序

在數(shù)據(jù)分析項(xiàng)目中應(yīng)用簡明的標(biāo)準(zhǔn)和指導(dǎo)方針可以提高工作產(chǎn)品的生產(chǎn)率、維護(hù)和共享。以下是指導(dǎo)我工作的標(biāo)準(zhǔn)和指導(dǎo)方針。

命名標(biāo)準(zhǔn)-如何將文件夾、文件、數(shù)據(jù)庫表、列和字段等項(xiàng)標(biāo)準(zhǔn)化，以便于一致地命名它們，并在許多產(chǎn)品的集合中查找工作產(chǎn)品。

文件夾結(jié)構(gòu)標(biāo)準(zhǔn)和模板-對所有項(xiàng)目使用標(biāo)準(zhǔn)文件夾結(jié)構(gòu)可以輕松設(shè)置新項(xiàng)目和查找文件夾和文件。我的團(tuán)隊(duì)使用以下文件夾結(jié)構(gòu)模板來組織和存儲所有數(shù)據(jù)分析項(xiàng)目的工作產(chǎn)品：

• Project_name（將此值更改為項(xiàng)目的名稱）
• ALTERYX_WORKFLOWS
• 數(shù)據(jù)
• 文件編制
• python_programs
• SQL_scripts
• tableau_workbooks

文件夾結(jié)構(gòu)根據(jù)每個(gè)項(xiàng)目的需要展開和收縮。

編碼標(biāo)準(zhǔn)-編碼標(biāo)準(zhǔn)適用于編程，就像語法適用于英語散文一樣。它們幫助我們清晰一致地組織和傳達(dá)思想。我工作過的數(shù)據(jù)分析和軟件開發(fā)團(tuán)隊(duì)從文檔化的編碼約定中受益。在項(xiàng)目中應(yīng)用這些標(biāo)準(zhǔn)可以使每個(gè)代碼模塊的原始編碼器更容易編寫，任何團(tuán)隊(duì)成員也更容易閱讀、理解、增強(qiáng)和維護(hù)。下面是我的團(tuán)隊(duì)用來指導(dǎo)其工作的一些編碼標(biāo)準(zhǔn)的描述。

• 類、變量和函數(shù)命名約定-為了可讀性，我們決定用小寫形式創(chuàng)建所有類、函數(shù)和變量名稱，每個(gè)單詞或縮寫用下劃線（“_”）分隔。每個(gè)類和變量名描述它存儲的值的類型，而每個(gè)函數(shù)名描述函數(shù)用什么值或?qū)ο笞鍪裁?。例如，存儲人名的變量可以稱為person_name或person_nm。從數(shù)據(jù)庫中檢索人名列表的函數(shù)可以稱為get_person_names()。
• 代碼模塊前序-我們用文本來說明每個(gè)模塊的用途。為了幫助維護(hù)該模塊的其他程序員，我們添加了額外的信息，如作者的姓名、數(shù)據(jù)庫連接字符串、文件位置信息和更改日志。
• 注釋-雖然有些人說代碼本身就是文檔，但我相信放置良好的注釋可以幫助編碼器組織他們的思想，并幫助需要維護(hù)或增強(qiáng)代碼的其他人更快地理解它。例如，在它的開頭，我描述了一個(gè)函數(shù)用什么數(shù)據(jù)做什么。我還在執(zhí)行任務(wù)的代碼的每個(gè)邏輯分組之前添加一個(gè)簡短的注釋。
• 空白-為了使代碼更容易閱讀，我在每個(gè)函數(shù)、每個(gè)變量定義集和執(zhí)行特定任務(wù)的每個(gè)代碼塊之間插入一個(gè)空行。
• 簡潔的函數(shù)范圍和可見的大小-與空白一樣，我限制了每個(gè)函數(shù)的內(nèi)容，以便更容易編碼、理解、維護(hù)和增強(qiáng)。我努力使每個(gè)函數(shù)保持簡單，并試圖使其內(nèi)容在編輯器中保持可見（例如橫過80個(gè)字符，向下40行）。

可視化樣式指南-雖然編碼標(biāo)準(zhǔn)可以幫助程序員理解、編寫和維護(hù)代碼，但可視化樣式指南可以幫助數(shù)據(jù)分析師開發(fā)一致、有用和有意義的可視化。它們還可以通過提供一致的、設(shè)計(jì)良好的、易于理解的和用戶友好的可視化，使數(shù)據(jù)分析項(xiàng)目的最終用戶受益。以下是我的團(tuán)隊(duì)采用的一些視覺風(fēng)格指南。

• 品牌標(biāo)準(zhǔn)-我們公司的品牌管理部門已經(jīng)確定了一套一致的字體、顏色和視覺設(shè)計(jì)風(fēng)格和組件。我們已經(jīng)將這些引入到我們的可視化指導(dǎo)方針中，以增加專業(yè)性和一致性，并幫助為最終用戶提供熟悉的用戶界面風(fēng)格。
• 字體-我們公司設(shè)計(jì)了一種字體，我們將在可用時(shí)使用。否則，我們的數(shù)據(jù)分析產(chǎn)品將默認(rèn)使用Ariel字體。
• 顏色-我們公司的品牌標(biāo)準(zhǔn)包括一個(gè)小型調(diào)色板。我們在可能的情況下將這些顏色應(yīng)用于圖表、圖形和儀表板。我們還試圖將任何圖表、圖形或儀表板上使用的顏色數(shù)量限制在視覺上令人愉快的一組。
• 標(biāo)題、標(biāo)題和標(biāo)簽-我們的指南描述了應(yīng)用于文本元素（如儀表板標(biāo)題、圖形和圖表標(biāo)題、列、篩選器和圖例）的標(biāo)準(zhǔn)位置、字體、大小和顏色。
• 可視組件的放置-與文本一樣，我們的指南描述了儀表板上元素的標(biāo)準(zhǔn)位置，如圖表和圖形、過濾器和圖例。

摘要

建立一個(gè)有效的數(shù)據(jù)分析團(tuán)隊(duì)并不容易，它定期構(gòu)建和交付數(shù)據(jù)分析解決方案，為最終用戶提供洞察力并幫助他們做出決策。但是，應(yīng)用我在軟件開發(fā)和數(shù)據(jù)分析的長期職業(yè)生涯中所學(xué)到、采用和開發(fā)的一些經(jīng)驗(yàn)教訓(xùn)和有效實(shí)踐可能會幫助您取得成功。