
作者Jo Stichbury,自由技術(shù)作家
數(shù)據(jù)科學(xué)是一個(gè)新興的成熟領(lǐng)域,從數(shù)據(jù)工程和數(shù)據(jù)分析到機(jī)器和深度學(xué)習(xí),各種工作職能不斷涌現(xiàn)。數(shù)據(jù)科學(xué)家必須結(jié)合科學(xué)、創(chuàng)造性和調(diào)查性的思維,從一系列數(shù)據(jù)集中提取意義,并解決客戶面臨的潛在挑戰(zhàn)。
從零售、交通和金融到醫(yī)療保健和醫(yī)學(xué)研究,生活的各個(gè)領(lǐng)域都產(chǎn)生了越來越多的數(shù)據(jù)。
可用計(jì)算能力的增加和人工智能的最新進(jìn)展將數(shù)據(jù)科學(xué)家--獲取原始數(shù)據(jù)、分析數(shù)據(jù)并使其有用和可用的人--推到了聚光燈下。
根據(jù)收入潛力、報(bào)告的工作滿意度和Glassdoor上的職位空缺數(shù)量等標(biāo)準(zhǔn),自2016年以來,數(shù)據(jù)科學(xué)一直位居北美50個(gè)最佳職位榜首。
那么成為一名數(shù)據(jù)科學(xué)家需要什么呢?
為了獲得成功的一些技巧,我采訪了Ben Chu,他是atRefinitiv Labs的資深數(shù)據(jù)科學(xué)家。
朱棣文擁有人工智能的背景,尤其是語言學(xué)、語義學(xué)和圖形領(lǐng)域,并在新加坡路孚特實(shí)驗(yàn)室工作了兩年。
朱棣文在我們的采訪開始時(shí)說,數(shù)據(jù)科學(xué)家應(yīng)該像調(diào)查人員一樣思考。
你需要通過問“為什么?”來感到好奇和興奮?!斑@有點(diǎn)像當(dāng)偵探,把一個(gè)個(gè)點(diǎn)串起來,發(fā)現(xiàn)新線索?!?
在金融領(lǐng)域,數(shù)據(jù)科學(xué)家從一系列數(shù)據(jù)集中提取意義,以通知客戶并指導(dǎo)他們的關(guān)鍵決策。
數(shù)據(jù)科學(xué)家必須放大客戶想要解決的挑戰(zhàn),并從他們正在處理的數(shù)據(jù)中獲取線索。
從與朱棣文的交談中,我了解到能夠轉(zhuǎn)移焦點(diǎn)并考慮調(diào)查的背景是多么重要。
如果不能解決根本問題,完美的分析是沒有幫助的。有時(shí)你需要回頭,嘗試一種新的方法,重新定義你試圖回答的問題。其核心是好奇心。你需要喜歡問題!
數(shù)據(jù)科學(xué)家使用一系列工具來管理他們的工作流、數(shù)據(jù)、注釋和代碼。
“我必須非常勤奮。我需要衡量和跟蹤我的進(jìn)展,這樣我就可以備份和嘗試一個(gè)新的方向,重用以前的工作,并比較結(jié)果。
“重要的是要科學(xué),在你前進(jìn)的過程中進(jìn)行觀察、實(shí)驗(yàn)和記錄,這樣你就可以復(fù)制你的發(fā)現(xiàn)。我需要組織我的觀察,所以我用概念作為我的主要工具,把我所有的筆記、論文和可視化放在一個(gè)地方?!?
朱棣文強(qiáng)調(diào),需要保存記錄,不僅要追溯到他目前的調(diào)查,還要追溯到所有以前的發(fā)現(xiàn)。
“這就像數(shù)據(jù)科學(xué)日記。當(dāng)我遇到類似的情況時(shí),我會(huì)保留很好的參考點(diǎn),并參考它們來指導(dǎo)我的下一步行動(dòng)?!?
數(shù)據(jù)科學(xué)不僅僅是有一個(gè)科學(xué)的方法。職稱可能會(huì)誤導(dǎo)人;你不必來自科學(xué)背景,但你確實(shí)需要能夠創(chuàng)造性地思考。通常,另類思維是你應(yīng)對挑戰(zhàn)的關(guān)鍵。
“我必須在解決問題的科學(xué)思維和引導(dǎo)我走上新的和不同的探索道路的創(chuàng)造性思維之間切換。
“邏輯的、科學(xué)的思維對幫助我得出結(jié)論至關(guān)重要,但戴上一頂創(chuàng)造性的帽子同樣重要:我用好的和失敗的例子作為觀察新模式的線索。這都是關(guān)于‘編碼智能’的?!?
您需要扎實(shí)的編碼技能,以便能夠使用各種數(shù)據(jù)處理技術(shù)對不同的數(shù)據(jù)源進(jìn)行預(yù)處理,以解決噪聲或不完整的數(shù)據(jù)。
您還需要能夠創(chuàng)建機(jī)器學(xué)習(xí)管道,這將要求您知道如何構(gòu)建模型,并使用工具和框架來評估和分析其性能。
Chu和大多數(shù)數(shù)據(jù)科學(xué)家一樣使用Python,因?yàn)橛泻芏鄡?yōu)秀的包可以操作和建模數(shù)據(jù)。
事實(shí)上,Glassdoor在2017年上半年對其網(wǎng)站上的10,000份數(shù)據(jù)科學(xué)家工作列表進(jìn)行了抽樣,發(fā)現(xiàn)三種特殊的技能--Python、R和SQL--構(gòu)成了數(shù)據(jù)科學(xué)領(lǐng)域大多數(shù)職位空缺的基礎(chǔ)。
Ben Chu的團(tuán)隊(duì)依賴于開源機(jī)器學(xué)習(xí)包,如Tensorflow,Pytorch和Bert。
“我們主要將合流用作文檔工具;用于機(jī)器學(xué)習(xí)的MLFlow,Amazon Sagemaker,Scikit-Learn、Tensorflow,PyTorch和BERT;Apache Spark在大型數(shù)據(jù)集中構(gòu)建快速數(shù)據(jù)管道;和雅典娜作為我們的數(shù)據(jù)庫來存儲(chǔ)我們處理過的數(shù)據(jù)。
“我們還使用Superset來連接數(shù)據(jù),并更容易地構(gòu)建儀表板來輸出圖表,這使其更加直觀。”
朱棣文現(xiàn)在是路孚特實(shí)驗(yàn)室的一名高級數(shù)據(jù)科學(xué)家,但他從小就想成為一名音樂家,并對語言著迷。對于我在自然語言處理領(lǐng)域的工作,我需要很好地理解語言學(xué),特別是語義學(xué)和語言的細(xì)微差別。
他解釋說,一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)需要一系列的技能--他和他的同事有來自不同背景的重疊技能。
“你需要的技能將取決于你工作的領(lǐng)域。例如,我需要對金融有很好的了解。
“例如,數(shù)據(jù)分析正被應(yīng)用于減少欺詐,通過建立異常檢測方法來檢測欺詐‘行為',作為交易數(shù)據(jù)中的不規(guī)則模式。
“像我這樣的數(shù)據(jù)科學(xué)家需要精通如何處理各種孤立的金融數(shù)據(jù)。知道要結(jié)合什么是至關(guān)重要的,因?yàn)闆]有這種理解,我就無法建立一個(gè)成功的模型。“
進(jìn)入數(shù)據(jù)科學(xué)并不一定要成為一名計(jì)算機(jī)科學(xué)家或數(shù)學(xué)家。沒有人在每個(gè)領(lǐng)域都擁有所有的專業(yè)知識(shí)。你可以有法律、經(jīng)濟(jì)或科學(xué)背景。都是關(guān)于你思考的方式。
如果您能夠靈活和系統(tǒng)化,您將能夠在使用工具、框架和數(shù)據(jù)集時(shí)熟悉這些工具、框架和數(shù)據(jù)集的細(xì)節(jié)。
對于那些渴望發(fā)展數(shù)據(jù)科學(xué)技能的人,朱棣文提供了一些實(shí)用的建議,盡管新冠肺炎造成了干擾,但你可以很容易地采用這些建議。
你可以在網(wǎng)上尋找研究社區(qū)、參加網(wǎng)絡(luò)研討會(huì)和找到培訓(xùn)課程。一旦面對面的網(wǎng)絡(luò)再次可行,朱建議您積極參與數(shù)據(jù)科學(xué)社區(qū)。
“去參加會(huì)議和黑客馬拉松,這將幫助你建立一個(gè)強(qiáng)大的網(wǎng)絡(luò)來討論你的想法,啟發(fā)你的研究,回答你的問題”。
此外,請記住,數(shù)據(jù)科學(xué)領(lǐng)域是一個(gè)新的領(lǐng)域,而且仍在不斷成熟。
出現(xiàn)了各種不同的職位頭銜,如數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和數(shù)據(jù)分析師,以及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)工程師。您可能會(huì)發(fā)現(xiàn)一個(gè)角色比另一個(gè)角色更適合您的興趣和技能。
挖掘你的好奇心和創(chuàng)造力,提高你的Python技能,進(jìn)入數(shù)據(jù)科學(xué)!
本文最初出現(xiàn)在2020年4月初的《路孚特透視》上。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03