
作者 | Jeremie Harris
翻譯 | Mika
CDA 數(shù)據(jù)分析師原創(chuàng)作品,轉(zhuǎn)載需授權(quán)
我在一家數(shù)據(jù)科學(xué)培訓(xùn)公司工作。對于學(xué)員,我常常給出的建議并不是推薦庫或者工具,而是讓他們首先明確自己想成為什么樣的數(shù)據(jù)科學(xué)家,確定自己的方向。
當(dāng)中的原因在于,數(shù)據(jù)科學(xué)并不是單一且定義明確的領(lǐng)域,公司并不會雇用所謂的全能型數(shù)據(jù)科學(xué)家,而是會選擇有擁專業(yè)技能的個人。
為了更好的理解,假設(shè)你們公司想聘請數(shù)據(jù)科學(xué)家。那么,你們肯定有明確的問題需要解決,而這需要具體的技術(shù)知識和專業(yè)知識。例如,有些公司將簡單模型應(yīng)用于大型數(shù)據(jù)集;有些公司將復(fù)雜模型應(yīng)用于小型模型;有些公司需要動態(tài)訓(xùn)練模型;有些公司根本不使用(傳統(tǒng))模型。
以上這些都需要完全不同的技能。對于想進入數(shù)據(jù)科學(xué)領(lǐng)域的人群收到的建議往往是:學(xué)習(xí)使用Python,構(gòu)建分類/回歸/聚類等項目在開始找工作,這其實是不太合理的。
數(shù)據(jù)科學(xué)家在工作中承擔(dān)了很多責(zé)任。人們會將過多的內(nèi)容歸入“數(shù)據(jù)科學(xué)”的范疇。為生產(chǎn)構(gòu)建強大的數(shù)據(jù)管道,這應(yīng)該是數(shù)據(jù)科學(xué)方面的問題。開發(fā)一種新的神經(jīng)網(wǎng)絡(luò),這應(yīng)該是數(shù)據(jù)科學(xué)方面的問題。
這種現(xiàn)象并不好,因為這會讓有抱負的數(shù)據(jù)科學(xué)家失去方向和對特定問題的關(guān)注。
為了避免成為全能型數(shù)據(jù)科學(xué)家,再次之前讓我們先了解數(shù)據(jù)科學(xué)領(lǐng)域主要有哪些職位,以及他們常常被混淆的原因:
1. 數(shù)據(jù)工程師
> 職位描述
為處理大量數(shù)據(jù)的公司管理數(shù)據(jù)管道。這意味著在數(shù)據(jù)需要從源頭進行有效地收集和檢索,而且在使用前需要進行清理和預(yù)處理。
> 重要性
如果你只使用過存儲在.csv或.txt文件中的相對較小的數(shù)據(jù)集(小于5G),那么你可能很難理解為什么需要專人維護數(shù)據(jù)管道。
當(dāng)中的原因在于:1)計算機很難承載大小為50 G的數(shù)據(jù)集,因此需要以其他方式將其提供給模型;2)大量數(shù)據(jù)可能需要花費大量時間來處理,并且經(jīng)常需要冗余存儲。進行管理存儲需要專業(yè)的技術(shù)知識。
> 技能要求
你需要使用Apache Spark、Hadoop、Hive和Kafka。還需要有扎實的SQL的基礎(chǔ)。
> 處理的問題
如何構(gòu)建每分鐘能處理1萬個請求的管道?
如何在不將其全部加載到RAM的情況下清理該數(shù)據(jù)集?
2. 數(shù)據(jù)分析師
> 職位描述
將數(shù)據(jù)轉(zhuǎn)化為可操作的商業(yè)見解。你通常會成為技術(shù)團隊和商業(yè)策略業(yè),銷售或營銷團隊之間的中間人。數(shù)據(jù)可視化是你日常工作的重要組成部分。
> 重要性
有些人很難理解為什么數(shù)據(jù)分析師如此重要,但他們確實如此。數(shù)據(jù)分析師需要將經(jīng)過訓(xùn)練和測試的模型,以及大量用戶數(shù)據(jù)轉(zhuǎn)換為易于理解的格式,以便轉(zhuǎn)化為圍商業(yè)策略。數(shù)據(jù)分析師幫助確保數(shù)據(jù)科學(xué)團隊不會浪費時間來解決無法提供商業(yè)價值的問題。
> 技能要求
技能包括Python,SQL,Tableau和Excel。你還需要出色的溝通能力。
> 處理的問題
是什么帶來了用戶增長?
如何向管理層解釋最近的使用費讓用戶望而卻步?
3. 數(shù)據(jù)科學(xué)家
> 職位描述
清理和探索數(shù)據(jù)集,并進行能帶來商業(yè)價值的預(yù)測。你的日常工作包括訓(xùn)練和優(yōu)化模型,并將其部署到生產(chǎn)中。
> 重要性
當(dāng)你有大量難以被解析的數(shù)據(jù),你需要從中提取出可理解的分析見解。這是數(shù)據(jù)科學(xué)家的基本工作:將數(shù)據(jù)集轉(zhuǎn)換為易于理解的結(jié)論。
> 技能要求
包括Python、scikit-learn、Pandas、SQL、也許還需要掌握Flask、Spark、TensorFlow、PyTorch。有些數(shù)據(jù)科學(xué)職位純粹是技術(shù)性的,但大多數(shù)人要求你具備一定的商業(yè)意識。
> 處理的問題
我們有多少種不同的用戶類型?
是否能建立一個模型來預(yù)測哪些產(chǎn)品將銷售給哪些用戶?
4. 機器學(xué)習(xí)工程師
> 職位描述
構(gòu)建、優(yōu)化機器學(xué)習(xí)模型,以及部署到生產(chǎn)。你的工作離不開機器學(xué)習(xí)模型,而且需要將其放入全棧應(yīng)用程序或硬件中,但也需要自己設(shè)計模型。
> 技能要求
需要掌握Python、Javascript、scikit-learn,TensorFlow 、PyTorch,以及SQL或MongoDB。
> 處理的問題
如何將此Keras模型集成到我們的Javascript應(yīng)用程序中?
如何減少推薦系統(tǒng)的預(yù)測時間和預(yù)測成本?
5. 機器學(xué)習(xí)研究員
> 職位描述
找到解決數(shù)據(jù)科學(xué)和深度學(xué)習(xí)中的挑戰(zhàn)性問題的新方法。你不會使用開箱即用的解決方案,而是需要創(chuàng)建解決方案。
> 技能要求
需要用到Python、TensorFlow、PyTorch和SQL。
> 處理的問題
如何將模型的準確性提高到最高水平?
自定義優(yōu)化器有助于減少訓(xùn)練時間嗎?
結(jié)語
我在這里列出的五個職位絕對不是孤立的。例如,在早期創(chuàng)業(yè)公司,數(shù)據(jù)科學(xué)家也需要充當(dāng)數(shù)據(jù)工程師或數(shù)據(jù)分析師的角色。但是大多數(shù)工作會按類別分類,公司規(guī)模越大,類別則越具體。
總的來說,為了找到心儀的工作,你需要明確具體的方向。如果你想成為一名數(shù)據(jù)分析師,就不用學(xué)習(xí)TensorFlow;如果你想成為一名機器學(xué)習(xí)研究員,那么不用先學(xué)Pyspark。
可以思考一下你希望為公司帶來哪方面的價值,并朝著這個方向努力,這是入門的最佳方式。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10