
作者:Roll
本文為「心中有數(shù)」CDA征文作品
小學時,
老師經(jīng)常問:“你長大以后想當什么?”
我說,我想當一名科學家。
工作后,
領導經(jīng)常問:“你的職業(yè)規(guī)劃是什么?”
我說,我想做一名數(shù)據(jù)科學家。
一直以來,我在思索著什么是數(shù)據(jù)科學家?
直到 CDA 給了我標準,數(shù)據(jù)科學家是同時具備研究數(shù)據(jù)本質的科學知識和應用數(shù)據(jù)科學的領域知識,從數(shù)據(jù)中獲取信息并能解決問題的專家。
在 CDA LEVELⅢ 人才標準中,數(shù)據(jù)科學家具體指負責企業(yè)級商業(yè)數(shù)據(jù)科研項目的高端人才,能利用數(shù)據(jù)來改進產(chǎn)品、推動業(yè)務,并進行整體架構的大數(shù)據(jù)治理與項目管理,帶領團隊在該商業(yè)領域進行前瞻性研究和戰(zhàn)略布局。
從業(yè)近10年,我從事過定量分析、數(shù)據(jù)分析、數(shù)據(jù)挖掘、算法研究等崗位,做過項目,帶過團隊,考過很多證書,在行業(yè)期刊發(fā)過論文,也參加過很多數(shù)據(jù)建模競賽,一直在朝著數(shù)據(jù)科學家的路上努力拼搏。
有時候想寫些經(jīng)驗總結,提筆卻不知從何寫起。剛好近期收到CDA“心中有數(shù)”的征文通知,我決定以“數(shù)據(jù)科學家成長之路”為題總結過去10年工作學習的歷程,記錄下努力奮斗的時光,與數(shù)據(jù)同仁們共勉,同時也以此為起點,繼續(xù)我的數(shù)據(jù)科學家修煉之路。
數(shù)據(jù)科學家的成長之路是在披荊斬棘中砥礪前行,一筆筆的公式推導、一行行的算法代碼、一點點的業(yè)務積累,一個個的項目實踐,匯聚成了數(shù)據(jù)人的職業(yè)素養(yǎng),成就數(shù)據(jù)人的價值所在。
我的第一份工作是在上海一家咨詢公司從事數(shù)據(jù)分析師,這一階段我使用DB2、MySQL、Shell、VBA、SAS、Spss等工具,做過ETL、報表設計、數(shù)據(jù)集市、數(shù)據(jù)建模等工作。項目上我負責過人民銀行征信中心征信報告異常查詢監(jiān)測數(shù)據(jù)挖掘子項目,用K-Means聚類、決策樹、時間序列分析ARIMA等識別出機構及用戶的異常查詢行為;負責過某城商行銀行信用卡信用評分模型,使用Logistic預測客戶違約概率;參與過某股份制銀行信用卡存量客戶經(jīng)營、商城產(chǎn)品個性化推薦、集團客戶交叉銷售等項目,用到了Apriori、C5.0、KNN、Adaboost等算法,同時在平安銀行信用卡、人行征信中心做過SAS Base培訓。
隨著互聯(lián)網(wǎng)公司崛起,大數(shù)據(jù)技術、機器學習算法等在項目實踐中取得很好應用效果,數(shù)據(jù)工作者迎來新的發(fā)展機遇。大多數(shù)的數(shù)據(jù)從業(yè)人員都希望能夠進入互聯(lián)網(wǎng)公司,發(fā)揮自己的一技之長,當然我也不例外。2015年,在眾多OFFER中,我選擇了互聯(lián)網(wǎng)金融公司作為我的第二份工作,開始“玩轉大數(shù)據(jù)”。
期間,我參與了公司大數(shù)據(jù)中心的籌建,負責過精準營銷團隊、算法建模團隊。在R盛行的時候,我開始自學R語言編程, 多次參加R語言會議,與R語言大佬們討論最前沿的算法及應用場景。然而在實際工作過程中R語言安裝很多依賴包,且內存管理、運行速度和效率等缺點突出。
因此從2016年開始我逐步轉向使用Python和Spark,使用Scikit-learn、Tensorflow等算法框架構建機器學習模型,使用Hive、Hbase等大數(shù)據(jù)工具處理TB級數(shù)據(jù)量。我承擔公司標簽體系構建、客戶分層模型、反欺詐模型、精準營銷模型、消費信貸產(chǎn)品信用評分模型等項目,也做過數(shù)據(jù)寬表、數(shù)據(jù)架構、營銷活動效果分析、隨機立減算法設計、年度賬單數(shù)據(jù)開發(fā)、書寫分析報告及匯報材料等工作。
在掌握大數(shù)據(jù)技術、建模工具之后,到了2017年我想尋求穩(wěn)定,在特定行業(yè)內深耕細作,勵志成為行業(yè)內的數(shù)據(jù)科學家。在獲得京東金融、百融、阿里、銀行等多個OFFER,因為家庭原因我選擇回到家鄉(xiāng)工作,在一家城商行從事信用卡數(shù)據(jù)建模工作,當前已參與信用卡A、B、C評分卡構建,以及客戶標簽體系建設、信用卡資產(chǎn)估值等工作。
在學校實驗室里和實際工作中做數(shù)據(jù)建模項目還是有所不同的,學校里主要是練習算法以及如何調參,工作中業(yè)務理解、特征工程顯得更為重要。在數(shù)據(jù)挖掘業(yè)內,經(jīng)常聽到有人說“Garbage in, Garbage out(垃圾進,垃圾出)”,用不好或不對的數(shù)據(jù)去做分析,會產(chǎn)生糟糕或是無用的結論。也就是說,數(shù)據(jù)和特征決定了模型的上限,而算法只是逼近這個上限而已。
對于即將入坑或已入坑的數(shù)據(jù)分析師,最重要的是找準定位。
我比較認同CDA的數(shù)據(jù)人才認證體系,從LEVEL Ⅰ到LEVEL Ⅲ必備技能、知識點以及定位都比較接地氣。當然除了掌握必備的技能外,還要熟悉業(yè)務知識以及學習做事的方法,在項目中不斷鍛煉自己提升自己。機會總是留給有準備的人,只有掌握技能、理解業(yè)務,同時具備解決問題的思維方法,才能獨立承擔數(shù)據(jù)挖掘及數(shù)據(jù)分析項目。正是由于堅持不斷地學習,我才能在短時間內獨立負責項目,同時還要感謝領導們對我的幫助。
為了鼓勵員工持證上崗或者提升技能,許多單位都有證書獎勵,尤其是銀行等金融機構。在行內征求證書獎勵意見時,我成功將CDA證書推薦進獎勵范圍,推薦理由是在數(shù)字化轉型過程中,數(shù)字化人才梯隊建設是首要任務,而CDA證書等級體系完美的詮釋了如何去培養(yǎng)數(shù)字化人才隊伍。
從2017年開始,我陸續(xù)考取了銀行、證券、基金、期貨等金融從業(yè)證書,通過考試獲評統(tǒng)計師、中級經(jīng)濟師職稱,同時考取工信部高級數(shù)據(jù)分析師、Python技術應用工程師(高級)、大數(shù)據(jù)技術應用工程師(高級)、人工智能應用工程師(高級)等證書,在2019年CDA第十一屆認證考試中我通過客觀題和項目案例答辯,正式成為CDA LEVEL Ⅲ數(shù)據(jù)科學家持證人,次年12月通過FRM一級,目前正在積極備戰(zhàn)FRM二級。
得益于之前的項目經(jīng)驗和知識積累,我僅僅花了1個月時間復習就通過上機考試。結合我多次考證經(jīng)歷,現(xiàn)將備考經(jīng)驗總結如下。
首先是緊扣考綱,抓住重點。根據(jù)考試范圍準備備考書籍、視頻課、模擬題等材料,搜集前輩們的備考經(jīng)驗,以便制定計劃。認真研讀考綱,在有限時間內對于考綱要求的要掌握,考綱不要求可以選擇放棄。
從2020年開始CDA的考綱有所變化,LEVEL Ⅲ新考綱變得相對容易,也更聚焦數(shù)據(jù)挖掘和機器學習,因此要緊扣考綱,重點學習數(shù)據(jù)挖掘技術、數(shù)據(jù)處理與特征處理、自然語言處理、機器學習算法等內容,吃透書中內容。
其次是制定計劃,有序復習。
可以將備考分為三個階段:
一是基礎階段,將書中知識通讀、消化,大綱中的每一部分形成腦圖,便于自己系統(tǒng)掌握,這一階段可以嘗試做些練習題,鞏固知識點。
二是強化階段,進行專題突破,針對第一階段沒有掌握的重要知識點重點學習,同時重做第一階段的錯題以及弄清楚解題思路。
三是沖刺復習,查缺補漏,根據(jù)考綱形成整體的思維腦圖,覆蓋所有考點。
最后是調整心態(tài),積極備考。要以平常心積極應對考試,這一階段可以嘗試模擬考試時間練習??碱}。
我參加的是CDA第十一屆考試,考試時間為2019年12月29日。因為我和我愛人都沒有去過武漢,因而將考點選擇武漢,考完后先登黃鶴樓、再游戶部巷、吃完熱干面、又食武昌魚,雄偉的長江大橋、美麗的武漢大學、人流熙攘的江漢路步行街,穿梭在武漢的大街小巷,享受著武漢的特色美景。很不幸的是考完后過了2周就是武漢疫情爆發(fā)期,而我幸運的逃過一劫,相信疫情以后的武漢會越來越好,有機會我將攜家人再去武漢一游。
接著說說我的項目案例經(jīng)歷,在通過第一階段考試后,CDA老師會發(fā)一封郵件,附件里有項目案例要求和數(shù)據(jù)以及答辯的注意事項等。在拿到案例后,我認真研讀了項目說明、項目分析要求和評估方式等。我的案例題目是假新聞預測模型的建置及預測,由于對假新聞識別問題比較陌生,在做項目案例過程中我瀏覽大量的國內外相關的文本挖掘前沿論文,歸納出案例的解決方法。
項目過程中70%時間花在特征工程上,包括特征使用方案、特征獲取方案、特征處理方案和特征監(jiān)控方案,具體框架見下圖。
最終建立貝葉斯、BP神經(jīng)網(wǎng)絡、SVM、隨機森林、XGBoost的分類模型,同時以詞嵌入作為特征,建立CNN、LSTM、RNN等深度學習算法預測模型。
機器學習模型
深度學習模型
我的項目答辯老師是李御璽老師,李御璽老師和藹認真,認真聽完了我的答辯,給予了細致耐心的評價,希望我在文本特征構造多做工作,比如可以從作者偏好、情感分析、實體分析(人名、地名、組織等)、政治敏感等視角分析,增加模型預測精準度。
在完成項目案例過程中可以說受益頗多,整個項目我花了差不多20天的時間,閱讀了30多篇文章,寫了2000多行Python代碼,用了兩臺電腦去做文本特征提取,項目案例用到了機器學習、深度學習和文本挖掘多種算法。通過這次項目案例實戰(zhàn),我學到了很多前言的算法,尤其是文本特征提取的方法,同時對機器學習、深度學習和文本挖掘有了全面深入的認識。
順應全球信息化的發(fā)展趨勢,我國開啟“數(shù)字中國”戰(zhàn)略。在此戰(zhàn)略背景下,各行各業(yè)已經(jīng)進入數(shù)字化轉型的角逐期,未來的社會需要更多復合型的技術人才,尤其是對大數(shù)據(jù)科學家的需求將激增。
身為銀行人,在數(shù)字化轉型戰(zhàn)略下,數(shù)據(jù)從業(yè)者大有可為,未來我將繼續(xù)在信用卡行業(yè),推進數(shù)據(jù)科學在營銷、風控、產(chǎn)品、管理、服務、合作等方面的應用落地,致力于成為信用卡行業(yè)的數(shù)據(jù)科學家。
身為數(shù)據(jù)人,堅持初心與使命,今天取得的成績并不是終點,而是攀登更高峰的起點。面對未來的機遇與挑戰(zhàn),一方面努力工作,一方面堅持學習,盡管我已經(jīng)取得CDA LEVEL Ⅲ 數(shù)據(jù)科學家證書,但是我深知要成為真正的數(shù)據(jù)科學家還有很長的路要走。
未來可期,未完待續(xù)……
作者簡介
Roll,統(tǒng)計學碩士,統(tǒng)計師職稱,CDA LEVEL Ⅲ數(shù)據(jù)科學家持證人
在數(shù)據(jù)分析行業(yè)深耕十年有余,現(xiàn)為某城商行數(shù)據(jù)建模高級經(jīng)理。同時為工信部高級數(shù)據(jù)分析師、PythonSASR語言高級編程師。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
DSGE 模型中的 Et:理性預期算子的內涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結構數(shù)據(jù)特征價值的專業(yè)核心 表結構數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結構化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結構數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結構數(shù)據(jù)(以 “行 - 列” 存儲的結構化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結構數(shù)據(jù)價值的核心操盤手 表格結構數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實踐到業(yè)務價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10CDA 數(shù)據(jù)分析師:商業(yè)數(shù)據(jù)分析實踐的落地者與價值創(chuàng)造者 商業(yè)數(shù)據(jù)分析的價值,最終要在 “實踐” 中體現(xiàn) —— 脫離業(yè)務場景的分 ...
2025-09-10機器學習解決實際問題的核心關鍵:從業(yè)務到落地的全流程解析 在人工智能技術落地的浪潮中,機器學習作為核心工具,已廣泛應用于 ...
2025-09-09SPSS 編碼狀態(tài)區(qū)域中 Unicode 的功能與價值解析 在 SPSS(Statistical Product and Service Solutions,統(tǒng)計產(chǎn)品與服務解決方案 ...
2025-09-09