作者 | 木東居士

來源 | Data_Engineering

最近看了 Milter 的《算法工程師究竟需要哪些工程能力》這篇文章，有所感想，因此也寫一篇關(guān)于算法工程師的技術(shù)能力的問題，和大家分享一下居士關(guān)于算法工程師的技術(shù)能力的觀點。

對于一名優(yōu)秀的算法工程師，他（她）要具備的不僅僅是出色的技術(shù)能力，也要有很深的業(yè)務(wù)理解能力和對外溝通能力，總之，要求可以很高！

但是，從職責(zé)能力的劃分上來講，算法工程師首先是一名工程師，因此本文主要從工程能力要求上進行一些探討。

開始之前先放一份思維導(dǎo)圖，這將是這篇文章要分享的核心內(nèi)容：

工程能力概覽

算法工程師，從名字上我們就能看出，一名算法工程師首先應(yīng)該具備算法能力和工程能力，我們可以認(rèn)為這是基礎(chǔ)的技術(shù)能力。由于現(xiàn)在開源技術(shù)的普及，Sklearn、Tensorflow 和 Spark ML 基本已經(jīng)成為大部分算法工程師標(biāo)配的工具庫了，因此，熟練的調(diào)包能力也是決定了一名算法工程師能否快速實現(xiàn)需求。

其次，在真實的生產(chǎn)環(huán)境中，算法的落地會遇到各種各樣的業(yè)務(wù)場景和數(shù)據(jù)環(huán)境，這也要求算法工程師需要具備Pipeline 構(gòu)建能力，將整個生產(chǎn)環(huán)境中的數(shù)據(jù)流和模型打通。同時，在生產(chǎn)環(huán)境中，會出現(xiàn)各種“疑難雜癥”等待你去解釋，比如說為什么實驗效果特別差？為什么模型效果不穩(wěn)定？這就要要求算法工程師需要具備一定的數(shù)據(jù)分析能力。

很多時候，你會發(fā)現(xiàn)，你用在數(shù)據(jù)分析和Pipeline構(gòu)建上的精力可能占據(jù)了你8成以上的工作內(nèi)容。

當(dāng)你具備了上面的能力時，你已經(jīng)可以稱自己是一名算法工程師了。此時，你可以去對著數(shù)據(jù)分析小得瑟一下：“你看，我能構(gòu)建整個模型的Pipeline，你卻只能拿到別人提供的數(shù)據(jù)后調(diào)調(diào)包吧?！盎蛘?，你也可以去找開發(fā)得瑟：”你看，我懂了很多算法哦，你就只會寫代碼吧?！?/span>

得瑟完之后，我們還是回歸正題，算法工程師只具備這樣能力是否已經(jīng)夠了？答案當(dāng)然是不夠的。由于不同公司的團隊成熟度不同，工具化和流程的成熟度都不同，這就會對算法工程師有不同的要求，比如說模型發(fā)布能力和報表開發(fā)能力，當(dāng)然也會有一些其它能力，雖然可能不是特別重要，但是當(dāng)這些工作沒人幫你做的時候，算法工程師可能依然要承擔(dān)起這些工作內(nèi)容，比如說灰度測試的能力、負載均衡的能力等等。

將上面的內(nèi)容整理后，就是這樣一份思維導(dǎo)圖了（一張圖多看幾篇更能加深印象，因此我再貼出來一遍）

工程能力詳解

一、基礎(chǔ)能力

算法能力

算法能力就不多說了，算法工程師的基本能力要求，不懂算法對于一名算法工程師來講是不太合理的。這里居士把統(tǒng)計學(xué)的內(nèi)容也放進來了。

編程能力

編程能力主要分為兩部分：

• Python、C++、Java這類編程語言，這三種也是算法工程師需要了解的主流編程語言，一般掌握其一就夠，看不同公司。
• Sql就是很通用的能力了，Sql也是一門編程語言，而是是數(shù)據(jù)處理最常用的語言！
• 很好用。
• 大數(shù)據(jù)場景下，要了解Hive Sql。

調(diào)包能力

大家雖然會調(diào)侃調(diào)包俠，但是說實話，能調(diào)包調(diào)的很溜的人，也是不多的，比如說現(xiàn)在讓你自己用tensorflow構(gòu)建一個復(fù)雜網(wǎng)絡(luò)，不能google，你能寫出來嗎？能記清楚用法嗎？

• Sklearn
• Tensorflow
• Spark ML

二、核心能力

Pipeline 構(gòu)建能力

Pipeline構(gòu)建能力，這里想表達的更多的是整個數(shù)據(jù)流的構(gòu)建能力，數(shù)據(jù)從日志->特征->模型訓(xùn)練->反饋，這一個鏈條能否完成的能力，這里面會有很多難題需要克服。比如說：

1. 實時和離線模型一致性問題？
2. 離線和實時特征一致性問題？
3. 實時特征構(gòu)建的問題？
4. 數(shù)據(jù)延遲的問題？

很多時候，模型發(fā)布之類的工作是可以由其他同學(xué)支持完成，但是數(shù)據(jù)流這種問題更多的是需要算法工程師來解決的。

數(shù)據(jù)分析能力

這里的數(shù)據(jù)分析能力不是指商業(yè)分析或者業(yè)務(wù)分析，更多的是指特征分析、算法效果分析和各種異常問題定位分析的能力。

很多時候，兩個算法工程師能力水平的強弱從數(shù)據(jù)分析能力上也能窺得一二。

三、輔助技術(shù)能力

輔助的技術(shù)能力是指，你會不會的影響不會特別大，但是也都是有用的能力，特別是不同公司的發(fā)展情況不同，很可能會出現(xiàn)一個算法工程師既要做數(shù)據(jù)接入、又要做數(shù)據(jù)清洗、還要做算法平臺

也要搞前端、還要負責(zé)模型上線、系統(tǒng)運維。

這里就不再細講了。

思考一

聊一下對技術(shù)能力、工程能力和數(shù)據(jù)分析的思考。

居士個人的理解，技術(shù)能力更多的是偏向于一個一個的技術(shù)點，而工程能力更多就是在一個團隊中將項目做好的能力。很多算法出身的工程能力不行，那么他做的單純的一個模型是無法應(yīng)用到實際生產(chǎn)中的，而工程就是指把理論落地實際生產(chǎn)的過程。那么工程包含了什么？它包括了系統(tǒng)架構(gòu)設(shè)計和模塊設(shè)計、數(shù)據(jù)流搭建和平臺搭建、調(diào)包或算法開發(fā)、分布式、上線以及各種落地的代碼開發(fā)。報表和監(jiān)控，其實本質(zhì)也是做數(shù)據(jù)流，邊緣性的可能要做些后臺和前端的開發(fā)。

然后數(shù)據(jù)分析能力是什么？數(shù)據(jù)分析（不是純粹的數(shù)據(jù)分析）除了分析方法論和套路外，是一個很綜合性、相對偏軟一點的能力，比如說你通過分析發(fā)現(xiàn)了我們的系統(tǒng)有哪些可以優(yōu)化的點，通過分析發(fā)現(xiàn)了問題的原因是什么，這些都是分析能力。

思考二

針對前面的內(nèi)容，和 Cathy 討論后，對整個思路做了新的梳理，大家直接看圖就好，居士也認(rèn)為這樣描述可能更為合理。

思考三

這里再補充一個模型復(fù)現(xiàn)的能力，比如你看了一篇論文，發(fā)現(xiàn)這個模型可能很適合自己的業(yè)務(wù)場景，那么你是否能力將論文里面的模型快速用公司現(xiàn)有的平臺和工具來復(fù)現(xiàn)？

居士認(rèn)為，這一個是一個非常重要的能力，但是沒有想好具體該怎樣劃分。