機(jī)器學(xué)習(xí)模型設(shè)計(jì)五要素

數(shù)據(jù)可能沒什么用，但是數(shù)據(jù)中包含的信息有用，能夠減少不確定性，數(shù)據(jù)中信息量決定了算法能達(dá)到的上限。

數(shù)據(jù)環(huán)節(jié)是整個(gè)模型搭建過程中工作量最大的地方，從埋點(diǎn)，日志上報(bào)，清洗，存儲(chǔ)到特征工程，用戶畫像，物品畫像，都是些搬磚的工作也被認(rèn)為最沒有含金量同時(shí)也是最重要的地方。這塊跟要解決的問題，所選的模型有很大關(guān)系，需要具體問題具體分析，以個(gè)性化為例講講特征工程中的信息損失：

我們搭模型的目的是預(yù)測未來 -“以往鑒來，未卜先知 ”，進(jìn)一步要預(yù)測每個(gè)人的未來，實(shí)時(shí)預(yù)測每個(gè)人的未來。要想做好這件事情，對(duì)過去、對(duì)用戶、對(duì)物品越了解越好，首先需要采集用戶的行為（什么人在什么時(shí)間什么地點(diǎn)以什么方式對(duì)什么東西做了什么事情做到什么程度 ），然后進(jìn)行歸因找到影響用戶點(diǎn)擊的因素，構(gòu)建用戶興趣圖譜，最后在此基礎(chǔ)上去做預(yù)測。

這個(gè)過程中，每個(gè)環(huán)節(jié)都會(huì)有信息損失，有些是因?yàn)椴杉坏?，比如用戶?dāng)時(shí)所處的環(huán)境，心情等等；有些是采集得到但是暫時(shí)沒有辦法用起來，比如電商領(lǐng)域用戶直接感知到是一張圖片，點(diǎn)或不點(diǎn)很大程度上取決于這張圖片，深度學(xué)習(xí)火之前這部分信息很難利用起來；還有些是采集得到，也用的起來，但是因?yàn)榧庸な侄卧斐傻膿p失，比如時(shí)間窗口取多久，特征離散成幾段等等。

起步階段，先搞“量”再搞“率”應(yīng)該是出效果最快的方式。

#2 f(x)

f(x)的設(shè)計(jì)主要圍繞參數(shù)量和結(jié)構(gòu)兩個(gè)方向做創(chuàng)新，這兩個(gè)參數(shù)決定了算法的學(xué)習(xí)能力，從數(shù)據(jù)里面挖掘信息的能力（信息利用率），類比到人身上就是“天賦”、“潛質(zhì)”類的東西，衡量這個(gè)模型有多“聰明”。相應(yīng)地，上面的{x,y}就是你經(jīng)歷了多少事情，經(jīng)歷越多+越聰明就能悟出越多的道理。

• 模型復(fù)雜度-VC維

參數(shù)量表示模型復(fù)雜度，一般用VC維衡量。VC維越大，模型就越復(fù)雜，學(xué)習(xí)能力就越強(qiáng)。在數(shù)據(jù)量比較小的時(shí)候，高 VC 維的模型比低 VC 維的模型效果要差，但這只是故事的一部分；有了更多數(shù)據(jù)以后，就會(huì)發(fā)現(xiàn)低 VC 維模型效果再也漲不上去了，但高的 VC 維模型還在不斷上升。這時(shí)候高VC維模型可以對(duì)低VC維模型說：你考90分是因?yàn)槟愕膶?shí)力在那里，我考100分是因?yàn)榫砻嬷挥?00分。

當(dāng)然VC維并不是越高越好，要和問題復(fù)雜度匹配：

-- 如果模型設(shè)計(jì)的比實(shí)際簡單，模型表達(dá)能力不夠，產(chǎn)生 high bias；

-- 如果模型設(shè)計(jì)的比實(shí)際復(fù)雜，模型容易o(hù)ver-fit，產(chǎn)生 high variance；而且模型越復(fù)雜，需要的樣本量越大，DL動(dòng)輒上億樣本

• 模型結(jié)構(gòu)

模型結(jié)構(gòu)要解決的是把參數(shù)以哪種方式結(jié)合起來，可以搞成“平面的”，“立體的”，甚至還可以加上“時(shí)間軸”。不同的模型結(jié)構(gòu)有自身獨(dú)特的性質(zhì)，能夠捕捉到數(shù)據(jù)中不同的模式，我們看看三種典型的：

LR：

只能學(xué)到線性信息，靠人工特征工程來提高非線性擬合能力

MLR：

與lr相比表達(dá)能力更強(qiáng)，lr不管什么用戶什么物品全部共用一套參數(shù)，mlr可以做到每個(gè)分片擁有自己的參數(shù)：

-- 男生跟女生行為模式不一樣，那就訓(xùn)練兩個(gè)模型，男生一個(gè)女生一個(gè)，不共享參數(shù)

-- 服裝行業(yè)跟3C行業(yè)規(guī)律不一樣，那就訓(xùn)練兩個(gè)模型，服裝 一個(gè)3C一個(gè)，不共享參數(shù)

沿著這條路走到盡頭可以給每個(gè)人訓(xùn)練一個(gè)模型，這才是真正的“個(gè)性化”！

FM：

自動(dòng)做特征交叉，挖掘非線性信息

DL：

能夠以任意精度逼近任意連續(xù)函數(shù)，意思就是“都在里面了，需要啥你自己找吧”，不想花心思做假設(shè)推公式的時(shí)候就找它。

 #3 objective

目標(biāo)函數(shù)，做事之前先定一個(gè)小目標(biāo)，它決定了接下來我們往哪個(gè)方向走?？偟膩碚f，既要好又要簡單；已有很多標(biāo)準(zhǔn)方法可以選，可創(chuàng)新的空間不大，不過自己搞一個(gè)損失函數(shù)聽起來也不錯(cuò)，坐等大牛。

• 損失函數(shù)：rmse/logloss/hinge/...
• 懲罰項(xiàng)：L1/L2/L21/dropout/weight decay/...

P（model|data） = P(data|model) * P(model)/P(data) —> log(d|m) + log(m)

#4 optimization

目標(biāo)有了，模型設(shè)計(jì)的足夠聰明了，不學(xué)習(xí)或者學(xué)習(xí)方法不對(duì)，又是一個(gè)“傷仲永”式的悲劇。 這里要解決的問題是如何更快更好的學(xué)習(xí)。拋開貝葉斯派的方法，大致分為兩類：

• 達(dá)爾文式

啟發(fā)式算法，仿達(dá)爾文進(jìn)化論，通過適應(yīng)度函數(shù)進(jìn)行“物競天擇，適者生存”式優(yōu)化，比較有代表性的：遺傳算法GA，粒子群算法PSO，蟻群算法AA；適合解決復(fù)雜，指數(shù)規(guī)模，高維度，大空間等特征問題，如物流路經(jīng)問題；問題是比較收斂慢，工業(yè)界很少用。

• 拉馬克式

拉馬克進(jìn)化論，獲得性遺傳，直接修改基因(w)；比較有代表性的分兩類：

-- sgd variants（sgd/Nesterov/Adagrad/RMSprop/Adam/...）

-- newton variants（newton/lbfgs/...）

#5 evaluation

怎么才算一個(gè)好的模型并沒有統(tǒng)一標(biāo)準(zhǔn)，一個(gè)模型部署上線或多或少的都會(huì)牽扯到多方利益。以個(gè)性化場景為例，就牽扯到用戶，供應(yīng)商/內(nèi)容生產(chǎn)方以及產(chǎn)品運(yùn)營三者的博弈。總的來說，一個(gè)“三好模型”要滿足以下三個(gè)層面：

• 算法層面：準(zhǔn)確率，覆蓋率，auc，logloss...
• 公司層面：revenue，ctr，cvr...
• 用戶層面：用戶體驗(yàn)，滿意度，驚喜度...

#0 模型調(diào)優(yōu)思路

拆解之后，模型調(diào)優(yōu)的思路也很清晰了：

想長胖，首先要有東西吃；其次要能吃，啥都能吃不挑食；最后消化要好

用一條公式來概括：模型效果 ∝ 數(shù)據(jù)信息量 x 算法信息利用率

• 一方面，擴(kuò)充“信息量”，用戶畫像和物品畫像要做好，把圖片/文本這類不好量化處理的數(shù)據(jù)利用起來；
• 另一方面，改進(jìn)f(x)提高“信息利用率”，挖到之前挖不到的規(guī)律；

不過在大數(shù)據(jù)的初級(jí)階段，效果主要來自于第一方面吧。