當(dāng)數(shù)據(jù)分析成了一門顯學(xué)，算法會左右你的終身大事

你愿意你的終身大事被算法安排嗎？如果有一天算法將比你更加了解你自己，你準(zhǔn)備好相應(yīng)的心智模塊了嗎？本期數(shù)據(jù)俠將比較機(jī)器學(xué)習(xí)和傳統(tǒng)數(shù)據(jù)建模的區(qū)別，并用最優(yōu)停止理論教你：下次再遇到逼婚的，就可以告訴父母，數(shù)學(xué)家已經(jīng)證明了，33歲之后再選擇遇到最好的那個也不遲。

算法將比你更加了解你自己？

聽過了很多道理，卻依然過不好這一生。

這是很多人的困惑。這篇小文想講的是，任何一場科技中的浪潮，都會帶來方法論上的變革。關(guān)于人生中的抉擇，人們總是用當(dāng)前最熱門科技中的概念去類比。正如Carl Sagan(美國天文學(xué)家、天體物理學(xué)家、宇宙學(xué)家、科幻作家)所說：Science is a way of thinking much more than it is a body of knowledge（與其說科學(xué)是一套知識體系倒不如說是一種思維方式）。授人以魚不如授人以漁，了解了方法論的變革，才會帶來元認(rèn)知上的升級換代。

在過去，當(dāng)我們站在人生選擇的十字路口，我們會從古代先哲的話中去尋找啟迪，會聽從當(dāng)?shù)刈诮填I(lǐng)袖的話，到了啟蒙運(yùn)動之后，社會的主流意見變成了聽從你內(nèi)心的聲音。然而，隨著數(shù)據(jù)在我們的生活中占據(jù)了越來越重要的位置，我們做決策時也需要拿出數(shù)據(jù)和圖表，用量化的數(shù)據(jù)以及算法來指導(dǎo)我們的決策，而不只是做你自己喜歡的事。

為什么我們不應(yīng)該只追隨自己的inner voice了？這是因為當(dāng)代心理學(xué)及其衍生出來的行為經(jīng)濟(jì)學(xué)已積累了足夠的證據(jù)，說明人類會系統(tǒng)性的犯錯誤。關(guān)于這個話題，最著名的論述就是《思考，快與慢》這本書，另一本值得看的書是《進(jìn)化的“亂亂腦”是怎么讓你不完美的》。

另一方面，在《A brief history of tomorrow》這本書中，作者指出，做出明智的決策，自我意識的存在不是必要條件，很多Non-conscious but highly intelligent（不自覺的高度智能化）的算法即將在未來變得比我們更加了解自己。但我們有些時候卻不愿相信算法幫我們做出的決策，尤其在面對人生的關(guān)鍵選擇時。

最優(yōu)停止理論：33歲后再選擇遇到最好的那個不遲

例如，你愿意你的終身大事被算法安排嗎？

當(dāng)一個程序告訴你，你應(yīng)該和A結(jié)婚，盡管你覺得B更有魅力時，你會聽程序的安排嗎？要回答這個問題，最好我們先了解程序背后的算法邏輯，否則在對算法一無所知的情況下做出的選擇，不會是一個明智的選擇。在不久的將來，算法將會或顯或隱的影響你的選擇，你準(zhǔn)備好相應(yīng)的心智模塊了嗎？

舉一個具體的例子，假如一個非常優(yōu)秀的人參加選秀節(jié)目，已知追求的他的人有有限個，例如10位，選秀節(jié)目規(guī)定，他不能腳踏兩只船，即不能同時和兩個人交往，如果在交往之后他沒有接受這個人，那么，以后也沒有機(jī)會再選擇這個人作為對象。然后接著和下一個人交往。他該怎么辦？

對這個問題的回答，有兩種思考方式，先說機(jī)器學(xué)習(xí)的方式。

一個做機(jī)器學(xué)習(xí)的人拿到這個問題，首先會做的是收集數(shù)據(jù)，假設(shè)上面提到的選秀節(jié)目進(jìn)行了100期，那么要收集的數(shù)據(jù)包括這一百期節(jié)目中每位男嘉賓的年齡，學(xué)歷，身高，職業(yè)等結(jié)構(gòu)化的數(shù)據(jù)，還會收集臺上發(fā)生的對話這樣非結(jié)構(gòu)化的數(shù)據(jù)，最后在通過對每位女嘉賓的事后訪談，確定各位女嘉賓是否后悔自己的選擇，是否和男嘉賓有更多的發(fā)展。之后將所有的這些數(shù)據(jù)放入多個模型中，目標(biāo)是找出一套規(guī)律來，來指導(dǎo)未來參加這個節(jié)目的女嘉賓，讓她們能做出讓她們最不后悔的選擇。

不同的模型給出的規(guī)律會各有不同，有的模型很簡單，會告訴女嘉賓找和自己年齡相差最小的，有些規(guī)則會很復(fù)雜，會告訴女嘉賓去找又高又年輕的程序員但是卻要比自己大1歲到3歲。

另一種方法是傳統(tǒng)的數(shù)學(xué)模型。關(guān)于上文提到的問題，有一個現(xiàn)成的數(shù)學(xué)理論可以去對這個問題給出最優(yōu)解。

Optimal Stop Theory (最優(yōu)停止理論)是一個在金融衍生品定價中應(yīng)用很廣泛的理論，假設(shè)每個女嘉賓可以對男嘉賓給出一個唯一的打分，但女嘉賓不清楚這屆男嘉賓的整體水平怎么樣，需要拿前幾個去摸索一下自己應(yīng)該把標(biāo)準(zhǔn)定的多高，又擔(dān)心久久不選擇，錯過了最好的那個，那么Optimal Stop Theory 給出的答案是37%，在37%之后，女嘉賓應(yīng)該不要猶豫，只要遇到一個比之前的選擇都得分高的男嘉賓，該將就就將就吧。

對于這個問題的數(shù)學(xué)建模，感興趣的童鞋可以自己去推算出上文提到的37%來。

在男嘉賓的數(shù)目不同時，女嘉賓按最優(yōu)停止理論應(yīng)該采取的最優(yōu)策略，以及對應(yīng)的有多少比例找到這一組中男嘉賓中最好的那個，有63%的概率遇不到最好的那個這不是一個好消息，但從另一方面來看，最優(yōu)停止理論保證了不管男嘉賓有多少個，女嘉賓總能有差不多的幾率找到最好的那個。

將選秀節(jié)目中的場景反射到生活的時間之流中。我們每個人也都會遇到或多或少幾個追求者，也會在到底是該等待唯一的那個人，還是就這么嫁了中彷徨。假設(shè)我們的平均壽命是90歲，那么最優(yōu)停止理論告訴你可以在33歲前去擴(kuò)大你的選擇，過了33歲之后，再選擇遇到最好的那個不遲。下次再遇到逼婚的，就可以給父母親戚推一推公式，告訴他們數(shù)學(xué)家已經(jīng)證明了，再等幾年是最優(yōu)的選擇。

（萌主補(bǔ)充：最優(yōu)停止理論 Optimal Stopping Theory， 在經(jīng)濟(jì)學(xué)、金融領(lǐng)域使用非常廣泛，例如美式期權(quán)在股票交易中看漲看跌，執(zhí)行期權(quán)，基本都使用停止理論來求解。但是實際上，除了相親問題，這一理論同樣適用于買房問題、經(jīng)典的秘書問題等等）

機(jī)器學(xué)習(xí)和傳統(tǒng)數(shù)學(xué)建模

比較一下機(jī)器學(xué)習(xí)和傳統(tǒng)數(shù)學(xué)建模的方式，機(jī)器學(xué)習(xí)處理多維的、復(fù)雜的數(shù)據(jù)，其模型相比數(shù)學(xué)模型，需要更少的假設(shè)條件，其得出的結(jié)論，不會保證其一定是最優(yōu)的。而數(shù)學(xué)建模，首先假設(shè)了男嘉賓出現(xiàn)的次序和其質(zhì)量是獨(dú)立的，更重要的是，其要求女嘉賓對每一個男嘉賓有一個唯一的打分。如果真的能這樣，生活中的選擇就簡單多了。所以說，盡管機(jī)器學(xué)習(xí)有時會給出一些不那么靠譜的選擇，在面對現(xiàn)實的問題時，不過度的簡化問題，是給出的解答有用的一個必要條件。

不過，不管是什么方法得出的答案，數(shù)據(jù)指導(dǎo)的思考方式要求你去做驗證，要求你去質(zhì)疑假設(shè)，并看看將某些假設(shè)做了修改后，答案又會變成怎樣。比如上文提到的問題，如果假設(shè)在女嘉賓拒絕了男嘉賓后一次，男嘉賓還會接受女嘉賓，那么女嘉賓的最優(yōu)選擇應(yīng)該是什么了？又比如女嘉賓能給男嘉賓一個0到100之間的評分，而不是不清楚這屆男嘉賓的分?jǐn)?shù)上下限的時候，又應(yīng)該采取什么樣的策略了。

數(shù)據(jù)時代，首先要說的是：質(zhì)疑你的假設(shè)。 

關(guān)于驗證你的結(jié)論，最弱的證據(jù)是個人的經(jīng)驗，稍微強(qiáng)一些的是案例分析，即名人的傳記訪談，因為第三方的視角會去除掉自我記憶的和認(rèn)知中的偏見。更好的證據(jù)是統(tǒng)計分析，比如查一查結(jié)婚的年齡和離婚率是否相關(guān)，如果在20到40歲之間，排除其他因素，結(jié)婚年齡太早或者太晚的離婚率很高，再通過問卷調(diào)查，得出對婚姻的滿意程度，結(jié)果發(fā)現(xiàn)按照當(dāng)時的預(yù)期壽命，相應(yīng)年齡結(jié)婚的伙伴滿意度最高，那么說明最優(yōu)停止理論還是有一定道理的。

比統(tǒng)計更高級的驗證是機(jī)器學(xué)習(xí)中最常用的Cross Validation（交叉驗證：是一種評估統(tǒng)計分析、機(jī)器學(xué)習(xí)算法對獨(dú)立于訓(xùn)練數(shù)據(jù)的數(shù)據(jù)集的泛化能力）。舉個例子，5 fold Cross Validation 將已知的數(shù)據(jù)分成10份，選8份作為訓(xùn)練數(shù)據(jù)集，將這些數(shù)據(jù)丟給模型，然后在剩下的兩份數(shù)據(jù)上去檢測模型的效果。然后重復(fù)這個過程5次，直到每份數(shù)據(jù)都做了一次測試數(shù)據(jù)了。

交叉驗證是為了保證訓(xùn)練出的模型不會把數(shù)據(jù)中噪音放大，然而其背后的思想則是我們對現(xiàn)實的認(rèn)識的不完全的，因此訓(xùn)練時數(shù)據(jù)少一些，是必然的。模型不能要求麥克斯韋妖(Maxwell's demon,是在物理學(xué)中，假想的能探測并控制單個分子運(yùn)動的“類人妖”或功能相同的機(jī)制，是1871年由19世紀(jì)英國物理學(xué)家麥克斯韋為了說明違反熱力學(xué)第二定律的可能性而設(shè)想的。)那樣的全知全能，而要在部分可見的情況下給出相對靠譜的對整體的預(yù)測。這種對自己的未知謙卑的態(tài)度，讓人想起了“認(rèn)識你自己”這句古希臘的格言。

如果將機(jī)器學(xué)習(xí)的算法看成是一個認(rèn)知策略，那么認(rèn)識你自己說的就是meta-learning(元學(xué)習(xí)），即是將不同的算法結(jié)合起來，取長補(bǔ)短，從而更快得到更好的結(jié)果。

機(jī)器學(xué)習(xí)的方法框架和循環(huán)，實現(xiàn)模型，驗證模型，分析模型的效果和優(yōu)缺點(diǎn)，在一輪輪的迭代中持續(xù)改進(jìn)模型。

Explore和Exploit的不同

之后，想談一談上文案例反映的一個更深層次的權(quán)衡（tradeoff），也就是Explore（探究）和Exploit(致用）的不同。

我們年輕的時候，總是忍不住想去看一看世界，所謂的沒有看過世界，哪來的世界觀，而當(dāng)年紀(jì)漸長，就應(yīng)有所立足，在某一個領(lǐng)域有所專注，從而exploit自己之前積累的見識，這固然會讓你覺得生活不在像之前那樣豐富多彩，新的刺激會減少，然而這是生命的常態(tài)，如同熵增一樣不可避免。

要想生命之樹常青，除了認(rèn)識到時間箭頭不可逆帶來的新朋友新經(jīng)歷越來越少，就是要在自己橫向的處理問題時把握好這個權(quán)衡，做到既不過度explore，也不過度Exploit。

過度exploit帶來的問題是overfitting(過度擬合），這個機(jī)器學(xué)習(xí)中的概念對應(yīng)是生活中的陰謀論或者對文本的過度解讀。比如用一條線連接下圖的五個點(diǎn)。overfiting的答案是這樣一條包含五個參數(shù)的彎彎曲曲的曲線，這條曲線雖然在這五個點(diǎn)上誤差極小，但當(dāng)加入一個新的點(diǎn)之后，結(jié)果就不那么好了。這里更好的解答應(yīng)該是一條包含兩個參數(shù)的直線。

陰謀論將幾個看似不相關(guān)的事件用一個不那么簡單直接的故事連接起來，在筆者《陰謀論為何總是錯的》這篇文章中，已經(jīng)對陰謀論有更深入的分析，感興趣的小伙伴可以進(jìn)一步了解。

犯了過度exploit這種錯誤的小伙伴，總想著找出一個一招鮮吃遍天的法子來，在數(shù)據(jù)收集的還不夠充分的時候，機(jī)器學(xué)習(xí)的方法既可以放大數(shù)據(jù)中的規(guī)律，也可以放大其噪音，只有更多的數(shù)據(jù)才能解決這個問題。比如下圖中的下一個圖形該是哪一個，有兩種可能的解答，這兩種規(guī)律哪一個才是我們真正關(guān)心的了？只有更多的數(shù)據(jù)才能回答。

過度Explore的問題也許更多人更加熟悉，信息過載這個詞很多人會覺得陌生，然而當(dāng)看到那數(shù)不清的朋友圈，每日頭條的諸多推送，你就會明白什么叫信息過載了，關(guān)于這個問題，可以參考《如果用刷朋友圈的時間讀一本書，能讀多少本？》和《我應(yīng)該刪掉多少好友，屏蔽多少朋友圈》兩篇文章。過度explore讓人成為只會讀兵書的趙括馬謖，讓人們以為知道了很多碎片化的知識，卻無法形成體系。

過度explore的一個解毒良藥是機(jī)器學(xué)習(xí)中No free lunch （沒有免費(fèi)的午餐）定理，我們在機(jī)器學(xué)習(xí)中衡量兩個算法，到底孰優(yōu)孰劣，該怎么考慮？“沒有免費(fèi)的午餐定理”仿佛給了一個很令人失望的答案：針對某一域的所有問題，所有算法的期望性能是相同的。注意，這里有兩個關(guān)鍵詞，某一域的“所有”，和“期望”性能。所以它并沒有否認(rèn)兩個算法有優(yōu)劣之分，并且事實上還提供了一個視角讓我們理解為什么在機(jī)器學(xué)習(xí)中，我們可以選擇算法的優(yōu)劣性。

No free lunch定理告訴我們，沒有一個適用于所有問題的通用方法。機(jī)器學(xué)習(xí)的諸多方法各有各的適用場景，需要使用者因地制宜的去選擇。這個定理還告訴我們，即使收集到了全部的數(shù)據(jù)，我們也無法一錘定音的找到一個一成不變的最優(yōu)方案。這對從事機(jī)器學(xué)習(xí)人來說是個好消息，說明其工作要被計算機(jī)取代，還需要一段時間，任何機(jī)器學(xué)習(xí)算法成功的背后，都是很多人持續(xù)的選擇和分析一點(diǎn)一滴堆出來的勝利。

數(shù)據(jù)思維帶給我們的啟示，除了用數(shù)據(jù)去支持你人生的決策外，另一點(diǎn)是去關(guān)注explore 和exploit自己的平衡，不要犯上面提到的兩類錯誤。知道何時該停止試水的最優(yōu)停止理論，無疑可以在這方面給予讀者啟迪。而另一方，我們可以通過制度的設(shè)計來幫助大家去做出更好的選擇。

預(yù)測市場：當(dāng)為言論買單時，你會更注重發(fā)言質(zhì)量

納西姆·尼古拉斯·塔勒布的《反脆弱》一書中（參考《殺不死我的東西，使我變得更強(qiáng)大｜BetterRead》）中提到Have an skin in the game，說的是當(dāng)你需要為你的言論買單時，你會更注重你發(fā)言的質(zhì)量，更加深思熟慮。而通過市場機(jī)制去將眾多人的觀點(diǎn)綜合起來的制度，就是《Superforcast》這本書中提到的預(yù)測市場。

比如你想知道美國大選誰的勝率高，民調(diào)的結(jié)果不靠譜，因為很多選民會在投票時變卦，專家的意見更加不靠譜，專家都有自己的偏見，那該聽誰的？有這么一個市場，你可以針對各種事情下注，從NBA得冠軍到石油價格的漲跌，這個市場上你可以自由的交易自己的賭注。通過對這個市場的觀察，那么就可以得出最靠譜準(zhǔn)確的預(yù)測來。這就是通過市場的擴(kuò)展秩序來發(fā)掘人群中的私人的隱形知識，同時避免噪音的干擾。

如果能綜合利用到更多人的觀點(diǎn)，預(yù)測的準(zhǔn)確度會不會提高了，腦補(bǔ)這樣一種未來，人們不止是為了接受信息付費(fèi)，還能為了傳播觀點(diǎn)承擔(dān)風(fēng)險。

具體的舉個例子，如果你寫了一篇，或者轉(zhuǎn)發(fā)了一篇支持希拉里當(dāng)下一任美國總統(tǒng)的文章，然后在發(fā)表時后臺系統(tǒng)的自然語言處理系統(tǒng)識別出了你文章中的觀點(diǎn)，要求你付一筆錢，到時候如果希拉里贏得了大選，你會按照出價時的賠率獲得相應(yīng)的賠償，若是你猜錯了，你會損失這筆錢。或者你在這樣的預(yù)測市場上下了注，你寫了篇文章解釋你為什么要下注。這里的要點(diǎn)是要想發(fā)出聲音，你需要花錢，愿意將越多的錢用來做風(fēng)險投資，你的聲音就越大，就會被置頂，被更多人聽到。

這會不會通過金錢上的刺激，使你更加注重explore和exploit之間的權(quán)衡，從而提高下一屆朋友圈的信息水準(zhǔn)，那些傳播陰謀論的，會賭他們預(yù)測那末日即將到來，然后天下太平，他們失去了自己的賭注，從而只能發(fā)出更小的聲音。

而那些只收集信息的人，則失去了將自己的洞見變現(xiàn)的機(jī)會。優(yōu)勝劣汰，在這樣的輿論生態(tài)圈中，活下去的都會是智者，而無論是做投資的，亦或是普通人，都可以從這樣的預(yù)測市場中受益，就像我們從市場經(jīng)濟(jì)中獲得了高質(zhì)量的物質(zhì)資源，結(jié)合了自然語言處理的預(yù)測市場將會為我們的注意力資源的合理分配提供一種可能性。