康夏散書事件的技術(shù)分析：在數(shù)據(jù)面前，他無(wú)能為力

在寫這篇文章之前，我特意翻看了一下最近的微博?？吹揭呀?jīng)有人拿到了康夏的書，并且也收到了退款。那么，至少，隨著時(shí)間推移，事情的真相會(huì)變得更清楚。

我之所以要寫這篇文章，其一是因?yàn)槲液涂迪挠羞^(guò)兩封郵件，一通長(zhǎng)電話的接觸，幫他做了發(fā)書和退款數(shù)據(jù)的基本整理；其二是因?yàn)椋瑥奈覍?duì)Excel這個(gè)工具的理解和經(jīng)驗(yàn)，以及對(duì)數(shù)據(jù)長(zhǎng)期的觀察，認(rèn)為康夏賣書過(guò)程中間至少有一半的狀況是由數(shù)據(jù)引發(fā)，他的確被數(shù)據(jù)“坑”了；其三，原本過(guò)去也就過(guò)去了，大家都知道康夏最后選擇訣別社交網(wǎng)絡(luò)，但未來(lái)一定還會(huì)有個(gè)人甚至企業(yè)，會(huì)在社交網(wǎng)絡(luò)上發(fā)起有商品交易的互動(dòng)行為，而數(shù)據(jù)，將決定事件走向“天堂”或“地獄”。

我希望把數(shù)據(jù)的經(jīng)驗(yàn)分享出來(lái)，以便發(fā)起人將來(lái)可以作為參考，參與者也更能理解事件的進(jìn)程。而且，從我個(gè)人來(lái)講，以Excel數(shù)據(jù)狀況為事實(shí)，想要告訴大家，我們認(rèn)為的康夏的某些錯(cuò)誤，其實(shí)他真的無(wú)能為力，甚至，已經(jīng)盡力。

我和康夏本是徹徹底底的陌生人，在這件事之前我沒(méi)有關(guān)注他的微博和公眾號(hào)，甚至不知道有這么一個(gè)人存在。有一天，我看到朋友圈里一位最近剛剛長(zhǎng)聊過(guò)的，和我育兒理念非常相似，且相互認(rèn)同的朋友，轉(zhuǎn)發(fā)了康夏收到77萬(wàn)元時(shí)的第一篇說(shuō)明文章。而我這位朋友在朋友圈表達(dá)的意思是，通過(guò)康夏賣書這件事，她發(fā)現(xiàn)有很多和她相同的讀書人，她很開心。出于對(duì)她個(gè)人品質(zhì)的認(rèn)可，我看完了那篇文章。當(dāng)時(shí)腦子里瞬間出現(xiàn)了兩個(gè)想法：一是，康夏表現(xiàn)的非常有誠(chéng)意，是個(gè)不錯(cuò)的人；另外，他一定會(huì)遭遇嚴(yán)重到他沒(méi)辦法解決的數(shù)據(jù)問(wèn)題。由于我信任我這位朋友，愛(ài)屋及烏，再加上我的數(shù)據(jù)觀點(diǎn)一直是，原始數(shù)據(jù)對(duì)于數(shù)據(jù)工作有決定性作用。所以，既然是緣分讓我看到了這件事，我決定幫幫他。

我給他發(fā)去了一封郵件，說(shuō)：“我對(duì)數(shù)據(jù)有些研究，覺(jué)得你可能馬上會(huì)面臨極大的數(shù)據(jù)難題。如果到時(shí)候需要幫助，就通過(guò)郵件聯(lián)系我?！睘榱俗C明我是一個(gè)真實(shí)存在的人（沒(méi)辦法，互聯(lián)網(wǎng)上的信息真真假假），我還讓他上網(wǎng)搜搜，好確定我不是什么騙子。我是5月19日給他發(fā)的郵件，5月20日，他的回復(fù)是：“太感動(dòng)了……非常感謝，已經(jīng)快被海量數(shù)據(jù)搞死了?！?

接下來(lái)的內(nèi)容，是純技術(shù)性的，Excel用得稍好的人會(huì)理解得更清楚一些。如果你壓根兒不知道什么是Vlookup函數(shù)，也沒(méi)有聽說(shuō)過(guò)數(shù)據(jù)透視表，也不知道Excel中函數(shù)和數(shù)據(jù)處理的一般原則，那么，這一段你可能無(wú)法比較有共鳴的感受到什么叫“數(shù)據(jù)災(zāi)難”。

康夏在后來(lái)的文章中反復(fù)提到幾個(gè)東西：1萬(wàn)條支付數(shù)據(jù)，一個(gè)人打款多次，做匹配很難，有的人信息填寫不全，支付寶限制20個(gè)字。一般人看到這樣的文字，都不會(huì)有特別的感受，但事實(shí)上，數(shù)據(jù)災(zāi)難就藏在這里面。他說(shuō)的這張支付數(shù)據(jù)表，我給大家看看。（為了真實(shí)起見(jiàn)，我用的是康夏發(fā)給我的原始數(shù)據(jù)，但為了別人的隱私，我把與個(gè)人相關(guān)的關(guān)鍵數(shù)據(jù)做了類似遮擋、縮短等處理。我嘗試了把圖片另存下來(lái)，可以看到表格細(xì)節(jié)。）

第一點(diǎn)——支付數(shù)據(jù)太多

這張表一共有11744條支付數(shù)據(jù)（截圖的時(shí)候往上挪動(dòng)了一些，因?yàn)檫@部分?jǐn)?shù)據(jù)更有代表性），若用肉眼看，手工整理，假設(shè)一條數(shù)據(jù)10秒，那也不是一般地球人體力和精力能承受的。在企業(yè)做過(guò)從系統(tǒng)中導(dǎo)出的這樣的表的人，就會(huì)很清楚其中的痛楚。所以，首先，數(shù)據(jù)量的確大到超出手工整理范圍了。我之所以強(qiáng)調(diào)手工，一是因?yàn)榭迪母嬖V我他不怎么會(huì)用Excel，二是我后面會(huì)講的，這份數(shù)據(jù)有先天的問(wèn)題，函數(shù)等等只能給到輔助性的處理信息，而沒(méi)辦法真正批量得到最精準(zhǔn)的結(jié)果。

第二點(diǎn)——支付數(shù)據(jù)先天有缺陷

表格中藍(lán)色框內(nèi)的內(nèi)容，體現(xiàn)了“支付寶限制20個(gè)字”以及“一個(gè)人多次打款”這兩件事。限制20個(gè)字帶來(lái)的嚴(yán)重后果，就是買家必須通過(guò)多次打款，每次留20個(gè)字，才能填寫清楚自己完整的地址以及對(duì)于書的喜好，甚至，還要給康夏留言，說(shuō)兩句貼心話。而這件事給后期處理帶來(lái)的是什么呢？

我們必須假設(shè)1萬(wàn)條支付信息中，有名字相同的人，那么，在發(fā)書和整理數(shù)據(jù)的時(shí)候，就要把名字相同的人挑出來(lái)。而由于一個(gè)人就可能形成了多條數(shù)據(jù)記錄，那么，張三（1號(hào)）有10條數(shù)據(jù)（很多個(gè)0.1塊錢），張三（2號(hào)）有5條數(shù)據(jù)，Excel根本沒(méi)辦法知道，到底有幾個(gè)張三。傳統(tǒng)的“去重”方法不可行，用數(shù)據(jù)透視表計(jì)數(shù)的方法也不可行。而且，表格中其他數(shù)據(jù)，例如“交易號(hào)”、“交易創(chuàng)建時(shí)間”、“付款時(shí)間”等都不能用于輔助判斷，到底有多少重名的人。這就為后期的匹配埋下了嚴(yán)重隱患。

你可能會(huì)問(wèn)：為什么要匹配？匹配什么？因?yàn)橹Ц稊?shù)據(jù)里，很多人一激動(dòng)，根本沒(méi)留地址，甚至電話也沒(méi)有。那么，康夏就沒(méi)有辦法給他們寄書，也不可能聯(lián)系到他們（能力和精力都不行）。他就只能從自己的收集渠道，也就是他講的，公眾號(hào)、QQ、通訊錄、通訊地址上拔下來(lái)的，有地址和電話的，給他留言的買家中，用他們的信息再去支付大表里進(jìn)行匹配，看他們是否已經(jīng)付款，以及付了多少錢，才能決定，應(yīng)該給誰(shuí)發(fā)書，發(fā)幾本。匹配的過(guò)程，雖然是Vlookup可以輕易做的，但這中間又有其他問(wèn)題，所以，Vlookup的最終結(jié)果只能說(shuō)湊合能用，這后面會(huì)講。

第三點(diǎn)——文本信息無(wú)法整理

表格中黑色框的部分，一個(gè)叫“商品名稱”，一個(gè)叫“備注”。我不知道買家在操作支付寶的時(shí)候是怎么輸入的，但顯然，在一份原始數(shù)據(jù)中，有兩列文本描述的信息是極大的數(shù)據(jù)災(zāi)難。因?yàn)?，這兩列，有的人填的內(nèi)容相同，有的人在兩列中內(nèi)容互補(bǔ)，有的人填了其中一列而另外一列沒(méi)填，有的人把電話寫在“商品名稱”列，而有的寫在“備注”列。

Excel對(duì)于數(shù)據(jù)的判斷，是按屬性來(lái)的，例如：?jiǎn)卧裉顨v史、地理、天文這樣的代表科目的屬性詞。假如單元格內(nèi)是一句話，要提取其中某個(gè)部分可就困難了。你可能說(shuō)，不是有文本函數(shù)可以做嗎？對(duì)的，文本函數(shù)Right/Left/Mid/Search都可以做，但1萬(wàn)行數(shù)據(jù)要有統(tǒng)一的規(guī)律才能批量處理。而像這張支付數(shù)據(jù)表，文本部分根本沒(méi)有任何規(guī)律可言，且分布在兩列里面。這是違反Excel數(shù)據(jù)結(jié)構(gòu)規(guī)則的，所以，它幫不上忙。假設(shè)，文本只是分布在兩列中，而同一個(gè)人的打款記錄只有一條數(shù)據(jù)，那么，用&符號(hào)或者Concatenate函數(shù)，可以把兩部分文本合并到一個(gè)單元格，還有可能進(jìn)行關(guān)鍵信息的提取。

但前面說(shuō)過(guò)，張三可能有9條打款記錄，每一條備注了20個(gè)字，也就是說(shuō)，不僅在行方向需要合并單元格內(nèi)容，在列方向也要合并，這幾乎是不可能的。而提取不出支付數(shù)據(jù)中的關(guān)鍵文本信息，就相當(dāng)于對(duì)買家的身份、聯(lián)系方式、喜好等一無(wú)所知。也許還有人覺(jué)得，既然你康夏接了這個(gè)活兒，死也得用手工的方式，一條一條把數(shù)據(jù)對(duì)出來(lái)，這樣才對(duì)得起觀眾。

公平的講，姑且不說(shuō)那段時(shí)間他有5000封郵件要處理，每分鐘微信都會(huì)留幾百條信息，還要打包，處理各種瑣事，就說(shuō)啥事情也不做，只盯著數(shù)據(jù)看，一條核對(duì)30秒，中間不停，那也是一個(gè)時(shí)間上的天文數(shù)字。

親身體會(huì)數(shù)據(jù)，比從文字上看要?dú)埧岬枚?

既然說(shuō)到了工作量的問(wèn)題，我覺(jué)得有必要多說(shuō)兩句。我們平時(shí)看文章里寫維護(hù)10個(gè)微信群，一個(gè)人去了26個(gè)國(guó)家深度旅游，或者800條數(shù)據(jù)要核對(duì)。這些數(shù)字往往看起來(lái)不太累，但真實(shí)做起來(lái)，卻要人命。羅輯思維二期會(huì)員招募的時(shí)候，一個(gè)死磕俠管理10個(gè)微信群，一個(gè)群幾百號(hào)人，一分鐘就會(huì)產(chǎn)生幾千條留言，而且每分鐘都在產(chǎn)生。你想想，讀完都不可能，怎么在里面回復(fù)。那時(shí)候，我親眼看見(jiàn)死磕俠們吐血地每天加班到凌晨甚至5點(diǎn)，那是一段回憶起來(lái)簡(jiǎn)直血腥的日子。26個(gè)國(guó)家深度旅游，看起來(lái)沒(méi)很多吧，但假設(shè)一年兩次選2個(gè)國(guó)家深度旅游，26個(gè)國(guó)家需要13年。從17歲花季要干到30而立。800條數(shù)據(jù)核對(duì)看起來(lái)也不多，做做就知道了。

所以，從數(shù)據(jù)的角度，親身體會(huì)真的比文字上看到的要?dú)埧岬枚唷Ｓ袝r(shí)候是盡力而為，但大多數(shù)時(shí)候是無(wú)能為力。

第二張表——康夏自己整理的買家信息

前面說(shuō)了那么多，想要證明的是，支付寶導(dǎo)出來(lái)的支付數(shù)據(jù)，由于有先天的缺陷，是無(wú)法用于做出發(fā)書或退款決定的（退款一會(huì)兒詳細(xì)講）。于是，康夏通過(guò)各種渠道，收集了2607條比較完整的買家信息。接下來(lái)，他就面臨要將這2607條數(shù)據(jù)（截止5月23日他給到我的），去到1萬(wàn)條支付數(shù)據(jù)中進(jìn)行匹配的工作。

匹配的目的是：第一，看這個(gè)買家真實(shí)體現(xiàn)在支付寶中的支付金額是多少？第二，看這個(gè)買家是否已經(jīng)支付？前者，用于決定該寄出幾本書；后者，用于決定是不是要寄書。這時(shí)候，麻煩就來(lái)了。兩張表唯一可以進(jìn)行匹配的只有“姓名”，在支付數(shù)據(jù)中叫做“交易對(duì)方”。姓名這件事很容易出問(wèn)題，按照Vlookup的默認(rèn)規(guī)則，只能匹配出第一條數(shù)據(jù)，當(dāng)有相同名字的人存在于支付數(shù)據(jù)中時(shí)，Vlookup無(wú)法精確判斷誰(shuí)和康夏收集的這個(gè)名字對(duì)應(yīng)。這是處理后的數(shù)據(jù)可能不精準(zhǔn)的第一原因。

匹配到對(duì)應(yīng)的名字后，要通過(guò)Vlookup提取他/她具體支付的款項(xiàng)。由于支付數(shù)據(jù)中一個(gè)人可能打款9次，第一條記錄也許是0.1塊錢，這就不對(duì)。那么，把支付數(shù)據(jù)中的金額先按降序排列，再匹配呢？也不行。因?yàn)椋械娜耸?個(gè)0.1塊，1個(gè)99塊，可以用99塊作為最終結(jié)果。而有的人是3個(gè)30塊，那么，Vlookup只能匹配出其中一個(gè)30塊來(lái)，就產(chǎn)生極大的錯(cuò)誤了。

假如先用數(shù)據(jù)透視表，按“交易對(duì)方”，也就是人名做金額的匯總后，再用Vlookup匹配，行不行？也不行。因?yàn)椋?萬(wàn)條支付記錄中，我們根本不知道有幾個(gè)重名的人。數(shù)據(jù)透視表會(huì)把他們的金額加在一起，而這時(shí)候做出來(lái)的金額匹配，會(huì)出更大的問(wèn)題?？迪挠锌赡芙o張三（1號(hào)）寄去了6本書，但實(shí)際上，他只付了3本書的錢，而另外一個(gè)張三（2號(hào)）就會(huì)給了錢沒(méi)有收到書，后期還收不到退款，這事兒就鬧得更大了。

我想說(shuō)這根本不是人干的活兒，沒(méi)錯(cuò)，進(jìn)退兩難，有心無(wú)力。

各種數(shù)據(jù)缺陷下的折衷方案

從任何角度來(lái)講，我都沒(méi)有立場(chǎng)幫康夏決定應(yīng)該寄書給誰(shuí)。所以，我提供的僅僅是數(shù)據(jù)的初步整理和匹配，并且盡量給他更多的數(shù)據(jù)維度以便他做決定。同時(shí)，設(shè)定好退款清單的自動(dòng)獲得，這件事很重要。至于那張表他最后是怎么使用的，我也不得而知，能確定的是，這應(yīng)該為他節(jié)約了至少一周的時(shí)間。兵荒馬亂中，能爭(zhēng)取到時(shí)間就很寶貴了，康夏自己在一篇文章中開心地說(shuō)快了半個(gè)月，當(dāng)然，后來(lái)都刪了。最終的寄書清單和退款清單，也許是從這張表來(lái)的。

這張表用名字，從2607條完整的買家數(shù)據(jù)中，匹配出了已經(jīng)支付的1896個(gè)買家，并且提取了一條對(duì)應(yīng)的備注信息用于參考，以及與收集來(lái)的地址做可能的對(duì)照。

他要做的是，根據(jù)自己的判斷，從1896個(gè)買家中選出要寄書的人，在表格的“發(fā)貨標(biāo)記”列選中“是”，這些數(shù)據(jù)就會(huì)返回到1萬(wàn)條支付數(shù)據(jù)中，將對(duì)應(yīng)的人標(biāo)記出來(lái)。那么，剩下的就是需要退款的買家清單。由于支付寶已經(jīng)答應(yīng)幫他做統(tǒng)一的退款，但清單需要他提供。所以，康夏必須先搞定所有的數(shù)據(jù)，把寄書的清單確定下來(lái)，甚至可能把書真實(shí)的寄了，才能給到支付寶一份最終的退款數(shù)據(jù)，退款這件事才能開始進(jìn)行。

康夏在這件事上沒(méi)有撒謊，退款的確不是點(diǎn)一個(gè)按鈕就可以完成的，那么多個(gè)0.1塊錢，假如他自己進(jìn)行了一部分操作，后續(xù)數(shù)據(jù)的對(duì)應(yīng)就更加難上加難，到時(shí)候場(chǎng)面會(huì)完全失控。

結(jié)語(yǔ)

過(guò)去的一段時(shí)間，很多文章從社交和互聯(lián)網(wǎng)方面，分析了康夏賣書事件演變過(guò)程中的種種原因和結(jié)果。孰是孰非，真相如何，我確定我自己也搞不清楚。就像有一篇文章說(shuō)，對(duì)于一個(gè)事件，局外人就算以為自己知道了所有細(xì)節(jié)，其實(shí)也不知道其中真正的細(xì)節(jié)。

我不愿意去揣測(cè)康夏的心思，但也沒(méi)辦法相信網(wǎng)絡(luò)上各方的言論，只是憑著自己原始的感受，以及有限的接觸，包括上面講到的數(shù)據(jù)災(zāi)難。我會(huì)覺(jué)得，他并不可惡。真正要作惡的人，應(yīng)該不會(huì)和自己的父母一起來(lái)干這件事，也許請(qǐng)臨時(shí)工會(huì)更好。對(duì)于即將留學(xué)的人，大部分都會(huì)至少準(zhǔn)備半年吧，而臨到走之前，誰(shuí)又會(huì)愿意給自己惹一身事呢。再有，康夏也不是一個(gè)突然從石頭里蹦出來(lái)的人，他之前在公眾號(hào)里的形象，對(duì)于關(guān)注他的人來(lái)說(shuō)，也是認(rèn)可才會(huì)參與到這個(gè)事件里來(lái)的。我是愿意相信這里面有信息不對(duì)稱所導(dǎo)致的誤會(huì)，也有一個(gè)人面對(duì)突發(fā)網(wǎng)絡(luò)事件的措手不及，同時(shí)，在特定情況下腦子短路也許會(huì)做不當(dāng)選擇的可能。

無(wú)論怎樣，一棒子打死一個(gè)人，否定他的所有過(guò)去，是沒(méi)必要的。而且，他在自己的公眾號(hào)和自己的粉絲玩了一件事，這點(diǎn)自由還是應(yīng)該給他的。就像蔡康永在康熙來(lái)了有一集中，對(duì)黃國(guó)倫的建議：你家不收拾，只要你們夫妻倆自己受得了就行，其實(shí)，也不關(guān)別人的事。但是，以后倒也不用再把沒(méi)有收拾的照片拿出來(lái)嚇人。康夏賣書事件至此，至少，慢慢已經(jīng)有人收到書，收到退款了。而康夏本人，因?yàn)檫@件事離開了社交網(wǎng)絡(luò)。一陣風(fēng)起云涌，終歸回到平靜。