本文由公眾號(hào) AIU人工智能（ID：ai_cda）出品，轉(zhuǎn)載需授權(quán)

故事背景

Hello,大家好,我是一個(gè)在帝都漂了好幾年的北漂,剛開(kāi)始的時(shí)候還好,隨著年紀(jì)的增長(zhǎng)每次給家里打電話或者回家都像是經(jīng)歷一次渡劫,當(dāng)然每每渡劫都不成功，被父上母上大人聯(lián)手劈的外焦里嫩。如果有和我差不多年紀(jì)的單身哥們兒大概會(huì)懂這種感受.過(guò)程是這樣的,最開(kāi)始的催找女朋友---中期即使沒(méi)有女朋友也要直接催婚—后期的連女朋友都沒(méi)有就直接催生,我也是招架不住.

哦,忘了交代,至于我為什么還沒(méi)有女朋友,是不是我氣質(zhì)猥瑣又不上進(jìn)?必須不是啊,想當(dāng)年我也是社會(huì)主義接班人來(lái)著,絕對(duì)是五官和思想一樣端正,作為一名數(shù)據(jù)分析師,兢兢業(yè)業(yè),為公司創(chuàng)造多大價(jià)值這種涉及商業(yè)機(jī)密的事兒就不多說(shuō)了,所以我沒(méi)女朋友真的單純的是因?yàn)橐粵](méi)時(shí)間去找,二是圈子太小,平時(shí)公司的團(tuán)建看著出席的一雙雙一對(duì)對(duì)的,不知各位有沒(méi)有體驗(yàn)過(guò)冷冷的狗糧胡亂的往嘴里塞是什么感受,其實(shí)也還好,公司男多女少,單身汪們平攤一下火力,還能剩下點(diǎn)肚子吃點(diǎn)團(tuán)建餐。

然而,作為一個(gè)正常的男人,還是需要妹子的啊!可是,身為公司棟梁，平時(shí)的工作,我要說(shuō)忙成狗吧,狗都不樂(lè)意,畢竟我家的狗子平時(shí)除了拆家來(lái)活動(dòng)活動(dòng)筋骨之外就沒(méi)啥可忙的!所以,我也沒(méi)時(shí)間去各種活動(dòng)認(rèn)識(shí)妹子,當(dāng)我再次把這樣的理由報(bào)告給電話另一端的母上大人時(shí),母上大人怒了：”沒(méi)時(shí)間參加什么活動(dòng),就不能從網(wǎng)上找一個(gè)嘛？虧你還天天炫耀沒(méi)有什么是你不能分析的，你怎么就不分析分析怎么找個(gè)女朋友？！“ 哇塞！母上大人英明??！以前覺(jué)得網(wǎng)上各種交友網(wǎng)站不太靠譜，魚(yú)龍混雜，我去粗取精一下不就好了嘛，在我眼里，一切皆數(shù)據(jù)啊，數(shù)據(jù)提取出來(lái)分析分析找出靠譜的數(shù)據(jù)就好了嘛！

“脫單”大計(jì)正式開(kāi)始執(zhí)行

第一步

OK，說(shuō)干就干，既然是要通過(guò)數(shù)據(jù)分析來(lái)找一個(gè)女朋友，當(dāng)然是要走個(gè)完整流程，第一步，確立目標(biāo)！我的目標(biāo)是要結(jié)交一個(gè)以結(jié)婚為目的的女朋友！不要小瞧這個(gè)目標(biāo)，里邊包含的學(xué)問(wèn)可不少，首先，要進(jìn)行數(shù)據(jù)分析，目標(biāo)一定要明確！目標(biāo)猶如燈塔，唯一且明亮，這樣才能指引小船不偏離航道。當(dāng)然很多時(shí)候目標(biāo)都是階段性的，在一個(gè)大的項(xiàng)目里邊，會(huì)有一個(gè)大的總目標(biāo)，而總目標(biāo)又通常會(huì)被拆解成若干個(gè)小目標(biāo)，一一攻破。 就像現(xiàn)在我的目標(biāo)，要結(jié)交一個(gè)以結(jié)婚為目的的女朋友，就可以拆解成幾個(gè)小目標(biāo)，首先要先獲取到妹子的信息，其次再進(jìn)行梳理篩選自己中意的，再次要去了解妹子，知己知彼，而后要?jiǎng)?chuàng)造和妹子接觸的機(jī)會(huì)，最后發(fā)展成我的女朋友，當(dāng)然后邊還有終極目標(biāo)，就是成功娶回家嘍?？瓤?，目標(biāo)定的還不夠遠(yuǎn)大，畢竟以后我們孩子要叫什么名字上哪所幼兒園之類(lèi)的我還沒(méi)開(kāi)始想……

第二步

好了，目標(biāo)已經(jīng)確立好，接下來(lái)第二步，獲取數(shù)據(jù)！enmmm，數(shù)據(jù)從哪里獲取比較好呢，有那么多相親網(wǎng)站交友軟件，作為數(shù)據(jù)分析師，任何決定可都不是拍腦袋決定的，選擇數(shù)據(jù)源也一樣，而且數(shù)據(jù)源的質(zhì)量直接影響后期我能找到合適妹子的概率，或者說(shuō)影響我能找到合適妹子的效率，所以，數(shù)據(jù)源的數(shù)據(jù)質(zhì)量不容忽視。在工作中，大多數(shù)時(shí)候我的數(shù)據(jù)源來(lái)自公司數(shù)據(jù)庫(kù)和網(wǎng)頁(yè)公開(kāi)數(shù)據(jù)，現(xiàn)在我的數(shù)據(jù)源就僅限于網(wǎng)頁(yè)公開(kāi)數(shù)據(jù)了。至于我的數(shù)據(jù)源是怎么選擇的呢，特別的簡(jiǎn)單，直接爬了幾個(gè)相親網(wǎng)站的數(shù)據(jù)，雖然據(jù)說(shuō)有一些信息不真實(shí)，好在基數(shù)夠大，況且我只找一個(gè)女朋友，多了，咱也不敢要啊，不，是多了我也不會(huì)要的，我可是思想端正的社會(huì)主義好青年！思想工作結(jié)束，繼續(xù)我的數(shù)據(jù)分析工作！去寫(xiě)爬蟲(chóng)！

爬不同的網(wǎng)站，寫(xiě)一套爬蟲(chóng)是不夠的，而且網(wǎng)站數(shù)據(jù)更新，爬取同一個(gè)網(wǎng)站的爬蟲(chóng)也要有改變。不過(guò)主要語(yǔ)法框架是差不多的，修改起來(lái)并不難，而且Python這種語(yǔ)言，開(kāi)發(fā)效率相當(dāng)高，重寫(xiě)一套爬蟲(chóng)對(duì)于我這種經(jīng)常需要爬網(wǎng)站的數(shù)據(jù)分析師來(lái)說(shuō)，根本就不叫事兒嘛！所以，最開(kāi)始幾天的下班后，我一直在爬啊爬，爬啊爬，爬啊爬…….盡量多爬幾個(gè)網(wǎng)站數(shù)據(jù)，廣撒網(wǎng)，盡量把最有可能的那個(gè)她網(wǎng)羅進(jìn)我的數(shù)據(jù)庫(kù)中！當(dāng)然我爬取的都是公開(kāi)的數(shù)據(jù)，比如昵稱(chēng)、編號(hào)、地區(qū)、昵稱(chēng)、愛(ài)好、對(duì)另一半要求以及網(wǎng)站給出的匹配度等等。至于我爬了哪些網(wǎng)站的公開(kāi)信息嘛，保密啊，畢竟這些網(wǎng)站大佬們又不會(huì)給我打廣告費(fèi)，哈哈哈！

第三步

終于，搞定了數(shù)據(jù)源之后，我到了第三步，數(shù)據(jù)清洗！這一步是我比較不愿意面對(duì)的一步了，為什么呢，因?yàn)楣ぷ髁繉?shí)在是有點(diǎn)大，根據(jù)我多年的從業(yè)經(jīng)驗(yàn)，數(shù)據(jù)清洗在數(shù)據(jù)分析的整個(gè)流程中大概占到了60%--80%的工作量。類(lèi)似于做菜前的摘菜、洗菜、切菜等等工作，貌似飯店的配菜工。想想有這么一個(gè)配菜工，一大堆的菜要摘，不符合要求的菜葉子要都剔除出去，不能有遺漏，萬(wàn)一客人在盤(pán)子里發(fā)現(xiàn)了一片顏色不對(duì)的爛葉子，這是會(huì)影響飯店形象和收益的。OK，好不容易經(jīng)過(guò)萬(wàn)分仔細(xì)的摘菜之后，開(kāi)始洗菜了，保證每片菜葉子都洗干凈，一點(diǎn)沙粒都不能留，要不硌著客人的牙了咋辦？終于摘菜洗菜后，到了切菜的環(huán)節(jié)，考驗(yàn)刀工的時(shí)候到了，一定要切的粗細(xì)均勻，賣(mài)相太差會(huì)顯得我們做菜很不專(zhuān)業(yè)！

現(xiàn)在大家都能明白的配菜過(guò)程，映射到數(shù)據(jù)清洗過(guò)程是這樣子的：首先，查看數(shù)據(jù)的全貌，做一個(gè)簡(jiǎn)單判斷，比如我需要的數(shù)據(jù)是有時(shí)間要求的，如果一個(gè)妹子半年都沒(méi)登錄過(guò)相親網(wǎng)站，即使她的各項(xiàng)條件都特別的吸引我，也沒(méi)啥用啊，人家可能是找到如意郎君了，可能是受了情傷再也不相信愛(ài)情了，可能是沉迷于工作無(wú)法自拔了……不管什么原因吧，人家妹子都不來(lái)這個(gè)網(wǎng)站了，我也聯(lián)系不到她??！所以我的數(shù)據(jù)是按照妹子們最近一次登錄的時(shí)間來(lái)排列的，只要最近登錄時(shí)間為兩周之內(nèi)的，前邊說(shuō)過(guò)，作為一個(gè)數(shù)據(jù)分析師，任何決定都不是拍腦袋決定，然而，凡事有例外，如果這是公司項(xiàng)目，我會(huì)去爬取更多的數(shù)據(jù)，然后算一下，大概多久不登錄的賬戶，在后期的日子里會(huì)再也不登錄了，但是這是我自己的事兒，加上我時(shí)間有限（好吧，其實(shí)我還有一點(diǎn)想偷懶），所以就沒(méi)有去爬取更多的數(shù)據(jù)做這項(xiàng)分析，只是抽樣了一些數(shù)據(jù)簡(jiǎn)單看了下，大概把時(shí)間節(jié)點(diǎn)定在了兩周。當(dāng)然不是說(shuō)登錄時(shí)間兩周前的就完全沒(méi)希望，這只是一個(gè)概率的問(wèn)題而已。

到了這一步，開(kāi)始我真正的摘菜洗菜切菜的工作，不不不，是真正的數(shù)據(jù)清洗工作。首先，信息填寫(xiě)不全的，關(guān)鍵信息有缺失的那種，就可以直接刪除了，比如我都不知道對(duì)方妹子多大，在不在我的擇偶范圍之內(nèi)的這種，就只能刪掉了，否則萬(wàn)一經(jīng)過(guò)我的各種分析出來(lái)一個(gè)我特別中意的妹子，聯(lián)系后發(fā)現(xiàn)人家不是比我大太多就是小太多，這就尷尬了對(duì)不對(duì)，所以工作要做在前邊，盡量考慮到各種可能發(fā)生的情況，要不然事情做到一半或者即將結(jié)束的時(shí)候發(fā)現(xiàn)問(wèn)題要推倒重來(lái)實(shí)在是令人崩潰。所以，第一步來(lái)處理缺失值問(wèn)題，有些缺失值不太影響最后結(jié)果的，比如昵稱(chēng)這種，在一定程度上可以反映對(duì)方的性格或者偏好，但是對(duì)最終的結(jié)果不會(huì)影響太大，就不用因?yàn)樗娜笔Ф鴦h除整條記錄了，但是放任不管，后期數(shù)據(jù)扔進(jìn)模型的時(shí)候又會(huì)受到影響，就可以考慮填充一下啦。至于用什么填充，可以考慮用編號(hào)填充，這樣填充的記錄不會(huì)有重復(fù)。

處理完缺失值后該處理重復(fù)值了，重復(fù)的記錄對(duì)分析的結(jié)果還是很有影響的，想象一下，經(jīng)過(guò)各種分析，最后我終于挑出來(lái)三五個(gè)妹子覺(jué)得可以溝通互相了解一下，結(jié)果發(fā)現(xiàn)其中三條記錄信息都是同一個(gè)妹子的，會(huì)不會(huì)覺(jué)得自己損失了一大片森林？重復(fù)記錄的處理就沒(méi)什么其他選擇了，果斷刪除，行動(dòng)要快，動(dòng)作要帥，裝X完畢！最后是離群值的處理，怎樣的數(shù)據(jù)算離群值呢，比如說(shuō)我可以對(duì)年齡數(shù)據(jù)畫(huà)一個(gè)箱線圖，設(shè)置參數(shù)，使年齡大于多少的和小于多少的成為離群值，至于這個(gè)多少是哪個(gè)數(shù)字嘛就不方便透露了，畢竟這只是我的個(gè)人傾向，并且處在這兩個(gè)年齡階段的妹子也不是不好，就像上邊篩選登陸時(shí)間的理念是一樣的，只是概率問(wèn)題，我與異性接觸的有限經(jīng)驗(yàn)顯示這兩個(gè)年齡段的妹子和我能聊到一起的概率不太大而已。然后，在箱線圖上下限之間的記錄就會(huì)被留下來(lái)了。

到這里，數(shù)據(jù)清洗的工作好像就已經(jīng)完成了，留下的數(shù)據(jù)是完整干凈符合要求的數(shù)據(jù)了。事實(shí)真是如此么，如果這么簡(jiǎn)單粗暴，我還怎么好意思宣稱(chēng)自己是公司的棟梁，是能夠?yàn)樯鐣?huì)主義建設(shè)貢獻(xiàn)力量的好青年呢？事情當(dāng)然不會(huì)這么簡(jiǎn)單，畢竟這中間隱藏著很多虛假信息啊，據(jù)說(shuō)有各種托，作為一個(gè)平時(shí)勤儉節(jié)約一心在攢老婆本兒的五好青年，必須不能落入托的圈套去各種花錢(qián)買(mǎi)買(mǎi)買(mǎi)，所以要在數(shù)據(jù)進(jìn)入模型前把這些虛假信息篩選剔除出去。就像是每個(gè)公司的業(yè)務(wù)不同，沒(méi)有哪套制式的流程能夠適應(yīng)所有公司，都是需要基于具體業(yè)務(wù)的。

單純的從數(shù)據(jù)層面上來(lái)說(shuō)，前邊的流程的確也算是完成了清洗，但是從業(yè)務(wù)層面來(lái)說(shuō)還遠(yuǎn)遠(yuǎn)不夠，這也是數(shù)據(jù)清洗工作量比較大的原因之一，需要根據(jù)具體業(yè)務(wù)調(diào)整清洗的標(biāo)準(zhǔn)呢。所以接下來(lái)就是要剔除虛假信息。要剔除虛假信息，首先需要對(duì)虛假信息進(jìn)行判定，具體的標(biāo)準(zhǔn)就不透露，我保證不了這套標(biāo)準(zhǔn)能夠百分百的剔除虛假信息還不誤刪正常信息，所以呢，對(duì)于我自己這個(gè)“脫單”項(xiàng)目的數(shù)據(jù)清洗工作就算是完成啦。

（未完待續(xù)，本故事純屬虛構(gòu)，如有雷同，純屬巧合）