小白學(xué)數(shù)據(jù)分析--怎么看待數(shù)據(jù)處理

本來這算不上一篇文章，但是我仍舊寫了，除了解決一個(gè)小問題還要說點(diǎn)其他的關(guān)于數(shù)據(jù)分析的想法，首先先解決一個(gè)小問題。
　　第一部分
　　問題描述：處理游戲帳號(hào)信息時(shí)發(fā)現(xiàn)有重復(fù)的帳號(hào)，比如帳號(hào)A有N個(gè)重復(fù)項(xiàng)，希望留下1個(gè)重復(fù)帳號(hào)，但是要把剩下N-1個(gè)刪除重復(fù)帳號(hào)刪除。具體的原數(shù)據(jù)（**）模擬如下：

　　而我們希望得到的最終處理數(shù)據(jù)格式如右側(cè)一列（綠色）所示。針對(duì)這個(gè)處理，其實(shí)有很多方法，可以參看小蚊子的《誰說菜鳥不會(huì)數(shù)據(jù)分析》，比如使用條件篩選就能搞定，今天不談這個(gè)方法，說說另一種思路。
　　首先我們對(duì)于原數(shù)據(jù)進(jìn)行排序，怎么排序都OK，重要的是重復(fù)項(xiàng)會(huì)在一起，如下圖所示：

　　之后我們使用IF和Exact函數(shù)嵌套使用，解決這個(gè)問題，操作如下：
　　增加一列，叫做標(biāo)識(shí)項(xiàng)，并寫下公式=if(exact(A2,A3),1,2)，關(guān)于Exact()和if()函數(shù)的使用介紹這里不再累術(shù)，自行查閱Excel函數(shù)幫助文檔就OK了，具體公式如下圖顯示：

　　這里公式的秘密和為什么不解釋了，估計(jì)大家看到這里都明白了，下面我們要繼續(xù)操作，解決問題，之后選中第一行，快捷鍵“Crtl+Shift+L”打開自動(dòng)篩選功能，篩選標(biāo)識(shí)項(xiàng)為“1”的數(shù)據(jù)，如下圖：

　　之后，選擇這幾行數(shù)據(jù)，然后刪除，之后打開再次打開篩選，選擇全部，結(jié)果數(shù)據(jù)如下所示：

　　但是到了這樣這一步，其實(shí)已經(jīng)完成了，可是很多人還是有疑問，那些空白行怎么辦啊，我們需要數(shù)據(jù)都是像最開始的那個(gè)綠色的格式最好了，這樣有空白的位置不好，至于這個(gè)問題，這里不回答了，大家自己想一想，其實(shí)很簡單，非常容易解決。期待大家的答案。
　　第二部分
　　這一部分，其實(shí)還是想發(fā)一些牢騷和學(xué)習(xí)數(shù)據(jù)分析的建議，作為數(shù)據(jù)分析師，首先是先把數(shù)據(jù)處理和優(yōu)化工作做好，當(dāng)然這之前必須要進(jìn)行商業(yè)理解，把問題搞明白，才能后期把數(shù)據(jù)提取出來，進(jìn)而才能借助模型、算法進(jìn)行數(shù)據(jù)處理，模型發(fā)布，評(píng)估，分析，這是一個(gè)完整的CRISP-DM，數(shù)據(jù)處理優(yōu)化要用去整體流程80%的時(shí)間，因此快速有效掌握數(shù)據(jù)提取，處理方法很關(guān)鍵，其意義不僅僅在于效率效能的提升，最關(guān)鍵的是鍛煉思維和形成一套自己的方法。
　　你說的有點(diǎn)夸大了吧？
　　很多人會(huì)有這個(gè)疑問，很正常，大多數(shù)情況下，我們喜歡把數(shù)據(jù)需求明確，然后讓DBA同志幫助我們?nèi)?shù)據(jù)，解決數(shù)據(jù)處理過程，但是往往需求理解的差異，導(dǎo)致了后續(xù)CRISP-DM全部錯(cuò)誤，而且相當(dāng)不容易發(fā)現(xiàn)，所以很多時(shí)候我們要自己來做，一個(gè)DMA同時(shí)也要會(huì)一點(diǎn)SQL，數(shù)據(jù)量非常大時(shí)自己倒入數(shù)據(jù)庫，練習(xí)一下SQL操作。
　　當(dāng)然這是適用于那些學(xué)過計(jì)算機(jī)的人，很多DMA是沒怎么學(xué)過SQL，因此就會(huì)基本上借助Excel、SPSS解決數(shù)據(jù)處理，這個(gè)時(shí)候其實(shí)非常關(guān)鍵，早期我喜歡拿著網(wǎng)上的文檔或者什么寶典來解決問題，發(fā)現(xiàn)沒用，因?yàn)槟憧戳四阋灿洸蛔?，你也不?huì)用，只有當(dāng)問題擺在面前時(shí)，你才有需求，要學(xué)習(xí)，但是往往又不能找到合適的答案，所以很多人借助別人力量解決，但是解決完了，你仍舊不會(huì)，下次問題擺在你面前，你還是不會(huì)。
　　所以，請(qǐng)不要逃避問題，有問題才是你學(xué)習(xí)Excel，數(shù)據(jù)處理的最佳時(shí)期和機(jī)會(huì)，不要小看擺渡，如果你能從浩瀚的搜索中找到解決你問題的辦法，這是一種能力，如果借助那個(gè)答案，你有新的更好的解決之道這就是提升了。這是一種學(xué)習(xí)能力，通過問題學(xué)習(xí)。
　　其二，表述問題，找到自己的習(xí)慣。在搜索上如何把自己的問題表述出來，尋找答案，這是你的本事，就像你要求助于他人解決這個(gè)問題時(shí)，你依然要?jiǎng)e人先理解你的需求，才能解決一樣，在這一個(gè)問題肯定有很多的辦法來解決，但不是每個(gè)辦法都適合你，但是總有一個(gè)適合你，因此找到自己解決這種問題的習(xí)慣，以后越用越好，融會(huì)貫通。
　　其三，你要學(xué)會(huì)排列組合。這個(gè)排列組合不是真的排列組合，其實(shí)是說，日常我們?cè)谶M(jìn)行數(shù)據(jù)處理時(shí)，基本上80%以上的工作只需要20%左右的函數(shù)和方法就可以搞定了，比如vlookup，sumif，countif，if，條件篩選，排序等等，這也是符合冪律分布的。所以，盡管我們面臨不同的問題和需求，但是通過這些公式的嵌套，組合，最后基本上都能解決我們的數(shù)據(jù)處理和分析需求，而如何優(yōu)化，組合這就是看你的能力和發(fā)揮了，難道你說這不是一種鍛煉嗎？DMA的工作不僅僅是對(duì)得出來分析結(jié)果進(jìn)行分析，在這個(gè)過程中，你如何應(yīng)對(duì)產(chǎn)生的一系列問題都將有助于你發(fā)散思維，解決最后的分析。