數(shù)據(jù)分析師—技術面試

三月份開始找實習，到現(xiàn)在已經有半年的時間了，在這半年的時間中，該經歷的基本上都已經經歷，春招實習時候，拿到了7個offer，校招時候，成功的拿下一份心儀的工作，結束了我的秋招旅程。對于面試，技術層面即算法、軟件等等，業(yè)務層面就是忽悠（畢竟沒有做過完整的項目），但是也要有自己的邏輯和思考方式（這方面我也有很大的欠缺），下面將自己的面試經歷梳理為技術層面和業(yè)務層面，來分享給大家。

技術面試

一、軟件

1. R語言的文件讀取：csv文件的讀取方式（read.csv），txt文件的讀取方式（read.table）

2. R語言中一些小函數(shù)的作用

①apply函數(shù)：1代表調用每一行的函數(shù)，0代表調用每一列的函數(shù)（注意其用法和Python的區(qū)別）

②runif函數(shù)：生成均勻分布的隨機數(shù)

③sample（，return = TRUE）：隨機有放回的抽樣

3. Python中l(wèi)ist列表和元組的最大區(qū)別：元組的值不可以改變，但是列表的值是可以改變的。

4.數(shù)據(jù)庫中表的連接方式

①內部連接：inner  join

②外部連接：outer  join

③左連接：left  join  

注：對于數(shù)據(jù)分析，建議大家無論是R，Python，sql都有自己一套流程化的體系，這一體系可以很好的幫助你解決實際中的問題。

二、算法

對于算法（分類，聚類，關聯(lián)等），更是建議大家有一套流程化的體系，在面試算法的時候，是一個依次遞進的過程，不要給自己挖坑，相反，更要將自己的優(yōu)勢發(fā)揮的淋漓盡致，把自己會的東西全部釋放出來。

下面我將自己的所有面試串聯(lián)起來，給大家分享一下，僅供參考。

面試官：小張同學，你好，看了你的簡歷，對相關算法還是略懂一些，下面開始我們的面試，有這么一個場景，在一個樣本集中，其中有100個樣本屬于A，9900個樣本屬于B，我想用決策樹算法來實現(xiàn)對AB樣本進行區(qū)分，這時會遇到什么問題：

小張：欠擬合現(xiàn)象，因為在這個樣本集中，AB樣本屬于嚴重失衡狀態(tài)，在建立決策樹算法的過程中，模型會更多的偏倚到B樣本的性質，對A樣本的性質訓練較差，不能很好的反映樣本集的特征。

面試官：看你決策樹應該掌握的不錯，你說一下自己對于決策樹算法的理解？

小張：決策樹算法，無論是哪種，其目的都是為了讓模型的不確定性降低的越快越好，基于其評價指標的不同，主要是ID3算法，C4.5算法和CART算法，其中ID3算法的評價指標是信息增益，C4.5算法的評價指標是信息增益率，CART算法的評價指標是基尼系數(shù)。

面試官：信息增益，好的，這里面有一個信息論的概念，你應該知道的吧，敘述一下

小張：香農熵，隨機變量不確定性的度量。利用ID3算法，每一次對決策樹進行分叉選取屬性的時候，我們會選取信息增益最高的屬性來作為分裂屬性，只有這樣，決策樹的不純度才會降低的越快。

面試官：OK，你也知道，在決策樹無限分叉的過程中，會出現(xiàn)一種現(xiàn)象，叫過擬合，和上面說過的欠擬合是不一樣的，你說一下過擬合出現(xiàn)的原因以及我們用什么方法來防止過擬合的產生？

小張：對訓練數(shù)據(jù)預測效果很好，但是測試數(shù)據(jù)預測效果較差，則稱出現(xiàn)了過擬合現(xiàn)象。對于過擬合現(xiàn)象產生的原因，有以下幾個方面，第一：在決策樹構建的過程中，對決策樹的生長沒有進行合理的限制（剪枝）；第二：在建模過程中使用了較多的輸出變量，變量較多也容易產生過擬合；第三：樣本中有一些噪聲數(shù)據(jù)，噪聲數(shù)據(jù)對決策樹的構建的干擾很多，沒有對噪聲數(shù)據(jù)進行有效的剔除。對于過擬合現(xiàn)象的預防措施，有以下一些方法，第一：選擇合理的參數(shù)進行剪枝，可以分為預剪枝后剪枝，我們一般用后剪枝的方法來做；第二：K-folds交叉驗證，將訓練集分為K份，然后進行K次的交叉驗證，每次使用K-1份作為訓練樣本數(shù)據(jù)集，另外的一份作為測試集合； 第三：減少特征，計算每一個特征和響應變量的相關性，常見的為皮爾遜相關系數(shù)，將相關性較小的變量剔除，當然還有一些其他的方法來進行特征篩選，比如基于決策樹的特征篩選，通過正則化的方式來進行特征選取等。

面試官：你剛剛前面有提到預剪枝和后剪枝，當然預剪枝就是在決策樹生成初期就已經設置了決策樹的參數(shù)，后剪枝是在決策樹完全建立之后再返回去對決策樹進行剪枝，你能否說一下剪枝過程中可以參考的某些參數(shù)？

小張：剪枝分為預剪枝和后剪枝，參數(shù)有很多，在R和Python中都有專門的參數(shù)來進行設置，下面我以Python中的參數(shù)來進行敘述，max_depth（樹的高度），min_samples_split（葉子結點的數(shù)目），max_leaf_nodes（最大葉子節(jié)點數(shù)），min_impurity_split（限制不純度），當然R語言里面的rpart包也可以很好的處理這個問題。

面試官：對了，你剛剛還說到了用決策樹來進行特征的篩選，現(xiàn)在我們就以ID3算法為例，來說一下決策樹算法對特征的篩選？

小張：對于離散變量，計算每一個變量的信息增益，選擇信息增益最大的屬性來作為結點的分裂屬性；對于連續(xù)變量，首先將變量的值進行升序排列，每對相鄰值的中點作為可能的分離點，對于每一個劃分，選擇具有最小期望信息要求的點作為分裂點，來進行后續(xù)的決策數(shù)的分裂。

面試官：你剛剛還說到了正則化，確實可以對過擬合現(xiàn)象來進行很好的調整，基于你自己的理解，來說一下正則化？

小張：這一塊的知識掌握的不是很好，我簡單說一下自己對這一塊的了解。以二維情況為例，在L1正則化中，懲罰項是絕對值之和，因此在坐標軸上會出現(xiàn)一個矩形，但是L2正則化的懲罰項是圓形，因此在L1正則化中增大了系數(shù)為0的機會，這樣具有稀疏解的特性，在L2正則化中，由于系數(shù)為0的機率大大減小，因此不具有稀疏解的特性。但是L1沒有選到的特性不代表不重要，因此L1和L2正則化要結合起來使用。

面試官：還可以吧！正則化就是在目標函數(shù)后面加上了懲罰項，你也可以將后面的懲罰項理解為范數(shù)。分類算法有很多，邏輯回歸算法也是我們經常用到的算法，剛剛主要討論的是決策樹算法，現(xiàn)在我們簡單聊一下不同分類算法之間的區(qū)別吧！討論一下決策樹算法和邏輯回歸算法之間的區(qū)別？

小張：分為以下幾個方面：第一，邏輯回歸著眼于對整體數(shù)據(jù)的擬合，在整體結構上優(yōu)于決策樹； 但是決策樹采用分割的方法，深入到數(shù)據(jù)內部，對局部結構的分析是優(yōu)于邏輯回歸；第二，邏輯回歸對線性問題把握較好，因此我們在建立分類算法的時候也是優(yōu)先選擇邏輯回歸算法，決策樹對非線性問題的把握較好；第三，從本質來考慮，決策樹算法假設每一次決策邊界都是和特征相互平行或垂直的，因此會將特征空間劃分為矩形，因而決策樹會產生復雜的方程式，這樣會造成過擬合現(xiàn)象；邏輯回歸只是一條平滑的邊界曲線，不容易出現(xiàn)過擬合現(xiàn)象。

面試官： 下面呢我們來聊一下模型的評估，算法進行模型評估的過程中，常用的一些指標都有哪些，精度??？召回率?。縍OC曲線??？這些指標的具體含義是什么？

小張：精度（precision），精確性的度量，表示標記為正例的元組占實際為正例的比例；召回率（recall），完全性的度量，表示為實際為正例的元組被正確標記的比例；ROC 曲線的橫坐標為假陽性，縱坐標為真陽性，值越大，表示分類效果越好。

（to be honest，這個問題第一次我跪了，雖然說是記憶一下肯定沒問題，但是當時面試的那個時候大腦是一片空白）

面試官：聚類分析你懂得的吧！在我們一些分析中，它也是我們經常用到的一類算法，下面你介紹一下K-means算法吧！

小張：對于K-means算法，可以分為以下幾個步驟：第一，從數(shù)據(jù)點中隨機抽取K個數(shù)據(jù)點作為初始的聚類中心；第二：計算每個點到這K個中心點的距離，并把每個點分到距離其最近的中心中去；第三：求取各個類的均值，將這些均值作為新的類中心；第四：重復進行步驟二三過程，直至算法結束，算法結束有兩種，一種是迭代的次數(shù)達到要求，一種是達到了某種精度。

后記

面試的水很深，在數(shù)據(jù)分析技術面的時候問到的東西當然遠遠不止這些，因此在我們的腦子里面一定要形成一個完整的體系，無論是對某一門編程語言，還是對數(shù)據(jù)挖掘算法，在工作中都需要形成你的閉環(huán)，在面試中更是需要你形成閉環(huán)，如何更完美的包裝自己，自己好好總結吧！

附錄

R語言數(shù)據(jù)處理體系：數(shù)據(jù)簡單預處理個人總結

1、數(shù)據(jù)簡單查看

⑴查看數(shù)據(jù)的維度：dim

⑵查看數(shù)據(jù)的屬性：colnames

⑶查看數(shù)據(jù)類型：str

注：有一些算法，比如說組合算法，要求分類變量為因子型變量；層次聚類，要求是一個距離矩陣，可以通過str函數(shù)進行查看

⑷查看前幾行數(shù)據(jù)：head

注：可以初步觀察數(shù)據(jù)是不是有量綱的差異，會后續(xù)的分析做準備

⑸查看因子型變量的占比情況：table/prop.table

注：可以為后續(xù)數(shù)據(jù)抽樣做準備，看是否產生類不平衡的問題

2、數(shù)據(jù)缺失值處理

⑴summary函數(shù)進行簡單的查看

⑵利用mice和VIM包查看數(shù)據(jù)缺失值情況，代表性函數(shù)： md.pattern、aggr

⑶caret包中的preProcess函數(shù)，可以進行缺失值的插補工作，有knn、袋裝、中位數(shù)方法

⑷missForest包中的missForest函數(shù)，可以用隨機森林的方法進行插補

⑸可以用回歸分析的方法完成缺失值插補工作

⑹如果樣本量很多，缺失的數(shù)據(jù)很少，可以選擇直接剔除的方法

3、數(shù)據(jù)異常值處理

⑴summary函數(shù)進行簡單的查看，比如：最大值、最小值等

⑵boxplot函數(shù)繪制箱線圖

4、數(shù)據(jù)抽樣

⑴sample函數(shù)進行隨機抽樣

⑵caret包中的createDataPartition()函數(shù)對訓練樣本和測試樣本進行等比例抽樣

⑶caret包中的createFold函數(shù)根據(jù)某一個指標進行等比例抽樣

⑷DMwR包中SMOTE函數(shù)可以解決處理不平衡分類問題

注：比如決策樹算法中，如果樣本嚴重不平衡，那么模型會出現(xiàn)欠擬合現(xiàn)象

5、變量的多重共線性處理

⑴結合業(yè)務，先刪除那些和分析無關的指標

⑵corrgram包的corrgram函數(shù)查看相關系數(shù)矩陣

⑶caret包中的findCorrelation函數(shù)查看多重共線性

⑷如果相關性太大，可以考慮刪除變量；如果變量比較重要，可以考慮主成分/因子分析進行降維處理