分享自老師~

〇、數(shù)據(jù)基礎(chǔ)

1. 高等數(shù)學(xué)

求導(dǎo)，鏈?zhǔn)椒▌t，凸優(yōu)化，梯度，KKT條件，泰勒公式

2. 線性代數(shù)

全部（矩陣運(yùn)算，特征值和特征向量），矩陣分解，矩陣論

3. 概率統(tǒng)計(jì)

條件概率，線性回歸，常見幾種分布，最大似然估計(jì)，隱馬爾科夫模型(HMM)，條件隨機(jī)場(CRF)

4. 信息論

信息熵

一. 數(shù)據(jù)分析

1. python語言(Anaconda軟件:jupyter notebook+spyder+一系列的庫)

python版本：3.7

用途：數(shù)據(jù)分析和人工智能，運(yùn)維（shell,awk,sed,python），web，游戲

2. numpy科學(xué)計(jì)算庫

3. pandas數(shù)據(jù)分析庫

4. 可視化庫

小可視化：matplotlib,seaborn,pycharts

大可視化：powerbi,tableau

5.網(wǎng)絡(luò)爬蟲

二、機(jī)器學(xué)習(xí)(結(jié)構(gòu)化數(shù)據(jù), scikit-learn庫)

0、機(jī)器學(xué)習(xí)基礎(chǔ)

有監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)

分類和回歸

訓(xùn)練集，測試集，驗(yàn)證集

數(shù)據(jù)預(yù)處理和特征工程

網(wǎng)格搜索和學(xué)習(xí)曲線

欠擬合，過擬合，正則化

代價(jià)函數(shù)/損失函數(shù)

泛化性能-偏差，方差和誤差

分類打分：準(zhǔn)確率/召回率/F1/roc/ruc

回歸打分:r^2,mse,rmse,mae

1. 有監(jiān)督學(xué)習(xí)

回歸(連續(xù)型)

線性回歸，決策樹回歸，SVR，集成學(xué)習(xí)回歸

分類(離散型)

邏輯回歸，決策樹分類，KNN, 貝葉斯，SVC，神經(jīng)網(wǎng)絡(luò)，集成學(xué)習(xí)(bagging,boosting,stacking,voting,隨機(jī)森林，gbdt,xgboost,lightgbm)

案例

競賽：國內(nèi)天池，國外kaggle

2. 無監(jiān)督學(xué)習(xí)

聚類:kmeans,dbscan

3. 推薦系統(tǒng)

關(guān)聯(lián)規(guī)則

協(xié)同過濾

基本內(nèi)容

SVD分解

隱語義模型

三、深度學(xué)習(xí)(非結(jié)構(gòu)化數(shù)據(jù)：圖像，語音，文本，視頻，tensorflow,pytorch)

1. 卷積神經(jīng)網(wǎng)絡(luò)（圖像）

2. 圖像/視頻預(yù)處理

數(shù)據(jù)來源：攝像頭，傳感器，手機(jī)

圖像預(yù)處理:pil,opencv

圖像分類:imagenet模型

目標(biāo)檢測

圖像分割

場景文字識(shí)別

圖像生成

視頻分類

3.語音

4.文本(nlp，自然語言處理)

中文分詞，聚類，分類

四、大數(shù)據(jù)

1. Hadoop, Spark大數(shù)據(jù)平臺(tái)框架, linux集群

2. HDFS分布式文件系統(tǒng)

3. MapReduce(java,python) ,spark core

4. Hive sql spark sql

5. hadoop機(jī)器學(xué)習(xí)庫, spark的機(jī)器學(xué)習(xí)庫(mllib)

數(shù)據(jù)分析，人工智能，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，python, 機(jī)器學(xué)習(xí)算法的關(guān)鍵字

招聘網(wǎng)站： liepin.com, zhipin.com, zhaopin.com lagou.com等

kanzhun.com