概述

• 數(shù)據(jù)分析包括數(shù)據(jù)分析、機器學習

• 人工智能包括數(shù)據(jù)分析、機器學習、深度學習

• 機器學習主要處理結(jié)構(gòu)化數(shù)據(jù)

• 深度學習主要處理非結(jié)構(gòu)化數(shù)據(jù)

• 深度學習和機器學習都是進行回歸分類等算法

0數(shù)據(jù)基礎(chǔ)

1、高等數(shù)據(jù)

• 求導、鏈式法則、凸優(yōu)化，梯度，KKT條件，泰勒公式

2、線性代數(shù)

• 全部（矩陣運算，特征值，特征向量），矩陣分解，矩陣論

3、概率統(tǒng)計

• 條件概率，線性回歸，常見幾種分布，最大似然估計，隱馬爾科夫模型（HMM），條件隨機場（CRF）

4、信息論

一、數(shù)據(jù)分析

1.Python語言（Anaconda軟件：jupyter notebook+spyder+一系列的庫）

2.numpy科學計算庫

3.pandas數(shù)據(jù)分析庫

4.可視化庫：

小可視化：matplotlib、seaborn、pycharts

大可視化：PowerBI Tableau

5、網(wǎng)絡(luò)爬蟲

二、機器學習/數(shù)據(jù)挖掘（每個里面都有很多的算法，scikit-learn庫）

0、機器學習基礎(chǔ)

• 有監(jiān)督學習/無監(jiān)督學習

• 分類和回歸

• 訓練集、測試集、驗證集

• 數(shù)據(jù)預處理和特征工程

• 網(wǎng)絡(luò)搜索和學習曲線

• 欠擬合、過擬合、正則化

• 代價函數(shù)/損失函數(shù)

• 泛化性能-偏差，方差和誤差

• 分類打分：準確率/召回率/F1/roc/ruc

• 回歸打分：r^2、mse、rmse、mae

1、有監(jiān)督學習（機器學習）

• 回歸（連續(xù)型）：線性回歸、SVR、集成學習回歸、決策樹回歸

• 分類（離散型）：邏輯回歸、決策樹分類、貝葉斯、SVC、神經(jīng)網(wǎng)絡(luò)、集成學習（bagging、boosting、stacking、voting、隨機森林、gbdt、xgboost、lightgbm）。占比約80%以上

• 案例+競賽：國內(nèi)天池、國外kaggle

2、無監(jiān)督學習（機器學習）

• 聚類：kmeans、DBSCAN

3、推薦系統(tǒng)（數(shù)據(jù)挖掘）

• 關(guān)聯(lián)規(guī)則、協(xié)同過濾、基于內(nèi)容、SVD分解、隱語義模型、深度學習

三、深度學習（非結(jié)構(gòu)化數(shù)據(jù)：圖像、語音、文本、視頻，tensorflow庫，pytorch庫）

1、卷積神經(jīng)網(wǎng)絡(luò)（圖像）

2、圖像/視頻預處理

• 數(shù)據(jù)來源：攝像頭、傳感器、收集

• 圖像預處理：pil、opencv

• 圖像分類：imagenet模型

• 目標檢測

• 圖像分割

• 場景文字識別

• 圖像生成

• 視頻分類

3、語音

4、文本/自然語言處理

• 中文分詞，文本聚類