機器學習本質是優(yōu)化問題，沒有作任何假設。嘗試使用優(yōu)化的辦法來對損失函數(shù)找極小值，優(yōu)化方法有拉格朗日、求導、梯度下降、牛頓法、坐標下降等方法來找到極值統(tǒng)計中的方法，大部分的方法是概率分布的問題，構建很多嚴格的假設，求解出結果，并且還要不斷的檢查假設，通過很嚴謹?shù)姆椒▉砬蠼鈫栴}。線性回歸可以處理離散的特征也可以處理離散的特征，比較偏連續(xù)主要做回歸預測需要去量綱處理應用比較廣泛，標簽是連續(xù)的都可以用經(jīng)典
zzz778290113
2020-08-17
隨機森林：XGboost：lightBGM：算法和XGboost非常的像，但是穩(wěn)定性還有點考量集成算法的種類：bagging：裝代法的核心思想是構建多個相互獨立的評估器，然后對其預測進行平均或多數(shù)表決原則來決定集 成評估器的結果。裝袋法的代表模型就是隨機森林boosting：提升法中，基評估器是相關的，是按順序一一構建的。其核心思想是結合弱評估器的力量一次次對 難以評估的樣本進行預測，從而構成一個
zzz778290113
2020-08-16
感知機算法：用一條線來做分類，線的上方屬于一類，下方屬于另一類感知機的結果是通過一條線將測試集百分之百的分開對于非線性不可分的數(shù)據(jù)及來說，是找到一條高維的曲線來將類別分開是一種有監(jiān)督模型超平面：超平面就是超平面在一維和二維空間下就是一條線xgboost安裝：pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple對于感知機來說初
zzz778290113
2020-08-15
模型如何根據(jù)樣本的權重來進行調(diào)整：在更新樣本權重之后，模型會通過更改自身模型的形狀，更加小心的對待這些權重大的樣本，從而達到這樣一個效果！犧牲權重小的樣本，嘗試將權重大的樣本預測正確。這時，模型會在每一次分類的情況下計算分類之后的誤差率，選擇誤差率最小的分類結果adaboost在處理多分類問題時，可參考邏輯回歸將多分類問題轉化為二分類問題。如果存在樣本不均衡的問題，那么可以在基分類器決策樹中通過c
zzz778290113
2020-08-10
svm算法：SVM本身是一個強分類器，他的目的是找到最優(yōu)的超平面，SVM思想：找到一個超平面，如果可以使得最不確性樣本最確性，可能就找到一個最優(yōu)的超平面SVM這個算法很慢正確分類的點來說，幾何間隔就是點到超平面的距離點到線的距離越小，幾何間隔越小，確性度就越小損失函數(shù)就是最大化最小的幾何間隔svm算法會強行不讓分類點落在超平面上確信度的理解：1. 沒有通過距離來描述確性度2. 通過幾何間隔來描述確
zzz778290113
2020-08-09
特征篩選：當特征非常多的時候，可能存在冗余，特征越多，可能噪音越多，同時特征越多，模型效率越低，可以考慮進行特征篩選來去掉無效的信息，看看是否可以提高模型的準確度。既可以提升模型的泛化能力，也能夠減少模型運行的時間特征篩選的方法，在對測試集進行篩選的時候，使用的是通過訓練集訓練之后的模型進行篩選在特征篩選的方法中，以下方法一到四的效果（單變量特征篩選方法）不如方法五和方法六的效果好方法一：方差過濾
zzz778290113
2020-08-07
數(shù)據(jù)無量綱化：作用：無量綱化可以加快求解速度（例如：邏輯回歸、支持向量機、神經(jīng)網(wǎng)絡等）無量綱化可以幫 我們提升模型的精度（例如K近鄰、K-Means聚類）決策樹和樹的集成（隨機森林、Adaboost）算法比較特殊，對決策樹我們不需要無量綱化，決策樹可以把任意數(shù)據(jù)都處理得很好無量綱化的兩種方式：歸一化：對異常值敏感 （preprocessing.MinMaxScaler實現(xiàn)歸一化，參數(shù)feature
zzz778290113
2020-08-06
Markdown常用基本語法一級標題 # 二級標題 ## 三級標題 ### 四級標題 #### 井號和后續(xù)的文字中間有一個空格1.加粗 加粗語法:**文本**2.斜體 斜體語法:*文本*3.斜體加粗 斜體加粗語法:***文本*** 4. 刪除線 刪除線語法:~~文本~~ 5.引用 ‘>’一個大于號，表示后邊的內(nèi)容是引用的6.分割線
zzz778290113
2020-07-03
概述數(shù)據(jù)分析包括數(shù)據(jù)分析、機器學習人工智能包括數(shù)據(jù)分析、機器學習、深度學習機器學習主要處理結構化數(shù)據(jù)深度學習主要處理非結構化數(shù)據(jù)深度學習和機器學習都是進行回歸分類等算法0數(shù)據(jù)基礎1、高等數(shù)據(jù)求導、鏈式法則、凸優(yōu)化，梯度，KKT條件，泰勒公式2、線性代數(shù)全部（矩陣運算，特征值，特征向量），矩陣分解，矩陣論3、概率統(tǒng)計條件概率，線性回歸，常見幾種分布，最大似然估計，隱馬爾科夫模型（HMM），條件隨機場
zzz778290113
2020-06-29
1、在微軟Excel2010版和Excel2013版中Power Query作為插件使用，需要在官網(wǎng)進行下載，直到Excel 2016版之后微軟便將其作為Excel的組成部分嵌入在軟件當中。 2、M語言主要是通過操作生成，可以看懂M函數(shù)，并在必要時候進行修改即可 3、模板函數(shù)完全概括了學習PowerBI的精髓 4、工齡的計算方法，身份證號提取出出生年月>日期>年限>持續(xù)時間>總年數(shù)? 即可 5、添
zzz778290113
2020-06-17
基礎操作記錄： 1、在Power BI中對數(shù)據(jù)的每個功能處理，都會生成M函數(shù)表達式 2、通過操作能用到的功能大概只有200個，但是M函數(shù)大概有1000個 3、視圖選項卡中控制的就是頁面展示的內(nèi)容 4、在轉換和添加列模塊下都有以下的功能：提取、分析、三角函數(shù)、舍入、信息、提取、分析。區(qū)別在于，轉換是直接在原有的行上更改，但是添加列會添加新的列。 5、在PQ展示數(shù)據(jù)中，每一列包括數(shù)據(jù)類型和數(shù)據(jù)名稱信息
zzz778290113
2020-06-14
Power BI制作圖表的過程：數(shù)據(jù)收集>數(shù)據(jù)處理>建模>創(chuàng)建規(guī)則>展示 圖形決策樹： 比較類圖表： 1、柱狀圖：不按照柱子的大小排序，按照橫坐標軸排序 2、條形圖：一般按照柱子的大小排序 3、雷達圖注意事項：維度不能太多，否則點太多了就看不清了；把同屬性的點放在同一側上 4、詞云圖的缺點：不能精確的展示具體的數(shù)字；特別容易忽略數(shù)據(jù)量小的細節(jié)。詞云圖中的顏色沒有什么價值，如果是想讓用戶關注全局
zzz778290113
2020-06-13
結構化數(shù)據(jù) – 列表 列表(List): 列表是擴在花括號中的一組數(shù)據(jù)，列表中每個數(shù)據(jù)都有屬于自己的序號以便自己能夠被檢 索到，列表中的數(shù)據(jù)序號從0開始按照排列順序依次整數(shù)遞增，大列表內(nèi)還可以嵌套子列表、 記錄等。花括號除了用來括起列表內(nèi)的所有數(shù)據(jù)還用來指定列表內(nèi)數(shù)據(jù)的序號，通過指定數(shù) 據(jù)序號可以從列表內(nèi)找到并獲取所需的數(shù)據(jù)值。 a a 結構化數(shù)據(jù) – 記錄 記錄(Record): 記
zzz778290113
2020-06-12
zzz778290113
2020-06-11
搭建多維數(shù)據(jù)模型： 1、多維數(shù)據(jù)模型又叫多維數(shù)據(jù)集、立方體，指的是相互間通過某種聯(lián)系被關聯(lián)在一起的不同類別的數(shù)據(jù)集合 2、在表連接中，如果是多表和多表連接，兩張多表的度量值都會發(fā)散 3、如果是一表和多表連接，那么多表的度量數(shù)據(jù)是準確的，但是一表的度量字段會發(fā)散。且多表當做主表 a a 建模中箭頭的方向： 箭頭指向的方向表示度量表，箭頭來源的表表示維度表 如果表中是一表對多表，那么箭頭永
zzz778290113
2020-06-10
M函數(shù)是Power Bi中最核心的內(nèi)容，因此如果以后工作中需要用到M函數(shù)，還是需要去好好學習。Power BI中M函數(shù)種類大概在1000種，其中可通過界面功能和操作實現(xiàn)的函數(shù)大約有200種。 編輯M函數(shù)的方法： 1、通過“編輯欄”、“添加自定義列”或“高級編輯器”等功能了解M函數(shù)表達式寫法。 2、根據(jù)需求重新編輯表達式程序。 3、編輯錯誤通過“查詢設置”區(qū)域退回重新編輯。 4、在編輯器中輸入“
zzz778290113
2020-06-09
1.ctrl q ??? ??? ? 打開查詢窗口 2.ctrl / ??? ??? ?? 注釋sql語句 3.ctrl shift /? 解除注釋 4.ctrl r? ??? ??? ?運行查詢窗口的sql語句 5.ctrl shift r ? 只運行選中的sql語句 6.F6?????????????? 打開一個mysql命令行窗口 7.ctrl l??????????? 刪除一行 8.ct
zzz778290113
2020-06-08
