算法特征匯總

最小二乘法

（1）多元回歸中，ols 可以處理多個(gè)自變量的情況，尋求殘差平方和最小化；

（2）將數(shù)據(jù)視為矩陣，利用線性代數(shù)尋求系數(shù)最優(yōu)化，對內(nèi)存要求很高；

（3）大數(shù)據(jù)場景下，存在線性和內(nèi)存約束問題。

（4）小數(shù)據(jù)情況的常用算法；

正則化法——約束

（1）一方面尋求最小化模型誤差，另一方面可以減少模型復(fù)雜度（取 L1 絕對值），如自 變量個(gè)數(shù)很多的時(shí)候，選擇較少的重要變量來表示模型。

（2）有利于消除共線性和過擬合現(xiàn)象。

（3）高維及數(shù)據(jù)稀疏問題得以極大的緩解，但內(nèi)存問題仍然是主要的缺點(diǎn)；

（4）lasso、嶺回歸和彈性網(wǎng)模型是經(jīng)常使用的機(jī)器學(xué)習(xí)模型。一般避免使用普通的線性 回歸；嶺回歸和彈性網(wǎng)模型較為常用（共線稀疏等問題），lasso 在特征選擇上側(cè)重較少的重 要變量的場景。

梯度下降法——迭代

（1）以迭代的方式，最小化模型誤差，有效處理多維問題；

（2）參數(shù)學(xué)習(xí)率 alpha 控制每次迭代的步長；

（3）大型的行和列不會(huì)寫入內(nèi)存，極大地緩解內(nèi)存壓力。

（4）擅長結(jié)合正則功能處理稀疏數(shù)據(jù)問題。

（5）機(jī)器學(xué)習(xí)算法需要面對的問題：稀疏、過擬合、大型行列的速度問題、數(shù)據(jù)質(zhì)量等 問題，往往需要梯度下降及其拓展的各種算法。