最小二乘法

（1）多元回歸中，ols 可以處理多個(gè)自變量的情況，尋求殘差平方和最小化；

（2）將數(shù)據(jù)視為矩陣，利用線性代數(shù)尋求系數(shù)最優(yōu)化，對(duì)內(nèi)存要求很高；

（3）大數(shù)據(jù)場(chǎng)景下，存在線性和內(nèi)存約束問(wèn)題。

（4）小數(shù)據(jù)情況的常用算法；

正則化法

（1）一方面尋求最小化模型誤差，另一方面可以減少模型復(fù)雜度（取 L1 絕對(duì)值），如自

變量個(gè)數(shù)很多的時(shí)候，選擇較少的重要變量來(lái)表示模型。

（2）有利于消除共線性和過(guò)擬合現(xiàn)象。

（3）高維及數(shù)據(jù)稀疏問(wèn)題得以極大的緩解，但內(nèi)存問(wèn)題仍然是主要的缺點(diǎn)；

梯度下降法

（1）以迭代的方式，最小化模型誤差，有效處理多維問(wèn)題；

（2）參數(shù)學(xué)習(xí)率 alpha 控制每次迭代的步長(zhǎng)；

（3）大型的行和列不會(huì)寫(xiě)入內(nèi)存，極大地緩解內(nèi)存壓力。

（4）擅長(zhǎng)結(jié)合正則功能處理稀疏數(shù)據(jù)問(wèn)題。