機(jī)器學(xué)習(xí)中的線性代數(shù)

線性代數(shù)作為數(shù)學(xué)中的一個重要的分支，廣發(fā)應(yīng)用在科學(xué)與工程中。掌握好線性代數(shù)對于理解和從事機(jī)器學(xué)習(xí)算法相關(guān)的工作是很有必要的，尤其是對于深度學(xué)習(xí)而言。因此，在開始介紹深度學(xué)習(xí)之前，先集中探討一些必備的線性代數(shù)知識。

2.1 標(biāo)量，向量，矩陣和張量

標(biāo)量（scalar）：一個標(biāo)量就是一個單獨的數(shù)。用斜體表示標(biāo)量，如s∈R

.

向量（vector）：一個向量是一列數(shù)，我們用粗體的小寫名稱表示向量。比如x

，將向量x

寫成方括號包含的縱柱：

矩陣（matrix）：矩陣是二維數(shù)組，我們通常賦予矩陣粗體大寫變量名稱，比如A。如果一個矩陣高度是m，寬度是n，那么說A∈Rm×n。一個矩陣可以表示如下：

張量（tensor）：某些情況下，我們會討論不止維坐標(biāo)的數(shù)組。如果一組數(shù)組中的元素分布在若干維坐標(biāo)的規(guī)則網(wǎng)絡(luò)中，就將其稱為張量。用A表示，如張量中坐標(biāo)為(i,j,k)的元素記作Ai,j,k。

轉(zhuǎn)置（transpose）：矩陣的轉(zhuǎn)置是以對角線為軸的鏡像，這條從左上角到右下角的對角線稱為主對角線（main diagonal）。將矩陣A

的轉(zhuǎn)置表示為A?

。定義如下：

矩陣乘法是矩陣運算中最重要的操作之一。兩個矩陣A

和B的矩陣乘積(matrix product)是第三個矩陣C。矩陣乘法中A的列必須和B的行數(shù)相同。即如果矩陣A的形狀是m×n，矩陣B的形狀是n×p，那么矩陣C的形狀就是m×p

。即

具體的地，其中的乘法操作定義為

矩陣乘積服從分配律

矩陣乘積也服從結(jié)合律

注意：矩陣乘積沒有交換律

點積（dot product）兩個相同維數(shù)的向量x

和y的點積可看作是矩陣乘積x?y

矩陣乘積的轉(zhuǎn)置

利用向量的乘積是標(biāo)量，標(biāo)量的轉(zhuǎn)置是自身的事實，我們可以證明（10）式：

線性方程組

線性代數(shù)中提供了矩陣逆（matrix inverse）的工具，使得我們能夠解析地求解（11）中的A

.

單位矩陣（identity matrix）：任意向量與單位矩陣相乘都不會改變。我們將保持n

維向量不變地單位矩陣記作為In，形式上In∈Rn×n

，

矩陣A的矩陣逆被記作A?1，被定義為如下形式：

（11）式方程組的求解：

方程組的解取決于能否找到一個逆矩陣A?1。接下來討論逆矩陣A?1的存在的條件。

2.4 線性相關(guān)和生成子空間

如果逆矩陣A?1

存在，那么（11）式肯定對于每一個向量b恰好存在一個解。分析方程有多少個解，我們可以看成是A

的列向量的線性組合（linear combination）。

形式上，某個集合中向量的線性組合，是指每個向量乘以對應(yīng)系數(shù)之后的和，即

一組向量的生成空間(span)是原始向量線性組合后所能抵達(dá)的點的集合。

線性無關(guān)（linearly independent）： 如果一組向量中的任意一個向量都不能表示成其他向量的線性組合，那么這組向量被稱之為線性無關(guān)。

要想使矩陣可逆，首先必須矩陣是一個方陣（square），即m=n

，其次，所有的列向量都是線性無關(guān)的。

一個列向量線性相關(guān)的方陣被稱為奇異的（singular）。

2.5 范數(shù)

有時候我們需要衡量一個向量的大小，在機(jī)器學(xué)習(xí)中，我們使用稱為范數(shù)（norm）的函數(shù)來衡量矩陣大小，形式上，Lp

范數(shù)如下：

其中p∈R,p≥1。

范數(shù)是將向量映射到非負(fù)值的函數(shù)。直觀上來說，向量x

的范數(shù)就是衡量從原點到x

的舉例。更嚴(yán)格來說，范數(shù)滿足下列性質(zhì)的函數(shù)：

• f(x)=0?x=0