典型相關(guān)VS潛變量相關(guān)_數(shù)據(jù)分析_大數(shù)據(jù)

關(guān)于數(shù)據(jù)分析中的典型相關(guān)和潛變量相關(guān)，相信有許多人有各種各樣的問(wèn)題，這里談?wù)勔恍┪?數(shù)據(jù)分析師"的理解。前段時(shí)間，看到這樣一個(gè)案例。案例要求衡量學(xué)生的文科成績(jī)與理科成績(jī)之間的相關(guān)性。文科成績(jī)包括語(yǔ)文、政治、歷史，理科成績(jī)包括數(shù)學(xué)、物理和化學(xué)。那么這道題該怎么做？面對(duì)多元相關(guān)分析，你"數(shù)據(jù)分析師"可能會(huì)想到兩種方法：一種是采用典型相關(guān)分析，計(jì)算這兩組變量間的典型相關(guān)系數(shù)；另一種是采用結(jié)構(gòu)方程中的潛變量相關(guān)，將文科和理科看成是潛變量，將語(yǔ)文、政治、歷史看成是文科的測(cè)量變量，數(shù)學(xué)、物理、化學(xué)看成是理科的測(cè)量變量，然后計(jì)算兩個(gè)潛變量間的相關(guān)系數(shù)。從理論上看貌似這兩種方法都可以，但是計(jì)算的結(jié)果卻可能相差甚遠(yuǎn)。

       典型相關(guān)分析的基本思想是采用類似主成分分析的方法，把多變量與多變量之間的相關(guān)轉(zhuǎn)化為兩個(gè)變量之間相關(guān)。首先在每組變量?jī)?nèi)部找出具有最大相關(guān)性的一個(gè)線性變量組合，然后再在每組變量?jī)?nèi)找出第二對(duì)線性組合，使其本身具有最大的相關(guān)性，并分別與第一對(duì)線性組合不相關(guān)。如此下去，直到兩組變量?jī)?nèi)各變量之間的相關(guān)性被提取完畢為止。有了這些最大相關(guān)的線性組合，則討論兩組變量之間的相關(guān)，就轉(zhuǎn)化為研究這些線性組合的最大相關(guān)，從而減少了研究變量的個(gè)數(shù)。
       結(jié)構(gòu)方程中的潛變量相關(guān)，常用的計(jì)算潛變量的方法是主成份。"數(shù)據(jù)分析師"在實(shí)際計(jì)算中，如果第一主成份特別大，也就是說(shuō)只有一個(gè)主成份的時(shí)候，潛變量相關(guān)系數(shù)等于第一主成份間的相關(guān)系數(shù)。如果各個(gè)顯變量的提取的主成份不只一個(gè)，結(jié)果就略有不同了。
       其實(shí)，典型相關(guān)分析和潛變量相關(guān)的不同在于，一個(gè)依據(jù)相關(guān)系數(shù)最大提取典型變量，一個(gè)依據(jù)方差最大提取主成分。所以這個(gè)兩個(gè)計(jì)算出來(lái)的相關(guān)系數(shù)會(huì)有明顯的差異。更夸張的是，有些時(shí)候這種差異會(huì)很大的！很大，明白嗎？甚至一個(gè)是顯著正相關(guān)（-0.5以上），一個(gè)是顯著負(fù)相關(guān)（-0.5以上）。這個(gè)現(xiàn)象不是胡扯，我采用模擬數(shù)據(jù)時(shí)曾經(jīng)確實(shí)出現(xiàn)過(guò)。
       典型變量是各指標(biāo)的線性組合，在這個(gè)線性組合中，各個(gè)變量的系數(shù)可能是正可能是否，加上提取的時(shí)候使得相關(guān)系數(shù)最大，所以典型相關(guān)分析的結(jié)果往往大于0。而"數(shù)據(jù)分析師"在計(jì)算潛變量相關(guān)時(shí)，先提取主成分，然后計(jì)算主成分之間的相關(guān)，所以這個(gè)潛變量的相關(guān)系數(shù)取值范圍應(yīng)該是在【-1，1】。
       需要說(shuō)明的是，當(dāng)我們實(shí)際面臨上述的問(wèn)題時(shí)，可能既不采用典型相關(guān)分析，也不采用潛變量相關(guān)，而是分別計(jì)算語(yǔ)文+政治+歷史的總分與數(shù)學(xué)+物理+化學(xué)的總分，用這兩個(gè)總分代表文科和理科的成績(jī)，直接計(jì)算這兩個(gè)總分間的相關(guān)系數(shù)。因?yàn)檫@幾個(gè)成績(jī)?cè)诹烤V、數(shù)量級(jí)上都相同，直接相加不僅具有實(shí)際意義，而且容易理解，得出的結(jié)果也能夠更好地解釋和反映實(shí)際問(wèn)題。
       最后羅嗦一句，算是對(duì)數(shù)據(jù)分析人員"數(shù)據(jù)分析師"的忠告：當(dāng)我們面對(duì)一個(gè)實(shí)際問(wèn)題時(shí)，不應(yīng)該一味地追求分析方法的高級(jí)和復(fù)雜，而更應(yīng)該力求用最簡(jiǎn)單最合適的方法解決問(wèn)題。或許，懸乎的方法可以忽悠同事、忽悠領(lǐng)導(dǎo)，甚至忽悠自己，但記住市場(chǎng)相信真像，它絕對(duì)不會(huì)被任何人忽悠。