“回歸”是由英國著名生物學家兼統(tǒng)計學家高爾頓(Francis Galton,1822～1911.生物學家達爾文的表弟)在研究人類遺傳問題時提出來的。為了研究父代與子代身高的關系，高爾頓搜集了1078對父親及其兒子的身高數(shù)據(jù)。他發(fā)現(xiàn)這些數(shù)據(jù)的散點圖大致呈直線狀態(tài)，也就是說，總的趨勢是父親的身高增加時，兒子的身高也傾向于增加。但是，高爾頓對試驗數(shù)據(jù)進行了深入的分析，發(fā)現(xiàn)了一個很有趣的現(xiàn)象—回歸效應。因為當父親高于平均身高時，他們的兒子身高比他更高的概率要小于比他更矮的概率；父親矮于平均身高時，他們的兒子身高比他更矮的概率要小于比他更高的概率。它反映了一個規(guī)律，即這兩種身高父親的兒子的身高，有向他們父輩的平均身高回歸的趨勢。對于這個一般結論的解釋是:大自然具有一種約束力，使人類身高的分布相對穩(wěn)定而不產(chǎn)生兩極分化，這就是所謂的回歸效應。

1855年， 高爾頓發(fā)表《遺傳的身高向平均數(shù)方向的回歸》一文，他和他的學生卡爾?皮爾遜Karl·Pearson通過觀察1078對夫婦的身高數(shù)據(jù)，以每對夫婦的平均身高作為自變量，取他們的一個成年兒子的身高作為因變量，分析兒子身高與父母身高之間的關系，發(fā)現(xiàn)父母的身高可以預測子女的身高，兩者近乎一條直線。當父母越高或越矮時，子女的身高會比一般兒童高或矮，他將兒子與父母身高的這種現(xiàn)象擬合出一種線形關系，分析出兒子的身高y與父親的身高x大致可歸結為一下關系：

y=33.73+0.516*x (單位為英寸)

根據(jù)換算公式1英寸=0.0254米， 1米=39.37英寸。單位換算成米后：

Y= 0.8567+0.516*X (單位為米);

假如父母輩的平均身高為1.75米，則預測子女的身高為1.7597米。

這種趨勢及回歸方程表明父母身高每增加一個單位時，其成年兒子的身高平均增加0.516個單位。這就是回歸一詞最初在遺傳學上的含義。

有趣的是，通過觀察，高爾頓還注意到，盡管這是一種擬合較好的線形關系，但仍然存在例外現(xiàn)象:矮個父母所生的兒子比其父要高，身材較高的父母所生子女的身高卻回降到多數(shù)人的平均身高。換句話說，當父母身高走向極端，子女的身高不會象父母身高那樣極端化，其身高要比父母們的身高更接近平均身高，即有“回歸”到平均數(shù)去的趨勢，這就是統(tǒng)計學上最初出現(xiàn)“回歸”時的涵義，高爾頓把這一現(xiàn)象叫做“向平均數(shù)方向的回歸” (regression toward mediocrity)。雖然這是一種特殊情況，與線形關系擬合的一般規(guī)則無關，但“線形回歸”的術語卻因此沿用下來，作為根據(jù)一種變量(父母身高)預測另一種變量(子女身高)或多種變量關系的描述方法。

回歸的現(xiàn)代意義：

它要比其原始意義廣泛的多。具體地說，回歸分析的內容包括：

? 確定響應變量與預報變量間的回歸模型,即變量間相關關系的數(shù)學表達式(通常稱為經(jīng)驗公式);

? 根據(jù)樣本估計并檢驗回歸模型及未知參數(shù)；

? 從眾多的預報變量中，判斷哪些變量對響應變量的影響是顯著的，哪些是不顯著的；

? 根據(jù)預報變量的已知值或給定值來估計或預測響應變量的平均值并給出預測精度或根據(jù)響應變量的給定值來估計預報變量的值，即所謂的預報與控制問題。