人在江湖

線性回歸主要用最小二乘法得到直線并進行預測。線性回歸真正復雜的地方在于檢驗，這篇博客主要總結線性回歸的檢驗。

這篇文字涉及到的檢驗主要包括擬合優度檢驗，標準差檢驗，整體自變量顯著性檢驗-F檢驗，單個系數顯著性檢驗-t檢驗。

線性回歸有一元線性回歸和多元線性回歸，先說一元的。

擬合優度檢驗：

對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。用判定系數（可決系數）檢驗，R2

對于

如果Yi=?i 即實際觀測值落在樣本回歸“線”上，則擬合最好。

可認為，“離差”全部來自回歸線，而與“殘差”無關。

對于所有樣本點，則需考慮這些點與樣本均值離差的平方和,可以證明：

Tss = ESS + RSS

Y的觀測值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機勢力(RSS)。

在給定樣本中，TSS不變，

如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大，因此

擬合優度：回歸平方和ESS/Y的總離差TSS

標準差檢驗：

估計標準誤差主要是為了估計總體方差。

所謂估計標準誤差是指估計值與觀察值的平均差異程度, 用( S) 表示。而 S 2是總體方差( σ 2 ) 的無偏估計量, 即σ^ 2 =S 2 =Σe i的平方 /(n- 2)。該指標的意義是: S 越小表明實際觀測點與所擬和的樣本回歸線的離差程度越小,   即回歸線具有較強的代表性; 反之, S 越大表明實際觀 測 點 與 所 擬和的樣本回歸線的離差程度越大,   即回歸線的代表性較差。

　　式中：

y_t——因變量第t期的觀察值；

——因變量第t期的估計值；

　　n——觀察期的個數；

　　k——自由度，為變量的個數(包括因變量和自變量)。

　　判斷回歸標準差能否通過檢驗，仍用以下公式：式中：

　　s——回歸標準差；

——因變量觀察值的平均值。

　　當依此式計算出的值小于15%，說明預測模型通過了回歸標準差檢驗。

一元相關系數檢驗：

　　在回歸分析預測法中，需要對Ｘ、Ｙ之間相關程度作出判斷，這就要計算相關系數Ｙ，其公式如下：

　　相關系數r的特征有：

　　①相關系數取值范圍為：-1≤r≤1 。

　?、趓與b符合相同。當r>0，稱正線性相關，X_i上升，Y_i呈線性增加。當r<0，稱負線性相關，X_i上升，Y_i呈線性減少。

　?、踻r|=0，X與Y無線性相關關系；|r|=1，完全確定的線性相關關系；0<|r|<1，X與Y存在一定的線性相關關系；|r|>0.7，為高度線性相關；0.3<|r|≤0.7，為中度線性相關；|r|≤0.3，為低度線性相關。

整體自變量顯著性檢驗-F檢驗 & 單個系數顯著性檢驗-t檢驗

這兩種檢驗方式在一元中意義是一致的，回歸分析中的假設檢驗包括變量之間的線性關系檢驗和參數的顯著性檢驗兩個內容。前者檢驗的是解釋變量 與被解釋變量 能否用一個線性模型來表示，后者檢驗的是回歸模型中的每一個解釋變量對被解釋變量的影響程度。這兩種檢驗在順序上是不能顛倒的。

F檢驗：

根據數從線性回歸模型可以看到，如果變量X和Y之間的線性關系是顯著的，那么解釋變量X的變化必然引起被解釋變量Y的顯著變化，此時， 一定不為0。否則被解釋變量Y的變化將不依賴于解釋變量X的變化，而僅僅依賴于隨機誤差項。因此，變量之間線性關系的檢驗問題可以轉化為檢驗 是否為0。由此我們可以給出以下假設：

原假設 : =0    備擇假設 : ≠0

如果原假設成立，那么統計量

服從自由度為(k , n-k-1)的F分布

如果計算出的F值大于在給定的顯著性水平 下的臨界值 ，則拒絕接受備擇假設，說明解釋變量對被解釋變量有顯著影響，即兩者線性關系顯著。

t檢驗：

構造出了一個比較復雜的t函數，沒理解，參考中，多元線性回歸分析預測法和多元線性回歸模型擬合優度假設檢驗都寫了具體公式，與F檢驗類似，也是t值大于臨界值時，解釋變量有顯著影響。

另外，多元線性回歸分析預測法也提到了另外兩種預測，粗略地看了一下：

多重共線性判別

若某個回歸系數的t檢驗通不過，可能是這個系數相對應的自變量對因變量的影平不顯著所致，此時，應從回歸模型中剔除這個自變量，重新建立更為簡單的回歸模型或更換自變量。也可能是自變量之間有共線性所致，此時應設法降低共線性的影響。

當回歸模型是根據動態數據建立的，則誤差項e也是一個時間序列，若誤差序列諸項之間相互獨立，則誤差序列各項之間沒有相關關系，若誤差序列之間存在密切的相關關系，則建立的回歸模型就不能表述自變量與因變量之間的真實變動關系。D.W檢驗就是誤差序列的自相關檢驗。檢驗的方法與一元線性回歸相同。

參考：

一元線性回歸預測法:

http://wiki.mbalib.com/wiki/%E4%B8%80%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E9%A2%84%E6%B5%8B%E6%B3%95

[ppt]一元線性回歸模型的統計檢驗: http://wenku.baidu.com/view/ca151ff6f61fb7360b4c65d0.html?from=related

二元線性回歸分析預測法：

http://wiki.mbalib.com/wiki/%E4%BA%8C%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90%E9%A2%84%E6%B5%8B%E6%B3%95

多元線性回歸模型擬合優度假設檢驗：http://wenku.baidu.com/view/32b4bcea6294dd88d0d26b6d.html

回歸估計標準誤差與可決系數的比較：http://wendang.baidu.com/view/110fc16548d7c1c708a1456b.html?from=related

【doc】第三章 一元線性回歸 http://wenku.baidu.com/view/3b3bdbbdc77da26925c5b0fa.html 

多元線性回歸分析預測法：http://wiki.mbalib.com/wiki/%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90%E9%A2%84%E6%B5%8B%E6%B3%95