線性回歸是利用數理統(tǒng)計中的回歸分析,來確定兩種或兩種以上變量間相互依賴的定量關系的一種統(tǒng)計分析方法之一,運用十分廣泛.分析按照自變量和因變量之間的關系類型,可分為線性回歸分析和非線性回歸分析.如果在回歸分析中,只包括一個自變量和一個因變量,且二者的關系可用一條直線近似表示,這種回歸分析稱為一元線性回歸分析.如果回歸分析中包括兩個或兩個以上的自變量,且因變量和自變量之間是線性關系,則稱為多元線性回歸分析.
數據組說明線性回歸
我們以一簡單數據組來說明什么是線性回歸.假設有一組數據型態(tài)為 y=y(x),其中 x={0,1,2,3,4,5},y={0,20,60,68,77,110} 如果我們要以一個最簡單的方程式來近似這組數據,則非一階的線性方程式莫屬.先將這組數據繪圖如下 圖中的斜線是我們隨意假設一階線性方程式 y=20x,用以代表這些數據的一個方程式.以下將上述繪圖的 MATLAB 指令列出,并計算這個線性方程式的 y 值與原數據 y 值間誤差平方的總合.>> x=[0 1 2 3 4 5]; >> y=[0 20 60 68 77 110]; >> y1=20*x; % 一階線性方程式的 y1 值 >> sum_sq = sum((y-y1).^2); % 誤差平方總合為 573 >> axis([-1,6,-20,120]) >> plot(x,y1,x,y,'o'),title('Linear estimate'),grid 如此任意的假設一個線性方程式并無根據,如果換成其它人來設定就可能采用不同的線性方程式；所以我們 須要有比較精確方式決定理想的線性方程式.我們可以要求誤差平方的總合為最小,做為決定理想的線性方 程式的準則,這樣的方法就稱為最小平方誤差(least squares error)或是線性回歸.MATLAB的polyfit函數提供了 從一階到高階多項式的回歸法,其語法為polyfit(x,y,n),其中x,y為輸入數據組n為多項式的階數,n=1就是一階 的線性回歸法.polyfit函數所建立的多項式可以寫成 從polyfit函數得到的輸出值就是上述的各項系數,以一階線性回歸為例n=1,所以只有 二個輸出值.如果指令為coef=polyfit(x,y,n),則coef(1)= ,coef(2)=,...,coef(n+1)= .注意上式對n 階的多 項式會有 n+1 項的系數.我們來看以下的線性回歸的示范：>> x=[0 1 2 3 4 5]; >> y=[0 20 60 68 77 110]; >> coef=polyfit(x,y,1); % coef 代表線性回歸的二個輸出值 >> a0=coef(1); a1=coef(2); >> ybest=a0*x+a1; % 由線性回歸產生的一階方程式 >> sum_sq=sum(y-ybest).^2); % 誤差平方總合為 356.82 >> axis([-1,6,-20,120]) >> plot(x,ybest,x,y,'o'),title('Linear regression estimate'),grid
[編輯本段]線性回歸擬合方程
最小二乘法
一般來說,線性回歸都可以通過最小二乘法求出其方程,可以計算出對于y=bx+a的直線,其經驗擬合方程如下：其相關系數（即通常說的擬合的好壞）可以用以下公式來計算：理解回歸分析的結果
雖然不同的統(tǒng)計軟件可能會用不同的格式給出回歸的結果,但是它們的基本內容是一致的.我們以STATA的輸出為例來說明如何理解回歸分析的結果.在這個例子中,我們測試讀者的性別（gender）,年齡（age）,知識程度（know）與文檔的次序（noofdoc）對他們所覺得的文檔質量(relevance)的影響.輸出：Source | SS df MS Number of obs = 242 -------------+------------------------------------------ F ( 4,237) = 2.76 Model | 14.0069855 4 3.50174637 Prob > F = 0.0283 Residual | 300.279172 237 1.26700072 R-squared = 0.0446 ------------- +------------------------------------------- Adj R-squared = 0.0284 Total | 314.286157 241 1.30409194 Root MSE = 1.1256 ------------------------------------------------------------------------------------------------ relevance | Coef.Std.Err.t P>|t| Beta ---------------+-------------------------------------------------------------------------------- gender | -.2111061 .1627241 -1.30 0.196 -.0825009 age | -.1020986 .0486324 -2.10 0.037 -.1341841 know | .0022537 .0535243 0.04 0.966 .0026877 noofdoc | -.3291053 .1382645 -2.38 0.018 -.1513428 _cons | 7.334757 1.072246 6.84 0.000 .-------------------------------------------------------------------------------------------
輸出
這個輸出包括一下及部分.左上角給出方差分析表,右上角是模型擬合綜合參數.下方的表給出了具體變量的回歸系數.方差分析表對大部分的行為研究者來講不是很重要,我們不做討論.在擬合綜合參數中,R-squared 表示因變量中多大的一部分信息可以被自變量解釋.在這里是4.46%,相當小.
回歸系數
一般地,我們要求這個值大于5%.對大部分的行為研究者來講,最重要的是回歸系數.我們看到,年齡增加1個單位,文檔的質量就下降 -.1020986個單位,表明年長的人對文檔質量的評價會更低.這個變量相應的t值是 -2.10,絕對值大于2,p值也