本文關(guān)鍵詞：回歸方程，由筆耕文化傳播整理發(fā)布。

第十三章 多重線性回歸與相關(guān)

[教學(xué)要求]

了解： 多重共線性的概念及其對(duì)回歸分析結(jié)果的影響；通徑分析的基本過程及其應(yīng)用。 熟悉：多重相關(guān)與回歸分析的基本原理與方法。

掌握：掌握多重相關(guān)與回歸分析結(jié)果的解釋；相關(guān)、回歸、簡單相關(guān)、偏相關(guān)與復(fù)相關(guān)，簡單回歸、偏回歸與全回歸等概念。

[重點(diǎn)難點(diǎn)]

第一節(jié) 多重線性回歸的概念及其統(tǒng)計(jì)描述

一、變量（Y）關(guān)于k個(gè)自變量(X1,X2,...,Xk)的多重線性回歸的數(shù)學(xué)模型為：

Yi??0??1X1i??2X2i?...??kXki??i。實(shí)質(zhì)是將每個(gè)Y的觀測值用該模型在最小殘 差平方和的原則下進(jìn)行分解。

二、標(biāo)準(zhǔn)回歸系數(shù)為將各個(gè)變量按Xi*?Xi?i變換后，再進(jìn)行多重回歸計(jì)算所得的 Si

回歸系數(shù)。因?yàn)橥ㄟ^標(biāo)準(zhǔn)化過程消除了各個(gè)變量的計(jì)量單位不同對(duì)回歸系數(shù)的影響， 所以各個(gè)標(biāo)準(zhǔn)回歸系數(shù)的大小能直接反映該自變量對(duì)Y變量的回歸效應(yīng)的大小。

三、多重回歸分析的前提條件完全與簡單線性回歸相同：線性、獨(dú)立、正態(tài)和等方差，即 LINE。

第二節(jié) 多重線性回歸的假設(shè)檢驗(yàn)

一、 整體回歸效應(yīng)的假設(shè)檢驗(yàn)（方差分析）的原假設(shè)為H0: ?1??2??3?...??k?0；其過程 是通過對(duì)Y的總變異進(jìn)行分解，用回歸均方與殘差均方的比值構(gòu)造F檢驗(yàn)統(tǒng)計(jì)量，然后根 據(jù)相應(yīng)的F分布決定是否拒絕原假設(shè)。

二、偏回歸系數(shù)的t檢驗(yàn)的的原假設(shè)為H0: βi=0，即第i個(gè)總體偏回歸系數(shù)為零；其過程是 用第i個(gè)偏回歸系數(shù)的估計(jì)bi與該偏回歸系數(shù)的標(biāo)準(zhǔn)誤之比值構(gòu)造t統(tǒng)計(jì)量：

1

tbi?bi

Sbi

然后根據(jù)相應(yīng)的t分布決定是否拒絕原假設(shè)。

第三節(jié) 復(fù)相關(guān)系數(shù)與偏相關(guān)系數(shù)

一、 確定系數(shù)、復(fù)相關(guān)系數(shù)與調(diào)整確定系數(shù)

1、復(fù)相關(guān)系數(shù)的平方稱為確定系數(shù)（coefficient of determination）或決定系數(shù)，記為R 2，用以反映線性回歸模型能在多大程度上解釋反應(yīng)變量Y的變異性。其定義為

R2?SSR SST

2其取值范圍為0?R2?1。若確定系數(shù)R 的值接近于1，指示樣本數(shù)據(jù)很好地?cái)M合了所選

用的線性回歸模型。R 2直接反映回歸方程中所有自變量解釋反應(yīng)變量Y總變異的百分比。同時(shí)，R 2也可以解釋為回歸方程使反應(yīng)變量Y的總變異減少的百分比。

2、復(fù)相關(guān)系數(shù)(multiple correlation coefficient) R, 定義為確定系數(shù)的平方根，即

R?SSR SST

3、調(diào)整的R 2(adjusted R-Square):當(dāng)回歸方程中包含有很多自變量，即使其中有一些自變量對(duì)解釋反應(yīng)變量變異的貢獻(xiàn)極小，隨著回歸方程的自變量的增加，R 2值表現(xiàn)為

2只增不減。調(diào)整的R 2克服了這一缺點(diǎn)。調(diào)整的R 2記為Ra,定義為 k(1?R2) R?R? n?k?12

a2

二、偏相關(guān)系數(shù)和偏回歸系數(shù)

1、偏相關(guān)系數(shù)（partial correlation coefficient）：扣除其他變量的影響后，變量Y與X的相關(guān)的有無、方向與強(qiáng)弱程度，稱為Y與X的偏相關(guān)系數(shù)。

2、偏回歸系數(shù)（ partial regression coefficient ）：當(dāng)方程中其他自變量保持常量時(shí)，自變量Xi變化一個(gè)計(jì)量單位,反應(yīng)變量Y的平均值變化的單位數(shù)量。

2

3、簡單相關(guān)系數(shù)的假設(shè)檢驗(yàn)與簡單回歸系數(shù)的假設(shè)檢驗(yàn)等價(jià)；多重回歸的整體回歸效應(yīng)的假設(shè)檢驗(yàn)與總體確定系數(shù)R 2=0的假設(shè)檢驗(yàn)等價(jià)；偏相關(guān)系數(shù)的假設(shè)檢驗(yàn)與偏回歸系數(shù)的假設(shè)檢驗(yàn)等價(jià)。

第四節(jié) 自變量篩選

一、 自變量篩選的標(biāo)準(zhǔn)與原則

1、自變量篩選的目的是確保回歸方程包含所有對(duì)反應(yīng)變量有較大影響的自變量，而把與反應(yīng)變量關(guān)系不大或可有可無的自變量排除在方程之外，以提高回歸參數(shù)的估計(jì)和預(yù)測的精度。

2、殘差平方和（SSE）縮小與確定系數(shù)（R2）增大的自變量篩選原則是等價(jià)的；殘差均方（MSE）縮小與調(diào)整確定系數(shù)（R

二、 變量篩選的常用方法

自變量篩選的方法很多，有前向選擇、后向選擇、逐步選擇等。但以逐步選擇（stepwise selection）的方法應(yīng)用較多。在逐步選擇過程中，把經(jīng)F檢驗(yàn)有意義的變量引入方程后，又對(duì)已在方程中的自變量進(jìn)行一次關(guān)于剔除的F檢驗(yàn)，保留有統(tǒng)計(jì)學(xué)意義的變量，而剔除無統(tǒng)計(jì)學(xué)意義的變量。反復(fù)進(jìn)行引入、剔除過程，直到既沒有變量被引入，也沒有變量被剔除為止。

* 第五節(jié) 關(guān)于多重線性回歸的應(yīng)用

一、非同質(zhì)資料的合并問題：

在用回歸分析解釋實(shí)際專業(yè)問題時(shí)，應(yīng)考慮是否存在混雜變量干擾回歸結(jié)果，即在該混雜變量的不同水平上的回歸系數(shù)具有不同的特征；不要將這種非同質(zhì)的資料合并擬合回歸模型，應(yīng)分組擬合回歸模型。

二、多重共線性（multi-co-linearity）問題：

多重共線性是指自變量之間非獨(dú)立或線性相關(guān)，即回歸模型中的一個(gè)自變量近似為其它自變量的線性組合。多重共線性的存在將導(dǎo)致對(duì)回歸參數(shù)?的最小二乘估計(jì)的性質(zhì)變壞。表現(xiàn)為：①回歸參數(shù)估計(jì)值的標(biāo)準(zhǔn)誤差偏大，因此回歸參數(shù)估計(jì)值變得十分不穩(wěn)定，甚至符號(hào)改變；②當(dāng)樣本數(shù)據(jù)有略微改變或在模型中增加或刪除某個(gè)自變量時(shí)，將使其它自變 3 2?）增大的自變量篩選的標(biāo)準(zhǔn)與原則也是等價(jià)的。

量的回歸參數(shù)估計(jì)值發(fā)生較大變化，從而使回歸參數(shù)估計(jì)值失去意義。

在實(shí)際應(yīng)用多重線性回歸過程中不難發(fā)現(xiàn)，自變量之間相互獨(dú)立或線性無關(guān)的情況是很少見的，多重共線性現(xiàn)象難以避免，問題在于其多重共線性的強(qiáng)弱程度。許多統(tǒng)計(jì)學(xué)家認(rèn)為，如果多重共線性在程度上較弱時(shí)，線性回歸仍然不失為解決實(shí)際問題的有效工具。但當(dāng)多重共線性較強(qiáng)時(shí)，將會(huì)導(dǎo)致一系列錯(cuò)誤的結(jié)論。

三、通徑分析（path analysis）

通徑分析是一種在回歸基礎(chǔ)上拓展，用以處理具有較為復(fù)雜變量關(guān)系的統(tǒng)計(jì)學(xué)方法。根據(jù)具體的專業(yè)知識(shí)，建立變量間的直接聯(lián)系圖，構(gòu)造并擬合通徑分析模型，使之更為合理地解釋變量間的數(shù)量關(guān)系。通徑分析與一次性多重線性回歸分析相比，能分離出各個(gè)變量對(duì)反應(yīng)變量的直接效應(yīng)與間接效應(yīng)。

四、自變量間交互作用的回歸模型

生物醫(yī)學(xué)研究的問題常常涉及到自變量間乘積項(xiàng)對(duì)反應(yīng)變量作用的情況，統(tǒng)計(jì)學(xué)為處理此類問題提供了方法，即擬合有交互作用項(xiàng)的回歸模型。

[案例討論參考答案]

案例13-1 (1)由相關(guān)分析結(jié)果可見：三個(gè)自變量（X1，X2，X3）與反應(yīng)變量Y的相關(guān)系數(shù)很�。�<0.23）；而三個(gè)自變量間的相關(guān)系數(shù)很大（>0.49）。

(2)這些與簡單回歸情況相悖的結(jié)果是由于三個(gè)自變量的共線性。

[電腦實(shí)驗(yàn)程序及結(jié)果解釋]

實(shí)驗(yàn)13-1 多重線性回歸、逐步回歸與全子集回歸

程序13-1 例13-1數(shù)據(jù)的多重線性回歸、逐步回歸與全子集回歸

02 INPUT x1-x4 y;

03 DATALINES;

04 1300 20.0 80 0.45 0.066

05 ……… 06 1436 28.0 68 2.00 0.099

07 ；

08 PROC REG CORR; 數(shù)據(jù)塊結(jié)束； 調(diào)用REG過程進(jìn)行回歸分析，要求輸出相關(guān)陣CORR； 定義并讀入變量x1-x4和y； 標(biāo)志數(shù)據(jù)塊開始； 4

09 MODEL y=x1-x4 /PARTIAL STB; 指定回歸模型，要求輸出每個(gè)回歸變量的偏回歸

杠桿圖PARTIAL和標(biāo)準(zhǔn)化回歸系數(shù)STB； 10 PROC REG ;

11 MODEL y=x1-x4 /SELECTION=STEPWISE ;

12 PROC REG ;

13 MODEL y=x1-x4 /SELECTION=RSQUARE ;

14 RUN; 調(diào)用REG過程； 按指定模型進(jìn)行逐步回歸分析； 調(diào)用REG過程； 按指定模型進(jìn)行定全子集回歸分析； 運(yùn)行程序；

運(yùn)行結(jié)果：

Output窗口：

運(yùn)行結(jié)果：

The REG Procedure

Correlation

（相關(guān)系數(shù)陣）

Variable x1 x2 x3 x4 y

x1 1.0000 -0.1412 0.3949 -0.5684 0.8080

x2 -0.1412 1.0000 -0.0728 0.3840 0.0172 x3 0.3949 -0.0728 1.0000 -0.1464 0.2785 x4 -0.5684 0.3840 -0.1464 1.0000 -0.6796 y 0.8080 0.0172 0.2785 -0.6796 1.0000

The REG Procedure

Model: MODEL1

Dependent Variable: y

Analysis of Variance

（回歸模型的方差分析表）

Sum of Mean

Source DF Squares Square F Value Pr > F Model 4 0.06396 0.01599 17.59 <.0001 Error 19 0.01727 0.00090903

Corrected Total 23 0.08123

5

Root MSE（誤差均方平方根） 0.03015 R-Square（R） 0.7874

Dependent Mean（反應(yīng)變量均值） 0.08708 Adj R-Sq（調(diào)整R2） 0.7426

Coeff Var（反應(yīng)變量變異系數(shù)） 34.62214

Parameter Estimates

（參數(shù)估計(jì)及有關(guān)統(tǒng)計(jì)量）

Parameter Standard Standardized Variable DF Estimate Error t Value Pr > |t| Estimate

（回歸系數(shù)參數(shù)估計(jì)）（參數(shù)估計(jì)的標(biāo)準(zhǔn)誤） （標(biāo)準(zhǔn)化偏回歸系數(shù)） Intercept 1 -0.14166 0.06916 -2.05 0.0546 0 x1 1 0.00011619 0.00002748 4.23 0.0005 0.59249 x2 1 0.00449 0.00190 2.36 0.0289 0.27274 x3 1 -0.00000655 0.00069083 -0.01 0.9925 -0.00110 x4 1 -0.03468 0.01081 -3.21 0.0046 -0.44770 2

The REG Procedure

Model: MODEL1

Partial Regression Residual Plot

（偏回歸殘差散點(diǎn)圖）

y y y

Intercept x1 x2

y y

6

x3 x4

逐步回歸分析結(jié)果：

（逐步回歸結(jié)果）

（變量x1進(jìn)入模型）

Analysis of Variance

（模型方差分析）

7

The REG Procedure Model: MODEL1 Dependent Variable: y Stepwise Selection: Step 1 Variable x1 Entered: R-Square = 0.6529 and C(p) = 11.0195 Sum of Mean Source DF Squares Square F Value Pr > F Model 1 0.05303 0.05303 41.38 <.0001 Error 22 0.02820 0.00128 Corrected Total 23 0.08123 Parameter Standard Variable Estimate Error Type II SS F Value Pr > F Intercept -0.13529 0.03534 0.01879 14.66 0.0009 x1 0.00015845 0.00002463 0.05303 41.38 <.0001

Bounds on condition number: 1, 1

----------------------------------------------------------------------------------------------------- Stepwise Selection: Step 2

Variable x4 Entered: R-Square = 0.7246 and C(p) = 6.6117（變量x4進(jìn)入模型）

Analysis of Variance

Sum of Mean

Source DF Squares Square F Value Pr > F

Model 2 0.05886 0.02943 27.62 <.0001

Error 21 0.02237 0.00107

Corrected Total 23 0.08123

Parameter Standard

Variable Estimate Error Type II SS F Value Pr > F

Intercept -0.05000 0.04867 0.00112 1.06 0.3160

x1 0.00012217 0.00002729 0.02134 20.03 0.0002

x4 -0.02522 0.01078 0.00582 5.47 0.0293

Bounds on condition number: 1.4772, 5.9088

----------------------------------------------------------------------------------------------------- Stepwise Selection: Step 3

Variable x2 Entered: R-Square = 0.7874 and C(p) = 3.0001（變量x2進(jìn)入模型）

Analysis of Variance

Sum of Mean

Source DF Squares Square F Value Pr > F

Model 3 0.06396 0.02132 24.69 <.0001

Error 20 0.01727 0.00086358

8

Corrected Total 23 0.08123

Parameter Standard

Variable Estimate Error Type II SS F Value Pr > F

Intercept -0.14200 0.05790 0.00519 6.01 0.0235

x1 0.00011608 0.00002470 0.01907 22.08 0.0001

x2 0.00449 0.00185 0.00510 5.91 0.0246

x4 -0.03470 0.01046 0.00950 11.00 0.0034

Bounds on condition number: 1.7157, 13.18

----------------------------------------------------------------------------------------------------- All variables left in the model are significant at the 0.1500 level.

No other variable met the 0.1500 significance level for entry into the model.

（說明：進(jìn)入模型的變量均在0.15的水平上有統(tǒng)計(jì)學(xué)意義）

Summary of Stepwise Selection

（逐步選擇匯總）

Variable Variable Number Partial Model

Step Entered Removed Vars In R-Square R-Square C(p) F Value Pr > F

（入選變量）（剔除變量）（模型中變量個(gè)數(shù)） （偏R ） （模型R）

1 x1 1 0.6529 0.6529 11.0195 41.38 <.0001 2 x4 2 0.0717 0.7246 6.6117 5.47 0.0293 3 x2 3 0.0628 0.7874 3.0001 5.91 0.0246 22

全子集回歸分析結(jié)果：

The REG Procedure

Model: MODEL1

Dependent Variable: y

R-Square Selection Method

（R選擇法）

9 2

Number in

Model R-Square Variables in Model 1 0.6529 x1

1 0.4618 x4

1 0.0776 x3

1 0.0003 x2

------------------------------------------- 2 0.7246 x1 x4

2 0.6705 x1 x2

2 0.6548 x1 x3

2 0.5526 x2 x4

2 0.4946 x3 x4

2 0.0790 x2 x3

------------------------------------------- 3 0.7874 x1 x2 x4 3 0.7248 x1 x3 x4 3 0.6722 x1 x2 x3 3 0.5874 x2 x3 x4

-------------------------------------------

4 0.7874 x1 x2 x3 x4

實(shí)驗(yàn)13-2 具有交互項(xiàng)的回歸模型

程序13-2 例13-6數(shù)據(jù)具有交互項(xiàng)的回歸

02 INPUT x1 x2 y @@; 定義并連續(xù)讀入變量x1、x2和y； 03 DATALINES; 標(biāo)志數(shù)據(jù)塊開始；

04 1 2 43 1 4 41 1 6 37 05 ………

06 4 7 32

07 ； 數(shù)據(jù)塊結(jié)束；

10

08

09 PROC GLM ; MODEL y=x1 x2 x1*x2; 調(diào)用GLM過程； 指定具有交互項(xiàng)的多重線性回歸模型； 10 RUN; 運(yùn)行程序；

運(yùn)行結(jié)果：

Output窗口：

The GLM Procedure

Dependent Variable: y

Sum of

Source DF Squares Mean Square F Value Pr > F Model 3 190.2598000 63.4199333 277.73 <.0001 Error 12 2.7402000 0.2283500

Corrected Total 15 193.0000000

R-Square Coeff Var Root MSE y Mean

0.985802 1.318234 0.477860 36.25000

Source DF Type I SS Mean Square F Value Pr > F x1 1 36.4500000 36.4500000 159.62 <.0001 x2 1 149.5269044 149.5269044 654.81 <.0001 x1*x2 1 4.2828956 4.2828956 18.76 0.0010

Source DF Type III SS Mean Square F Value Pr > F x1 1 19.95884020 19.95884020 87.40 <.0001 x2 1 47.84922385 47.84922385 209.54 <.0001 x1*x2 1 4.28289559 4.28289559 18.76 0.0010

Standard

Parameter Estimate Error t Value Pr > |t| Intercept 49.47549992 0.72648054 68.10 <.0001 x1 -2.53529995 0.27118284 -9.35 <.0001 11

x2 -1.94362693 0.13426906 -14.48 <.0001

x1*x2 0.22117616 0.05107050 4.33 0.0010

實(shí)驗(yàn)13-3 偏相關(guān)系數(shù)的計(jì)算

程序13-3 例13-1數(shù)據(jù)偏相關(guān)系數(shù)的計(jì)算

02 INPUT x1-x4 y; 03 DATALINES; 04 1300 20.0 80 0.45

05 ……… 06 1436 28.0 68 2.00

07 ；

08 PROC CORR;

09 10 VAR y x1; PARTIAL x2-x4; 定義并讀入變量x1-x4和y； 標(biāo)志數(shù)據(jù)塊開始； 0.066 0.099 數(shù)據(jù)塊結(jié)束； 調(diào)用CORR過程進(jìn)行偏相關(guān)分析； 指定計(jì)算相關(guān)系數(shù)的變量y和x1； 指定要扣除其影響的變量x2-x4； 調(diào)用REG過程進(jìn)行回歸分析；

指定回歸模型，要求輸出各自變量偏相關(guān)系數(shù)的平方；

運(yùn)行程序； 11 PROC REG; 12 MODEL y=x1-x4/PCORR2; 13 RUN;

運(yùn)行結(jié)果：

Output窗口：

偏相關(guān)分析結(jié)果：

The CORR Procedure

3 Partial Variables: X2 X3 X4

2 Variables: Y X1

Simple Statistics

Variable N Mean Std Dev Sum Minimum Maximum X2 24 25.24583 3.60687 605.90000 20.00000 35.00000 X3 24 71.08333 9.97787 1706 57.00000 92.00000 X4 24 1.36375 0.76708 32.73000 0.40000 3.00000 Y 24 0.08708 0.05943 2.09000 0.00100 0.22200 X1 24 1404 303.05818 33684 786.00000 1844 12

Simple Statistics

Partial Partial

Variable Variance Std Dev

（偏方差） （偏標(biāo)準(zhǔn)差） X2

X3

X4

Y 0.00168 0.04094

X1 60174 245.30410

Pearson Partial Correlation Coefficients, N = 24

Prob > |r| under H0: Partial Rho=0

（偏相關(guān)系數(shù)陣）

Y X1

Y 1.00000 0.69620

0.0005

X1 0.69620 1.00000 0.0005

REG過程輸出結(jié)果：

The REG Procedure

Model: MODEL1

Dependent Variable: Y

Analysis of Variance

Sum of Mean

Source DF Squares Square F Value Pr > F Model 4 0.06396 0.01599 17.59 <.0001 Error 19 0.01727 0.00090903

Corrected Total 23 0.08123

13

Root MSE 0.03015 R-Square 0.7874

Dependent Mean 0.08708 Adj R-Sq 0.7426

Coeff Var 34.62214

Parameter Estimates

Parameter Standard Squared Partial Variable DF Estimate Error t Value Pr > |t| Corr Type II

Intercept 1 -0.14166 0.06916 -2.05 0.0546 （偏相關(guān)系數(shù)平方） X1 1 0.00011619 0.00002748 4.23 0.0005 0.48470 X2 1 0.00449 0.00190 2.36 0.0289 0.22724 X3 1 -0.00000655 0.00069083 -0.01 0.9925 0.00000473 X4 1 -0.03468 0.01081 -3.21 0.0046 0.35135

實(shí)驗(yàn)13-4 自變量共線性對(duì)回歸結(jié)果的影響

程序13-4 共線性自變量對(duì)回歸結(jié)果的影響

02 INPUT x1 x2 x3; 定義并讀入變量x1、x2和x3；

03 Y=10+2*x1+3*x2+1.5*x3+RANNOR(0); 從正態(tài)總體N(10+2X1+3X2+1.5X3 ,12)中隨機(jī)抽取相應(yīng)的Y； 04 OUTPUT; 05 CARDS;

06 1.1 1.1 1.7

07 1.4 1.5 1.5

08 1.7 1.8 2.8

09 1.7 1.7 1.7

10 1.8 1.9 1.9

11 1.8 1.8 1.8

12 1.9 1.8 3.8

13 2.0 2.1 2.1

14 2.3 2.4 1.4

15 2.4 2.5 1.5

寫入實(shí)據(jù)集； 標(biāo)志數(shù)據(jù)塊開始； 14

16 ;

17 PROC REG CORR; 數(shù)據(jù)塊結(jié)束； 調(diào)用REG過程進(jìn)行回歸分析，要求輸出相關(guān)陣CORR； 18 MODEL y=x1 x2 x3; 指定回歸模型； 19 RUN; 運(yùn)行程序；

運(yùn)行結(jié)果：

Output窗口：

The REG Procedure

Correlation

Variable x1 x2 x3 Y x1 1.0000 0.9860 -0.0163 0.8241 x2 0.9860 1.0000 -0.1140 0.7703 x3 -0.0163 -0.1140 1.0000 0.4700 Y 0.8241 0.7703 0.4700 1.0000

The REG Procedure

Model: MODEL1

Dependent Variable: Y

Analysis of Variance

Sum of Mean

Source DF Squares Square F Value Pr > F Model 3 43.31511 14.43837 21.34 0.0013 Error 6 4.05896 0.67649

Corrected Total 9 47.37407

Root MSE 0.82249 R-Square 0.9143

Dependent Mean 22.37411 Adj R-Sq 0.8715

Coeff Var 3.67609

Parameter Estimates

Parameter Standard

15

Variable DF Estimate Error t Value Pr > |t| Intercept 1 10.25225 1.56682 6.54 0.0006 x1 1 3.29160 5.25317 0.63 0.5540 x2 1 1.59999 4.96987 0.32 0.7584

x3 1 1.57825 0.45568 3.46 0.0134

分析：從相關(guān)系數(shù)陣可以觀察到變量x1與x2之間具有較強(qiáng)的相關(guān)性（r=0.9860），而變量x3則與x1、x2獨(dú)立。從回歸分析的結(jié)果可以發(fā)現(xiàn)自變量x1與x2的回歸系數(shù)估計(jì)值與原總體關(guān)系差別很大，而x2的回歸系數(shù)估計(jì)值則相近。進(jìn)一步重復(fù)該實(shí)驗(yàn)，可以觀察到x1與x2的回歸系數(shù)估計(jì)值變化很大，甚至發(fā)生符號(hào)的改變。

[思考與練習(xí)的參考答案]

k(1?R2)

1. R?R?=0.44-[12（1-0.44）]/[50-12-1]=0.2584

n?k?1

2a

2

2. 在多重回歸分析中，將某一自變量的值都乘以10，該自變量的偏回歸系數(shù)變?yōu)樵貧w系數(shù)數(shù)值的1/10倍，標(biāo)準(zhǔn)化偏回歸系數(shù)不變。

3. X1、X2、X3、X4對(duì)Y的多重線性回歸

檢驗(yàn)回歸方程整體意義的方差分析表

變異來源 回歸模型 殘差 總變異

自由度 4 12 16

SS 2950.6417 2106.7360 5057.3776

MS 737.6604 175.5613

F 4.20

P 0.0235

偏回歸系數(shù)及其檢驗(yàn)結(jié)果

變量 截距 X1 X2 X3 X4

自由度 1 1 1 1 1

回歸系數(shù) 23.4237 0.4753 1.1930 -0.8136 0.6305

標(biāo)準(zhǔn)誤 35.3449 0.7139 0.3979 0.5006 0.4309

t值 0.66 0.67 3.00 -1.63 1.46

P值 0.5200 0.5182 0.0111 0.1300 0.1691

標(biāo)準(zhǔn)偏回歸系數(shù) 0 0.1696 1.0737 -0.3715 0.5603

可列出回歸方程：

16

??23.4237?0.4753X?1.1930X?0.8136X?0.6305X Y1234

總體模型有意義，說明從整體上而言，用這四個(gè)自變量構(gòu)成的回歸方程解釋因變量有統(tǒng)計(jì)學(xué)意義。但這四個(gè)變量中，只有變量X2的偏回歸系數(shù)在0.05的概率水平下具有統(tǒng)計(jì)學(xué)意義。原則上應(yīng)考慮回歸方程的實(shí)際意義，建立不包含無統(tǒng)計(jì)學(xué)意義自變量的回歸方程。

4.分別以簡單線性、二次與三次多項(xiàng)式擬合的回歸模型結(jié)果如下表所示：

擬合不同模型的結(jié)果

模型 簡單線性

回歸方程

??10.2359?0.0345x Y

MSE

F值 P值

R2

0.2607 4.20 0.0795 0.3751

??10.4197?0.0013二次函數(shù) Yx2 0.2429 5.91 0.0453 0.4579

??10.4816?0.00006三次函數(shù) Yx3 0.2279 7.68 0.0277 0.5230

可見，在以上的三種模型中，以三次多項(xiàng)式模型為優(yōu)。 5. Y 關(guān)于X1、X2、X3、X4、X5、X6的線性回歸：

檢驗(yàn)回歸方程整體意義的方差分析表

變異來源 回歸模型 殘差 總變異

自由度 6 4 10

SS 1047.0611 421.1207 1468.1818

MS 174.5102 105.2802

F 1.66

P 0.3252

偏回歸系數(shù)及其檢驗(yàn)結(jié)果

變量 截距 X1 X2 X3 X4 X5 X6

自由度 1 1 1 1 1 1 1

回歸系數(shù) 18.30200 -3.51820 0.91368 1.22379 0.76802 -1.00394 1.14764

標(biāo)準(zhǔn)誤 17.53866 3.22788 9.22769 1.38695 3.42170 2.34739 1.18261

t值 1.04 -1.09 0.10 0.88 0.22 -0.43 0.97

P值 0.3556 0.3370 0.9259 0.4274 0.8334 0.6909 0.3868

歸系數(shù) 0 -1.13809 0.21688 0.65356 0.21740 -0.63994 1.09215

總體模型無統(tǒng)計(jì)學(xué)意義，說明從整體上而言，不能用這六個(gè)自變量構(gòu)成的回歸方程解釋因變量。這六個(gè)變量的偏回歸系數(shù)在0.05的概率水平下均與0無統(tǒng)計(jì)學(xué)差異。

17

通過相關(guān)分析，其結(jié)果如下表所示：

各變量的簡單相關(guān)系數(shù)

Variable

X1

1.0000 0.8346 0.8401 0.8676 0.3246 0.5346 0.1568

X2

0.8346 1.0000 0.7400 0.8017 0.6580 0.4586 0.0047

X3

0.8401 0.7400 1.0000 0.7168 0.2065 0.4209 0.3413

X4

0.8676 0.8017 0.7168 1.0000 0.3747 0.6084 0.2971

X5

0.3246 0.6580 0.2065 0.3747 1.0000 0.6403 0.0491

X6

0.5346 0.4586 0.4209 0.6084 0.6403 1.0000 0.5808

X6

0.1568 0.0047 0.3413 0.2971 0.0491 0.5808 1.0000

X1 X2 X3 X4 X5 X6 X6

結(jié)果顯示：（1）自變量中存在著較強(qiáng)的相關(guān)，說明存在自變量共線的情況；（2）除X6以外，其它自變量和因變量的相關(guān)都較弱。

此外，相對(duì)于變量數(shù)目而言，這個(gè)問題的樣本量過小。

[補(bǔ)充練習(xí)題]

一、選擇題

（一）A1型：每一道題下面有A、B、C、D、E五個(gè)備選答案，請從中選擇一個(gè)最佳答案。

1. 逐步回歸分析中，若增加引入的自變量，則__________。

A.回歸平方和與殘差平方和均增大 B. 回歸平方和與殘差平方和均減少 C.總平方和與回歸平方和均增大 D. 回歸平方和增大，殘差平方和減少 E. 總平方和與回歸平方和均減少

2. 多重線性回歸分析中，若對(duì)某一自變量的值乘以一個(gè)不為零的常數(shù)K, 則有__________。 A. 該偏回歸系數(shù)值不變 B. 該偏回歸系數(shù)值為原有偏回歸系數(shù)值的1/K倍 C. 該偏回歸系數(shù)值會(huì)改變，但無規(guī)律 D. 所有偏回歸系數(shù)值均會(huì)改變 E. 所有偏回歸系數(shù)值均不會(huì)改變

3. 多重線性回歸分析中，若對(duì)某一自變量的值加上一個(gè)不為零的常數(shù)K,則有__________。 A. 截距和該偏回歸系數(shù)值均不變 B.該偏回歸系數(shù)值為原有偏回歸系數(shù)值的K倍

18

C. 該偏回歸系數(shù)值會(huì)改變，但無規(guī)律 D.截距改變，但所有偏回歸系數(shù)值均不改變 E. 所有偏回歸系數(shù)值均不會(huì)改變

4. 多重線性回歸分析中，能直接反映自變量解釋因變量變異數(shù)量的指標(biāo)為 __________。

A. 復(fù)相關(guān)系數(shù) B. 簡單相關(guān)系數(shù) C. 確定性系數(shù)

D. 偏回歸系數(shù) E. 偏相關(guān)系數(shù)

5. 多重線性回歸分析中的共線性是指__________。

A. Y關(guān)于各個(gè)自變量的回歸系數(shù)相同 B.Y關(guān)于各個(gè)自變量的回歸系數(shù)與截距都相同

C. Y變量與各個(gè)自變量的相關(guān)系數(shù)相同 D.Y與自變量間有較高的復(fù)相關(guān)

E. 自變量間有較高的相關(guān)性

（二）A2型：每一道題以一個(gè)小案例出現(xiàn)，其下面都有A、B、C、D、E五個(gè)備選答案，，請從中選擇一個(gè)最佳答案。

由具有X1、 X2 、X3三個(gè)變量的樣本數(shù)據(jù)計(jì)算，獲得這三個(gè)變量的簡單相關(guān)系數(shù)如下：

變量

X1

X2

X3

1. 扣除X1的影響后，X2與X3的偏相關(guān)系數(shù)為__________。

A. 0.93941 B. 0.88403 C. 0.84897

D. 0.47749 E. 0.76472

2. 扣除X2的影響后，X1與X3的偏相關(guān)系數(shù)為_________。

A. 0.11551 B. 0.88403 C. 0.84897

D. 0.47749 E. 0.76472

19 X1 1.00000 0.84897 0.93941 X2 0.84897 1.00000 0.88403 X3 0.93941 0.88403 1.00000

3. 扣除X3的影響后，X1與X2的偏相關(guān)系數(shù)為_________。

A. 0.11551 B. 0.88403 C. 0.84897 D. 0.47749 E. 0.76472

（三）A3/A4型：以下提供若干案例，每個(gè)案例下設(shè)若干道題目。請根據(jù)題目所提供的信息，在每一道題下面的A、B、C、D、E五個(gè)備選答案中選擇一個(gè)最佳答案。 （第1~3題共用題干）

為了探討大學(xué)生肺活量與身高、體重的關(guān)系，獲得下表數(shù)據(jù)：

身高 (cm) X1 135.1 139.9 163.6 156.2 167.8 165.5 155.1 149.4

1. 若將上表中以厘米為單位的身高數(shù)據(jù)替換為以米為計(jì)量單位，以肺活量為反應(yīng)變量， 身高、體重為自變量，擬合所得的線性回歸方程與原表數(shù)據(jù)所得的方程相比_________。 A. 截距與兩個(gè)偏回歸系數(shù)不會(huì)改變

B. 截距會(huì)改變，而兩個(gè)偏回歸系數(shù)不會(huì)改變

C. 截距與體重的偏回歸系數(shù)不會(huì)改變，身高的偏回歸系數(shù)改變 D. 截距與身高的偏回歸系數(shù)不會(huì)改變，體重的偏回歸系數(shù)改變 E. 截距不會(huì)改變，身高與體重的偏回歸系數(shù)均會(huì)改變

2. 若將上表中以公斤為單位的體重?cái)?shù)據(jù)替換為以市斤為計(jì)量單位，以肺活量為反應(yīng)變量， 身高、體重為自變量，擬合所得的線性回歸方程與原表數(shù)據(jù)所得的方程相比_________。

20

體重 （kg） X2 32.0 30.4 46.2 37.1 41.5 49.5 44.7 33.9

肺活量 （L）

Y 1.75 2.00 2.75 2.75 2.75 3.00 2.75 2.25

A. 截距與兩個(gè)偏回歸系數(shù)不會(huì)改變

B. 截距會(huì)改變，而兩個(gè)偏回歸系數(shù)不會(huì)改變

C. 截距與體重的偏回歸系數(shù)不會(huì)改變，身高的偏回歸系數(shù)改變

D. 截距與身高的偏回歸系數(shù)不會(huì)改變，體重的偏回歸系數(shù)改變

E. 截距不會(huì)改變，身高與體重的偏回歸系數(shù)均會(huì)改變

3. 若將上表中以升為單位的肺活量數(shù)據(jù)替換為以毫升為計(jì)量單位，以肺活量為反應(yīng)變量， 身高、體重為自變量，擬合所得的線性回歸方程與原表數(shù)據(jù)所得的方程相比_________。

A. 截距與兩個(gè)偏回歸系數(shù)不會(huì)改變

B. 截距會(huì)改變，而兩個(gè)偏回歸系數(shù)不會(huì)改變

C. 截距與體重的偏回歸系數(shù)不會(huì)改變，身高的偏回歸系數(shù)改變

D. 截距與身高的偏回歸系數(shù)不會(huì)改變，體重的偏回歸系數(shù)改變

E. 截距、身高與體重的偏回歸系數(shù)均會(huì)改變

（四）B1型：以下提供若干組題目，每組題目共用題目前列出的A、B、C、D、E五個(gè)備選答案。請從中選擇一個(gè)與問題關(guān)系最密切的答案。某個(gè)備選答案可能被選擇一次、多次或不被選擇。

A. 截距不變，但變量Xi的偏回歸系數(shù)是原偏回歸系數(shù)的1/k倍

B. 截距不變，且每個(gè)偏回歸系數(shù)為原偏回歸系數(shù)的1/k倍

C. 截距改變，而各個(gè)偏回歸系數(shù)不變

D. 截距和每個(gè)偏回歸系數(shù)都擴(kuò)大到原數(shù)值的k倍

E. 截距擴(kuò)大到原數(shù)值的k倍，而各個(gè)偏回歸系數(shù)不變

1. 自變量Xi的值擴(kuò)大到原數(shù)值的k倍，會(huì)使線性回歸方程的__________。

2. 自變量Xi的值加上非零的常數(shù)k ，會(huì)使線性回歸方程的__________。

3. 反應(yīng)變量Y的值擴(kuò)大到原數(shù)值的k倍，會(huì)使線性回歸方程的__________。

4. 所有自變量的值同時(shí)擴(kuò)大到原數(shù)值的k倍，會(huì)使線性回歸方程的__________。

5. 所有自變量和反應(yīng)變量Y的值都同時(shí)擴(kuò)大到原數(shù)值的k倍，會(huì)使線性回歸方程的 __________。

21

二、是非題

1. 整體回歸效應(yīng)的假設(shè)檢驗(yàn)在?水平下拒絕H0，表示引入回歸方程中的每一個(gè)自變量都在?水平下有效地解釋了因變量Y的變異。 （ ）

2. 改變某一自變量的某一個(gè)數(shù)值，只會(huì)使該自變量的偏回歸系數(shù)值改變。 （ ）

3. 改變因變量Y的某一個(gè)數(shù)值，將會(huì)導(dǎo)致回歸方程的所有偏回歸系數(shù)值改變。 （ ）

4. 在具有k個(gè)自變量的多重回歸模型基礎(chǔ)上，減少一個(gè)自變量，會(huì)導(dǎo)致回歸平方和的減少。 ( )

5. 用同一樣本數(shù)據(jù)，無論擬合的多重線性回歸模型包含的自變量有多少，其總變異（SST）是不變的。 ( )

6. 若有X1 、X2、 X3三個(gè)變量的數(shù)據(jù)，X2、X3的偏相關(guān)系數(shù)（r2,31）是X3關(guān)于X1線性回歸的殘差與X2的簡單相關(guān)系數(shù)。 ( )

7. 逐步回歸選擇變量的方法一般情況下與全回歸法、前向性和后向性法所獲得的結(jié)果相同。 ( )

8. 多重共線性是指Y關(guān)于各個(gè)自變量的回歸直線呈重疊狀態(tài)。 （ ）

9. 在n 個(gè)樣本含量的基礎(chǔ)上增加一個(gè)觀測數(shù)據(jù)后所得的線性回歸方程與n個(gè)數(shù)據(jù)所得的回歸方程相比，除截距相同外，各個(gè)偏回歸系數(shù)均有改變。 （ ）

[參考答案]

一、選擇題

(一) 1.D 2.B 3.D 4.C 5.E

(二) 1.D 2.E 3.A

(三) 1.C 2.D 3.E

(四) 1. A 2.C 3.D 4.B 5. E

二、是非題

1.× 2.× 3. ? 4. ? 5. ?

6.? 7.× 8. × 9. ×

（葉鷹 董時(shí)富）

22

  本文關(guān)鍵詞：回歸方程，由筆耕文化傳播整理發(fā)布。