第5章 多元线性回归模型.ppt

《第5章 多元线性回归模型.ppt》由会员分享，可在线阅读，更多相关《第5章 多元线性回归模型.ppt（38页珍藏版）》请在第壹文秘上搜索。

1、第五章 多元线性回归模型 一元线性回归模型研究的是某一因变量与一个自变量之间的关系问题。但是，客观现象之间的联系是复杂的，许多现象的变动都涉及到多个变量之间的数量关系。研究某一因变量与多个自变量之间的相互关系的理论和方法就是多元线性回归模型。第一节多元线性回归模型及其假设条件 设所研究的对象受多个因素mxxx,21的影响，假定各个影响因素与y的关系是线性的，这时就需要建立多元线性回归模型：uxxxymm2211 （5.1.1）给定变量y,mxxx,21的一组观测值miiiixxxy,21，对应地有 imimiiiuxxxy2211，ni,2,1 （5.1.2）uXBY （5.1.3）其中 yy

2、ynY21 xxxxxxmnnmmX2222121111 mB21 uuunu21 多元线性回归模型的基本假设条件如下：假设假设 1：niuEi,2,1,0)(，即 E（u）=E000)()()(2121nnuEuEuEuuu （5.1.4）假设假设 2：niuEuDuii,2,1,)()(22 njijiuuEuuCovjiji,2,1,0),(),(假假设设 3：mjnixuCovji,2,1;,2,1,0),(（5.1.5）式（5.1.7）要求随机扰动项 u 与自变量mxxx,21不相关。假假设设 4：r(X)=m,nm.假设 4 限定矩阵 X 的秩等于参数个数，即要求自变量mxxx,2

3、1不相关。由于随机扰动项包含了“非主要因素”的影响、随机变化、观测误差和模型数学形式设定偏差等各种因素对 y 的影响的总和，根据中心极限定理，还可以进一步假设随机扰动向量 u 服从 n 维正态分布，即 u N（0，2uIn）。第二节 模型参数的估计 与一元线性回归模型一样，我们采用最小二乘法求解参数。设第i期的观测值为yi，预测值为 ，则二者的差值平方和Q为：iy pipiiixbxbxbby.22110211102112).()(pipiniiiniiniixbxbbyyyeQ（5.2.1）（5.2.2）根据N元2次方程求极值原理，对（5.2.2）式关于各参数求偏导可得：0.0010pbQb

4、QbQ（5.2.3）求解P+1元一次方程组（5.2.3）可得参数的估计值：pbbbb,.,210案例应用：P77第三节第三节 回归系数向量估计值回归系数向量估计值 的统计性质的统计性质B回归系数向量的估计值 具有线性性质。估计值 是回归系数向量的无偏估计量。BB回归系数向量估计值 具有最小方差性。B第四节多元线性回归模型的检验第四节多元线性回归模型的检验 在建立多元线性回归模型的过程中，为进一步分析回归模型所反映的变量之间的关系是否符合客观实际，引入的影响因素是否有效，同样需要对回归模型进行检验。常用的检验方法有检验法，检验法，t检验法和检验法。一、检验法（相关系数与复可决系数检验法）一、检验

5、法（相关系数与复可决系数检验法）mxxx,2122222)()(1)()(yyyyyyyyRiiiii检验法是通过复相关系数检验一组自变量 与因变量y之间的线性相关程度的方法，又称复相关系数检验法。1、复可决系数（5.4.1）它可以用来衡量因变量 与自变量 之线性相关关系的密切程度。（5.4.2）称为复相关系数。ymxxx,2122)()(1yyyyRiii2、复相关系数与相关系数检验法一样，复相关系数检验法的步骤为：（）计算复相关系数；（）根据回归模型的自由度nm-1 和给定的显著性水平 值，查相关系数临界值表；（）判别。3、复相关系数检验步骤4、回归系数的显著性检验P84检验是通过统计量检

6、验假设 ：是否成立的方法。0H021m)1()()(22mniimiFyyyy二、二、检验检验（）统计量。（5.4.3）式（5.4.3）中的m是回归变差 的自由度，nm-1是剩余变差 的自由度。（2）对给定的显著性水平 ，查分布表可得临界值 。若 ，则否定假设 ：认为一组自变量与因变量y之间的回归效果显著；反之，则不显著。)(2yyi)(2yyii)1,(mnmF)1,(mnmF0Hmxxx,21三三、t 检验检验 t 检 验是 通 过 t 统 计量 对 所求 回 归模 型的 每 一个 系 数逐 一 检验 假 设0H：mjj,2,1,0是否成立的方法。（）（）t 统计量统计量 jStjj mj

7、,2,1 （5.4.10）式中j为第 j 个自变量xj的回归系数；jS是j的样本标准差。（）（）t 检验的步骤检验的步骤 计算估计标准误差 mniiSyy)(2 因为1iu的最初序号必须是，所以分子求和公式必须从开始。将（5.4.14）式展开，得：nininiiinieeeeeiiiDW1222212212 （5.4.15）在大样本情况下，即 n，可以认为niiniiniieee1222122，所以上式可以写成：)1(2)1(211221ReeeniniiiiDW （5.4.16）1R是iu与1iu的相关系数1的估计量。当iu与1iu正相关时，11R，0DW；当iu与1iu负相关时，11R，4

8、DW；若不存在自相关或相关程度很小时，01R，2DW。从式（5.4.16）可以看出，值在之间。表5.4.1 检验判别表 第五节第五节 多元回归在经济预测和分析中的应用多元回归在经济预测和分析中的应用一、点估计 在多元线性回归模型中，对于自变量x1,x2,xp 的一组给定值，代入回归模型，就可以求得一个对应的回归预测值，又称为点估计值。pbxbxbby002201100.二、区间估计二、区间估计 所谓预测区间就是指在一定的显著性水平上，依据数理统计方法计算出的包含预测对象未来真实值的某一区间范围。估计区间为：00,yy利用样本方差sy来近似总体方差,则有，niiiypnyys12)1/()(根据

9、大样本统计经验，可以根据需要取值为，2，3，4，。与概率的对应关系为：68.26%2 95.46%3 99.73%4 99.9937%5 99.999943%6 99.9999998%第第5 5节含有虚拟变量的回归模型节含有虚拟变量的回归模型 一、虚拟变量一、虚拟变量 品质变量不像数量变量那样表现为具体的数值。它只能以品质、属性、种类等形式来表现。要在回归模型中引入此类品质变量，必须首先将具有属性性质的品质变量数量化。通常的做法是令某种属性出现对应于1，不出现对应于0。这种以出现为，未出现为形式表现的品质变量，就称为虚拟变量。二、带虚拟变量的回归模型二、带虚拟变量的回归模型 常见的带虚拟变量的

10、回归模型有以下三种形式：Xi02 X2Yi式（5.5.2）的趋势变化如图所示Xi02 X2Yi3、含有多个虚拟变量的线性回归模型。含有多个虚拟变量的回归模型建模步骤如下：第6节自变量的选择 一、逐步回归法一、逐步回归法 逐步回归法是一种按照变量的边际贡献选择自变量的方法。所谓边际贡献就是某一变量加入到模型中来或从模型中删除对回归平方和或模型解释力（样本决定系数）的影响。如果一个变量加入到模型中或从模型中删除后模型的回归平方和或模型解释力（样本决定系数）变化不大，则可以认为此变量的边际贡献较小，因此这一变量就没有必要加入到模型中来。反之，则认为该变量的边际贡献较大，应当保留或加入到模型中。设 y

11、 为因变量,mxxx,21为可能的自变量。运用逐步回归法选择自变量有两种不同的方式。一种是逐个增加自变量的方法，称为前向回归法；另一种是逐个减少自变量的方法，称为后向回归法。第第7 7节节 若干问题讨论若干问题讨论 一、模型设定误差一、模型设定误差 我们在5.6中讨论了自变量的选择问题。但无论是哪一种选择自变量的方法，都存在如何确定加入或删除变量的标准问题。标准的设定需要预测工作者的智慧及其对所研究问题的深入了解和认识。因此，难免会发生模型设定误差。回归模型中自变量“过少”，即遗漏了必要的自变量时，将会影响估计量的无偏性和一致性；回归模型中自变量“过多”，即在模型中加入不必要的自变量时，则会破坏估计量的最小方差性。二、关于样本容量问题二、关于样本容量问题 收集高质量的样本数据是建立预测模型的基础性工作。选择适当的样本容量，既能够满足参数估计的需要又能节约时间和经费，就成为一个值得重视的问题。对于一个含有m个自变量的回归方程，设样本容量为n，则为n行m+1列矩阵，由式（5.7.16）可知，样本容量n必须满足 因此，要得到参数估计量 ，样本容量n一定不能小于模型中所包含的自变量个数加1。是样本容量的最低限。1 mnB1 mn