第8章非线性回归.ppt

《第8章非线性回归.ppt》由会员分享，可在线阅读，更多相关《第8章非线性回归.ppt（94页珍藏版）》请在第壹文秘上搜索。

1、第八章第八章 非线性回归非线性回归8.1 可化为线性回归的曲线回归8.2 多项式回归8.3 非线性模型8.4 本章小结与评注8.1 可化为线性回归的曲线回归y=0+1ex+（8.1）可线性化的曲线回归模型,也称为本质线性回归模型 只须令x=ex即可化为y对x是线性的形式y=0+1x+需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。8.1 可化为线性回归的曲线回归y=0+1x+2x2+pxp+（8.2）令x1=x,x2=x2,，xp=xp，于是得到y关于x1,x2,，xp的线性表达式y=0+1x1+2x2+pxp+(8.2)式本来只有一个自变量x，是一元p次多项式回归，在线

2、性化后，变为p元线性回归。8.1 可化为线性回归的曲线回归y=aeb xe （8.3）可线性化的曲线回归模型,也称为本质线性回归模型 对等式两边同时取自然对数，得：lny=lna+bx+令y=lny,0=lna,1=b,于是得到y关于x的一元线性回归模型y=0+1x+8.1 可化为线性回归的曲线回归不可以线性化的曲线回归模型,也称为本质非线性回归模型 y=aeb x+（8.4）当b未知时，不能通过对等式两边同时取自然对数的方法将回归模型线性化，只能用非线性最小二乘方法求解。(8.3)式的误差项称为乘性误差项 (8.4)式的误差项称为加性误差项。一个非线性回归模型是否可以线性化，不仅与回归函数的

3、形式有关，而且与误差项的形式有关。8.1 可化为线性回归的曲线回归 在对非线性回归模型线性化时，总是假定误差项的形式就是能够使回归模型线性化的形式，为了方便，常常省去误差项，仅写出回归函数的形式。例如把回归模型（8.3）式y=aeb xe简写为 y=aeb x8.1 可化为线性回归的曲线回归SPSS软件给出的10种常见的可线性化的曲线回归方程8.1 可化为线性回归的曲线回归 除了以上SPSS软件中收入的几种曲线回归外，另外几种其他常用的曲线回归,例如1.双曲函数 baxxy或等价地表示为 xbay118.1 可化为线性回归的曲线回归(a0,b0)8.1 可化为线性回归的曲线回归2.S型曲线 x

4、beay1 此S型曲线当a0，b0时，是x的增函数。当x+时，y1/a;x-时，y0。y=0与y=1/a是这条曲线的两条渐进线。S型曲线有多种，其共同特点是曲线首先是缓慢增长，在达到某点后迅速增长，在超过某点后又变为缓慢增长，并且趋于一个稳定值。S型曲线在社会经济等很多领域都有应用，例如某种产品的销售量与时间的关系，树木、农作物的生长与时间的关系等。8.1 可化为线性回归的曲线回归8.1 可化为线性回归的曲线回归 SPSS软件中的S型曲线y=exp(b0+b1/t):当b10时，曲线在t的正实轴上是t的减函数，不是通常意义下的S型曲线。SPSS软件中的逻辑函数在0b1F-0.0516 0.00

5、4-0.2376 0.053-0.3034 0.021-0.3126 0.030-0.378 0.016 X22 ProbF 0.00245 0.100 0.00336 0.033 0.00323 0.048 0.0046 0.019 X3 ProbF -0.292 0.107-1.115 0.168-1.430 0.033 X23 ProbF 0.0206 0.251 0.0317 0.039 X13 ProbF -2.33 0.058 R-square 83.14 92.12 97.11 98.73 99.99 8.2 多项式回归多项式回归22X 此时的逐步回归共进行了5步，依次选入了X2

6、，X22=，X3，X23=X2 X3，X13=X1 X3共5个变量，共计算出5个回归模型:第一个回归模型最先选入的是X2，说明无水碳酸钠的含量是最重要的影响因素；第二个回归模型再选入的是X22=，进一步说明无水碳酸钠的含量是最重要的影响因素，并且说明y与X2的关系是非线性的22200245.02375.0975.5XXy 容易求出此方程在X2=48.548时达极小值y=0.197，比第6号实验值y=0.147略高。22X8.2 多项式回归多项式回归再看第三个回归方程：322229.000336.0303.0311.7XXXy 为使y值最小，X3应该最大，取X3=1.4，X2的取值与X3无关，容

7、易求出此方程在X2=45.145，X3=1.4时达极小值y=0.074，低于第6号实验值y=0.147。8.2 多项式回归多项式回归第四个回归方程是：2223237.8730.31260.003231.1150.0206yXXXX X 在回归方程含有X3的两项1.115 X3+0.0206 X2X3中，当X254时是X3的减函数，根据对第二和第三两个回归方程的分析，两个方程中X2的最优解分别是48和45，所以有理由认为X254，y是X3的减函数，X3越大y越小，因此取X3=1.4。把X3=1.4代入以上方程中，解得X2的极小值是X2=43.944，所以第四个回归方程的最优组合是X2=44，X3

8、=1.4，此时最优预测值y=0.080，与第三个回归方程的最优解基本相同。8.2 多项式回归多项式回归第五个方程是：其中包含了变量X1，并且是作为与X3的交互作用形式出现，说明EDTA对实验指标本身没有影响，只是通过焦亚硫酸钠对实验产生弱的影响。仿照对第四个回归方程求最优解的方法，首先确定X1和X3是y的减函数，分别取最大值X1=0.12和X3=1.4，然后再解得X2=41.241。最优预测值y=0.1280，可以视为接近0。22232313 9.16-0.3790.00406-1.43 0.0317-2.33 yXXXX XX X8.2 多项式回归多项式回归 比较第三、四、五这3个回归模型，

9、回归方程的决定系数分别是：97.11、98.73、99.99%，从回归的效果看第五个回归的效果最好，但是有6个估计参数，而y的数据只有7个，所以估计的误差会较大。第三、四两个回归模型的实验条件基本相同，预测值也很接近，约为0.080，明显小于第6号实验的吸收度y=0.147，是一组稳定的好条件，见表6.13。8.2 多项式回归多项式回归最 优 搭 配 回归 模型 X1（g）X2（g）X3（g）最优 预测值 二 三 四 五 0.00 0.00 0.00 0.12 48 45 44 41 0.0 1.4 1.4 1.4 0.197 0.074 0.080 0.000 表表6.13 6.13 吸收度

10、的最优实验条件吸收度的最优实验条件8.2 多项式回归多项式回归 本例的文献17对吸收度y值先取了倒数作为实验指标，其数值越大越好，然后建立回归方程。这样做的一个好处是避免了本例回归模型五预测值为负值的情况，但是回归方程的效果不好。文献中得到的最优条件是X1=0.12、X2=38、X3=1.4，和本例第五个模型相差不大。8.3 非线性模型非线性模型 一、非线性最小二乘一、非线性最小二乘非线性回归模型一般可记为：yi=f(xi,)+i,i=1,2,n （8.9）其中，yi是因变量，非随机向量xi=(xi1,xi2,，xik)是自变量，=(0,1,，p)是未知参数向量，i是随机误差项并且满足独立同分

11、布假定，即n),2,1,j,(i j i ,0ji ,),cov(n ,2,1,i ,0)E(2jii8.3 非线性模型非线性模型 对非线性回归模型 我们仍使用最小二乘法估计参数，即求使得 niiixfyQ12),()(8.3 非线性模型非线性模型 pjfxfyQnijjjiijjj,2,1,0 0),(21称为非线性最小二乘估计的正规方程组 8.3 非线性模型非线性模型 在非线性回归中，平方和分解式SST=SSR+SSE不再成立。类似于线性回归中的复判定系数，定义非线性回归的相关比为：SSTSSER12相关比也称为相关指数。8.3 非线性模型非线性模型 二、非线性回归模型的应用二、非线性回归

12、模型的应用 例例8.4 一位药物学家使用下面的非线性模型对药物反应拟合回归模型：iiiccxccy12001 自变量x是药剂量，用级别表示；因变量y是药物反应程度，用百分数表示。3个参数c0、c1、c2都是非负的，根据专业知识，c0的上限是100%，3个参数的初始值取为c0=100，c1=5，c2=4.8。测得9个反应数据如下：8.3 非线性模型非线性模型 x 1 2 3 4 5 6 7 8 9y(%)0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4X1086420Y100806040200-20图图8.3 药物反应程度散点图药物反应程度散点图8.3 非线性模

13、型非线性模型 在SPSS的Regression菜单下点选Nonlinear，进入非线性回归对话框，将y点入因变量框，在model Expression框中输入回归函数c0-c0/(1+(x/c2)*c1),然后点Parameters进入参数设置框赋给未知参数初值。8.3 非线性模型非线性模型 Iteration Residual SS C0 C1 C2 1 172.7877170 100.000000 5.00000000 4.80000000 1.1 32.60704344 97.7943996 6.57938197 4.74460195 2 32.60704344 97.7943996 6

14、.57938197 4.74460195 2.1 20.20240372 99.5785656 6.73691756 4.80074972 3 20.20240372 99.5785656 6.73691756 4.80074972 3.1 20.18814307 99.5334852 6.76307026 4.79941696 4 20.18814307 99.5334852 6.76307026 4.79941696 4.1 20.18803580 99.5411768 6.76104089 4.79966204 5 20.18803580 99.5411768 6.76104089 4.

15、79966204 5.1 20.18803473 99.5404448 6.76127044 4.79964160 6 20.18803473 99.5404448 6.76127044 4.79964160 6.1 20.18803472 99.5405197 6.76124802 4.799643828.3 非线性模型非线性模型 8.3 非线性模型非线性模型 8.3 非线性模型非线性模型 y yy序号xye110.500.5-50.48889222.30.272.03-50.21889333.43.98-0.58-46.50889442422.481.52-28.008895554.756

16、.61-1.916.121116682.181.520.5831.031117794.892.342.4641.851118896.296.49-0.2946.001119996.498.14-1.7447.65111均值550.4888950.203330.285556-0.28556离差平方和6014917.8915156.5519.4316215156.55平方和28537860.0437839.8520.1880315157.288.3 非线性模型非线性模型 本例回归离差平方和SSR=15156.55，而总离差平方和SST=14917.89116的限制回归迭代就收敛了。8.3 非线性模型非线性模型 龚珀兹模型和几种常见的非线性回归模型可以用三和值法求解，见参考文献15第13章。在正态误差假定下，非线性回归的最小二乘估计与极大似然估计是相同的，而极大似然估计具有好的大样本性质，例如渐近无偏性、渐近正态性、一致性等。因而非线性最小二乘估计值比三和值更精确，可以把三和值法的参数估计值作为求解非线性最小二乘的初值。8.3 非线性模型非线性模型【例例8.6】下表8.9是我国从195020