数理统计结课论文

数理统计中回归分析的探究与应用

回归分析问题探究

摘要

本文主要针对数理统计中的回归分析问题，通过对一元线性回归、多元线性回归以及非线性回归原理的探究，分别运用了SPSS和MATLAB软件进行实例分析以及进一步的学习。

首先，通过变量之间关系的概念诠释引出回归函数；其次，针

对回归函数，分别对一元线性回归原理上的学习，了解并会运用这三种线性回归模型、参数估计和回归系数的显著性检验来处理和解决实际的一元线性回归问题；接着，对多元线性回归和非线性回归进行学习，掌握它们与一元线性回归在理论和实践的联系与区别；然后，通过实际问题运用SPSS进行简单的分析，熟悉SPSS软件的使用步骤和分析方法，能够运用SPSS进行简单的数理分析；最后，用MATLAB编程来处理线性回归问题，通过多种方法进行比较，进行线性回归拟合计算并输出Logistic模型拟合曲线。

关键词：回归分析；一元线性回归；多元线性回归；非线性回归；SPSS；MATLAB

一、回归概念

一般来说，变量之间的关系大致可以分为两类：一类是确定性的，即变量之间的关系可以用函数的关系来表达；另一类是非确定性的，这种不确定的关系成为相关关系。相关关系是多种多样的，回归分析就是研究相关关系的数理统计方法。它从统计数据出发，提供建立变量之间相关关系的近似数学表达式——经验公式的方法，给出相关行的检验规则，并运用经验公式达到预测与控制的目的。

如随机变量Y与变量x（可能是多维变量）之间的关系，当自变量x确定后，因变量Y 的值并不跟着确定，而是按照一定的停机规律（随机变量Y的分布）取值。这是我们将它们之间的关系表示为

其中是一个确定的函数，称之为回归函数，为随机项，且。回归分析

的任务之一就是确定回归函数。当是一元线性函数形时，称之为一元线性回归；当

是多元线性函数形时，称之为多元线性回归；当是非线性函数形时，称之为非线性回归。

二、回归分析

2.1 一元线性回归分析

2.1.1 一元线性回归模型

设随机变量Y与x之间存在着某种相关关系，这里x是可以控制或可以精确测量的普通变量。对于取定的一组不完全相同的值做独立实验得到n对观察值

一般地，假定x与Y之间存在的相关关系可以表示为

，

其中为随机误差且，未知，a和b都是未知参数。这个数学模型成为医院

线性回归模型，称为回归方程，它所代表的直线称为回归直线，称b为回归系数。

对于一元线性回归模型，显然有。

回归方程放映了变量X与随机变量Y之间的相关关系。回归分析就是要根据

样本观测值找到a和b适当的估计值，建立线性回归方程，从而利用这个公式来近似刻画变量x与随机变量Y之间的关系。

2.1.2 参数估计

如何根据观测数据得到回归方程

呢？一个直观的做法就是：选取适当的a和b，使得直线上的点与实验数据中对应点之间的误差尽可能小。若记为直线上的点，为实验数据点，则表达式

就刻画了直线上点之间的偏离程度。通常我们记

，

这样就表示直线上相应点与全体数据点之间总的偏离程度。总得偏离程度越小，回归方程就越能客观放映出变量x与Y之间的线性关系。所以，在数理统计中，将能够使取得最小值的a与b所确定的方程视为变量x与Y之间的线性回归方程。而且把利用这种思想求出的估计值成为参数a与b的最小二乘估计，这种方法成为最小二乘法。

我们利用微积分的知识来确定取得最小值的条件。将表达式

分别对位置参数a与b求偏导数，并令其为零，即得

整理得

上式称为正规方程组。由于不完全相同，所以正规方程组的系数行列式

不为零。因此，我们得到的正规方程组的唯一解为

因此，我们得到了x与y之间的线性回归方程

或

这个线性回归方程表明，经验回归直线L是通过这n个数据点几何重心且斜率为的直线。为了计算方便起见，我们引入如下记号：

这样

2.1.3 回归系数的显著性检验

在上面的论述中，运用最小二乘法求回归方程的条件除了要求诸不完全相同外，没有其它条件，也就是说无论变量x与Y是否具有线性关系，只要诸不完全相同，使用最小二

乘法总能求出a与b的一个无偏估计与，并能得到变量x与Y的一个线性回归方程

。若变量x与Y之间根本不存在线性关系，那么这个线性回归方程就没有任何意

义。因此，实际问题中，我们必须对用最小二乘法求出的线性回归方程进行检验，来判断变量x与Y之间相关关系是否真的可由所得到的线性回归方程给出。

若果变量x与Y之间存在线性相关关系，那么模型中b不应为零。否则，就有，这意味着x与Y没有任何关系。因此，我们需要假设

进行检验。当拒绝时，认为变量x与Y之间有显著的线性相关关系，也称为回归效果显

著。否则，称为回归效果不显著。这时变量x和Y之间的关系有很多种可能：或许二者之间关系不是线性的，或许除变量x之外还有其他不可忽视的因素对Y产生影响，甚至是它们的相关关系很弱，不是必须重视的。

为了给出显著检验的拒绝域，先做一些准备工作，记

称SS为总偏差平方和，它反映了数据中变量取值的离散程度。即

称为回归平方和，它放映了n个回归数值相对于的离散程度，它是由x去不同的值而引起的。将带入上述回归平方和表达式

中，有

记

其中称为第i个残差，i=1，2，……，n。称为残差平方和，呀反映了n次试验的累计误差。由回归方程的意义知道，它是n次试验的累计误差的最小值，即

小面推导残差平方和的计算公式，由

推得

这样我们就得到平方和的分解公式

对回归系数的显著性检验一般有一下三种方法

（1）t检验法(回归系数的显著性检验)

取检验统计量

可以证明，当成立时，于是，在显著性水平下，当

时，拒绝，认为回归效果显著。在回归分析中，t 检验用于检验回归系数的显著性，即检验因变量y对自变量x的影响程度是否显著。（2）F检验法（回归系数的显著性检验）

取检验统计量

这里的F检验其实就是方差分析的内容，见下表2.1

表2.1 一元线性回归方程的方差分析表

方差来源平方和自由度均方F值

1

回归

误差 2

总计

可以证明，当成立时，。于是在显著水平下，确定临界值

。当时，就拒绝，说明总体回归系数,

即回归方程是显著的。由于，所以F检验法与T检验法基本上式一致的。

在线性一元回归分析中，回归方程的显著性检验和回归系数的显著性检验作用是相同的，两者可以互相替代。

（3）回归方程的拟合优度检验

将回归平法和与总离差平方和之比定义为样本决定系数，又称判定系数，记为即

决定系数是一个衡量回归直线对样本观测值拟合优度的相对指标，反映了变量的波动中能用变量所解释的比例。的值总是在0~1之间，越接近1，拟合度就越好；反之，说明

模型中给出的x对y信息还不充分，回归方程效果不好，应该进行修改，使x与y的信息得到充分利用。

2.1.4 预测与控制

回归方程的重要应用就是预测和控制问题。所谓控问题，就是对于给定的点，预

测出y的取值范围。控制问题则是问题的反问题，就是将y限制在某个范围内，应如何控制x的取值。

（1）预测问题

设自变量与因变量服从模型

且与样本相互独立。

首先，我们计算时的回归值

将作为的预测值，但这样求出的预测值一般来说是有误差的。产生误差的原因，一是由

于只是平均值的一个估计，而的实际值很可能偏离它的平均值；二是因为的取

值是依赖于估计值与的，而与是随机抽样误差的。因此我们还需要求出的预测区间

即置信区间。

双侧预测区的上下限为

或

双侧预测区的长度为

在实际回归问题中，样本容量n常是很大的，这时对于在附近的x来说，我们能得较短的预测区间，而且当时长度最短，这事预测效果最佳。反之，当得取值超出原始的试验点的范围之外时，由于此时预测区间长度过宽，将会导致预测效果

不好。

当n较大时，通常d取1，且用代替，用代替。这时预测区间的上下限简化为

（2）控制问题

在实际问题中，我们还会遇到控制问题，即若要求观察值y在某个区间内取值时，问应控制x在什么范围？也就是要求对于给定的置信度，求出相应的和，使得当时，所对应的观察值y落在内。

我们只谈论在n很大的情况，这时，这时公式可改写

当与的值确定以后，根据上式就可以求出相应的和的值，作为x控制的端点值。需要注意的是，为了有效控制x的范围区间，必须大于=2，即

.

2.2 多元线性回归分析

在实际问题中，一般影响因变量的因素常常不止一个，这就是因变量与多个自变量相关关系问题，要用多元回归的方法来解决。

2.2.1 多元线性回归的数学模型

多元线性回归模型的一般形式：

式中，，，……，是个未知数，称为回归系数。Y称为被解释量，而

是个可以精确测量并可控制的一般变量，称为解释变量。时，上式即为上一节分析的一元线性回归模型，时，我们就成上式为多元线性回归模型，这里是随机误差。与一

元线性回归模型一样，对随机误差项我们常假定其期望值为零、方差为的正态分布

。

对于一个实际问题，如果我们获得n组观测数据，

把这些观测值代入上式可得样本多元线性回归模型：

写成矩阵形式为：

其中：

2.2.2 多元线性回归模型的基本假定

为了对模型参数进行估计和推断，常常要对回归模型做如下的假定：

1)解释变量是确定性变量，不是随机变量，且要求矩阵x中的自变量

列之间不相关，样本容量的个数应大于解释变量的个数。

2)随机误差项具有零均值和同方差，即

i.j=1,2,...,n

3)正态分布的假设条件：

i.j=1,2,...n

由上述假设和多元正态分布的性质可知：服从维正态分布，且。

2.2.3多元回归模型的参数估计

多元线性回归方程未知参数的估计与一元线性回归方程的参数估计原理一样，所以选择的估计值与观测值之间的残差在所有样本点上打到最小，即使达到

最小。所以求，使得

,

即

有多元函数求极值点的方法可求得回归系数的最小二成估计值为：

另外，未知参数的一个无偏估计，实际就是残差均方和（MSE）。

2.2.4多元线性回归模型的显著性检验

多元线性回归模型的显著性包括两方面的内容：一是对整个回归方程的显著性检验，即F检验；另一个是对个回归系数的显著性检验，即t检验。在一元线性回归方程的检验时，这两个检验时等价的，但在多元线性回归模型的检验时两者却不同。

（1）回顾方程的显著性检验

1.提出假设：

2.构建F统计量，见表2.2：

P

回归

误差

总计

3.给定显著水平，查F分布表，的临界值；

4.若，则拒绝，接受备择假设，说明总体回归系数不全

为零，即回归方程是显著的；反之则认为回归方程不显著。

（2）回归系数显著性检验

1.提出假设：；

2.T检验的计算公式为：，其中是回归系数标准差，

中第个主角线元素。t值应该有p个队每一个可以计算一个t值。

3.给定显著水平，确定临界值；

4.若，则拒绝；接受备择假设，说明总体回归系数。（3）多元线性回归方程的拟合度检验

采用调整的决定系数作为统计量

的取值范围和数值大小的意义与是完全相同的。

2.3非线性回归分析

在对实际的客观现象进行定量分析时，对变量间非线性相关问题的曲线拟合，处理的方法有:

1.决定非线性模型的函数模型，对其中课线性化的问题则通过变量将其线性化，从而归结

为前面的多元线性回归问题来解决。

2.方程形式应与有关实质型科学的基本理论一致。例如，采用幂函数的形式，能够较好的

表现生产函数；采用多项式方程能够较好的反映总成本与总产量的关系等等。

3.若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项

式回归来拟合曲线。

4.若变量间非线性关系已知，且难以用变量变换法将其线性化，则进行数值法迭代的非线

性回归分析。

5.一般来说，数学形式越简单，其可操作性就越强。

根据经验公式或散点图，选择适当的曲线回归方程。为了确定其中的未知参数，往往可以通过变量代换，把非线性回归化为线性回归，然后用线性回归的方法确定这些参数的值。

（1）直接代换法

直接替换法适用于变量之间关系虽然是非线性的，但因变量参数间关系却是线性的非线性模型；

i.多项式模型

基本形式：

线性化方法：令

转化为线性模型：

ii.双曲线模型

基本形式：

线性化方法：令

转化为线性模型：

即

（2）间接替换法

间接代换法是先通过方程两边取对数后再进行变量代换，转化为线性形式。

1.指数函数

基本形式：

线性化方法：两端去自然对数

令，

转化为线性模型：

2.幂函数

基本形式：

线性化方法：两端去对数

令，

转化为线性模型：

三、SPSS软件操作及应用实例

1)定义变量和输入、整理数据。

2)选择“分析/回归/线性”，在线性回归窗口自变量和因变量，单机“统计量”按钮，在

弹出的窗口设置参数；单机“图”按钮，可以选择输出的图形。最后单击继续按钮。3)在结果输出窗口的一元或者多元线性回归计算结果。根据选择参数不同，得到ANOVA

和回归系数等数据。

例1：拖拉机拉杆的朱爱丽和速度有关，测得拖拉机在速度X下的拉力Y，数据见下表，

变量数据

X 0.9 1.3 2.0 2.7 3.4 4.1 5.2 5.5 6.0

425 420 480 495 540 530 590 610 690 680 首先，在SPSS的数据编辑窗口的Variable View 界面定义变量和在Data view 界面输入数据，见下图。

其次，选择“分析”，在窗口选择自变量也因变量，设置“统计量”的窗口设置参数等，见下图

最后点级确定，输出结果，见下图

相关性

Y X Pearson 相关性

Y 1.000 .982 X

.982 1.000 Sig. （单侧）

Y . .000 X .000 . N

Y 10 10 X 10

10

结果分析：

从运行求得回归方程中可知，X的系数为53.314，常数项为362.066，于是，回归方程为

散点图如下图所示：

经检验，回归方程的显著性达到0.0001，极显著；对回归方程系数及常数项T检验都达到极显著，说明该方程有应用价值。

四、MATLAB应用实例

炼钢厂出钢水时用的钢包，在使用过程中由于钢水及炉渣对耐火材料的浸蚀，其容积不断增大。现在钢包的容积用盛满钢水时的重量y(k g)表示，相应的试验次数用x表示。数据见表4.1，要找出y与x的定量关系表达式。

1 2 106.42 8 11 110.59

2 3 108.20 9 14 110.60

3 4 109.58 10 15 110.90

4 5 109.50 11 16 110.76

5 7 110.00 12 18 110.00

6 8 109.93 13 19 110.20

x1=1./x;

y1=1./y;

plot(x1,y1,‘k+’); %变换后数据的散点图

x2=[ones(13,1) x1'];

[b,bint,rint,stats]=regress(y1',x2);

z=b(1)+b(2)*x1;

yc=1./z;

plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散点图和回归直线图

变换后数据的散点图及回归直线图

-3

0.050.10.150.20.250.30.350.40.450.5

R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数

plot(x,y,‘k+’,x,yc,‘r’)%数据的散点图和回归曲线图

legend('散点图','回归函数')

b = 0.00896662968057

0.00082917436336

R2 =0.97292374957556

2468101214161820

第一种方法的程序：

format long

x=[2 3 4 5 7 8 10 11 14 15 16 18 19];

y=[106.42 108.20 109.58 109.5 110 109.93 110.49 110.59 110.60 110.9 110.76 111 111.20];

plot(x,y,‘k+’);%数据的散点图

x1=1./x;

y1=1./y;

plot(x1,y1,‘k+’); %变换后数据的散点图

x2=[ones(13,1) x1'];

[b,bint,rint,stats]=regress(y1',x2);

z=b(1)+b(2)*x1;

yc=1./z;

plot(x1,y1,‘k+’,x1,z,‘r’)%变换后数据的散点图和回归直线图

n=length(x);

lyy=sum(y.^2)-n*(mean(y))^2;

R2=1-sum((y-yc).^2)/lyy;%模型的拟合优度系数