多元统计分析自己写

多元统计分析有哪些应用?

比较

关系

预测

分类

评价

各种应用对应的多元统计分析方法

比较：多元方差分析

关系：回归模型

预测：回归模型

分类：聚类分析与判别分析、回归模型

评价：主成分分析与因子分析

?多元回归、logisitic回归、Cox回归、Poisson回归

多元统计分析方法主要内容

多元T检验、多元方差分析

?Hotelling T2

?multivariate analysis of variance (MANOV A)

多元线性回归(multivariate linear regression)

logistic回归(logistic regression)

Cox比例风险模型(Cox model)

Poisson回归(Poisson regression)

聚类分析(cluster analysis)

判别分析(discriminant analysis)

主成分分析和因子分析

生存分析

本课程的要求

上机做练习，分析实际资料

学会看文献，判断统计分析的应用是否正确

统计软件SAS，或Stata, SPSS10.01

考试：

理论占30%，实验占70%

二、多元统计分析的基本概念

研究因素从广义的角度看，所有可以测量的变量都可以成为研究因素，比如：年

龄、性别、文化程度、人体的各种生物学特征和生理生化指标环境因素、心理因素等。狭义来看，研究因素是指可能与研究目的有关的影响因素

多元统计分析对多变量样本的要求

①分布：多元正态分布、相互独立、多元方差齐

②样本含量

目前尚没有多元分析的样本含量估计方法，一般认为样本含量应超过研究因素5-10倍以上即可。

数值变量→分类成有序分类变量

哑变量的数量=K-1（K为分类数）

三、多元统计分析的主要内容和任务

主要内容：

多因素分析是研究多个变量之间的依存关系的统计方法。在多个研究因素中，应根据专业知识确定哪些是结果变量（反应变量），哪些解释变量（自变量），通过一些特殊的统计模型对数据进行拟合，找出众多的解释变量中与反应变量有关的因素（影响因素），并确定其作用的大小和方向。

研究目的可以分为2大类

①研究因素的依赖性：即某一反应变量与多个解释变量间的依存关系。如多元线性回归、logistic回归、Cox回归、判别分析等。

②研究因素间的互依性：即无反应变量和解释变量之分，研究多个因素间彼此关系或彼此影响。如主成份分析、因子分析、聚类分析、典型相关分析等。

主要任务

多因素间的关系错综复杂，因此多元统计分析的主要任务是使复杂问题简化，将无关的因素丢弃，即抓住西瓜丢去芝麻。即抓住主要矛盾将无关或影响甚微的因素去除。思路有2种：①直接减少研究因素；

②通过变量变换减少研究因素：主成分分析、因子分析、典型相关等。目的是使复杂问题简单化。

衡量回归方程的标准

建立回归方程时要求：既要尽可能提高拟合的精度，又要尽可能使模型简单。

常用的衡量方程“优劣”的标准有：

1、决定系数（R2）；

2、复相关系数R

3、调整决定系数（R2adj）；

4、剩余标准差（sy.x1x2…xp）。

5、赤池信息准则（AIC）

6、Cp统计量

逐步回归（一）

Stepwise（逐步回归法）是一种从众多的回归模型中快速选择“最优”模型的统计思维方法或建模策略，保证“最优”模型中的自变量少而精。

它的作用主要是筛选回归自变量。

方法有：逐步向前法和逐步向后法。

逐步回归（二）

步骤（介绍逐步向前法）：

1、事先给定一个剔除变量的标准；

2、按自变量对因变量的贡献大小，由大到小依次进入方程；

3、每当一个自变量进入方程，重新对方程内的自变量进行假设检验，有统计学意义的自变量继续留在方程中，无统计学意义的自变量则被剔除；

4、如此边引入边剔除，直到既没有新的有统计学意义的自变量可引入方程内，也没有无统计学意义的自变量被剔除方程外为止。

逐步回归（三）

一、引入和剔除变量的标准：

1、假设检验的P值：对偏回归系数进行假设检验，P值越小，说明对因变量的贡献越大；

2、偏回归平方和的检验统计量F 值：对偏回归系数进行假设检验，F 值越大，说明对因变量的贡献越大。

二、偏回归平方和的概念：

所有自变量都在方程内算出回归平方和SS回，把xi除去再算出回归平方和SS回-i，两者之差即为xi的偏回归平方和。

三、检验水准

剔除变量的水准P剔和引入变量的水准P选，为了防止计算机进入“死循环”，要求前者略大于后者。

指标的量化（一）

应用线性回归时要求因变量是定量指标，自变量与因变量的关系为线性的。

1、对定量指标：符合线性要求的，直接以原变量形式进入分析；若不符合线性要求的，作适当变量变换，直到符合线性关系时，方可作回归分析。

2、对定性指标：

（1）二分类指标：若变量x为性别，则女性为x=0，男性为x=1，作出的回归方程中x的系数b表示男性的因变量y比女性平均多b个单位。

指标的量化（二）

（2）多分类指标：若变量x为血型（A、B、AB、O型四种），则需用3个哑变量（或指示变量）表示四种血型：x1 =0、x2 =0、x3 =0，表示O型；

x1 =1、x2 =0、x3 =0，表示A型；

x1 =0、x2 =1、x3 =0，表示B型；

x1 =0、x2 =0、x3 =1，表示AB型。

O型为对比的基础，方程中x1的系数b1表示A型血者的因变量y比O型血者平均多b1个单位；x2的系数b2表示B型血者的y比O型血者平均多b2个单位；x3的系数b3表示AB型血者的y比O型血者平均多b3个单位。

指标的量化（三）

3、对等级资料

（1）若变量x为文化程度，而且因变量y的改变在每个等级上是近似相等的，则将等级数量化后直接进入分析。

如：x=0表示文盲，x=1表示小学，x=2表示中学，

x=3表示中学，x=4表示大学本科，x=5表示硕士、博士。结果中x 的系数b表示：文化程度每上升一个等级，则因变量增加b个单位；

（2）若因变量y的改变在每个等级上是不相等的，则与多分类指标一样要设哑变量，结果解释也与其一样。

回归系数反常的原因

回归方程建立后，可能发现回归系数从专业知识上解释不通；或整个方程显著，但每个变量均没有显著性；或有些变量从专业上看很重要，却选不进方程。

原因主要有：

1、数据中有离群值或异常值；

2、样本含量不够，或自变量数太多；

3、自变量的观察范围太窄，或方差太小；

4、自变量之间存在共线性。

?多元共线性会导致的现象：

1.符号与实际不符合

2.回归系数的估计值与实际相差太大

3.回归系数的标准误太大，重要变量选不进方程

4.整个方程有显著性，而每一个自变量均无显著性

多重共线性（一）

例如试建立由外形指标（x1、x2、x3分别为身长、头围、体重）推测胎儿周龄y的回归方程：

y对x1、x2、x3的一般多元线性回归分析，建立方程为?=11.0117+1.6927x1-2.1589x2+0.0075x3，

出现头围的回归系数为负的不合理现象。

怀疑3个自变量之间存在共线性。

共线性的主要解决方法：

岭回归或主成分回归。

多重共线性（二）

多重共线性一词最早由R.弗里希于1934年提出，它指的是回归模型中某些或所有自变量间存在完全或近似完全的线性关系。

目前常用的多重共线性诊断方法有：

1.自变量的相关系数矩阵诊断法：研究变量的两两相关分析，如果自变量间的相关系数很大，则认为存在多重共线性。

2.方差膨胀因子（the variance inflation factor，VIF)诊断法：方差膨胀因子表达式为：VIFi=1/（1-R2i)。其中Ri为自变量xi对其余自变量作回归分析的复相关系数。当VIFi很大时，表明自变量间存在多重共线性。

多重共线性（三）

3.容忍值（Tolerance，简记为Tol）法：容忍值实际上是VIF的倒数，即Tol＝1/VIF。其取值在0～1之间，Tol越接近1，说明自变量间的共线性越弱；Tol越接近0，说明自变量间的共线性越强。在应用时一般先预先指定一个Tol值，容忍值小于指定值的变量不能进入方程，计算结果具有稳定性。

4.条件数：某些维度该指标的数值大于30，则说明存在共线性

5.特征根分析法：如果相当多维度的特征根约等于0

SPSS过程：

在打开按钮“Statistics”后的对话框中，选中“Collinearity Diagnostics”和“Part and Partial Correlations”即可；结果中有相关系数矩阵、VIF、Tol、条件数。

岭回归简介

关键：确定岭参数k。

步骤：

1、选择不同的岭参数k，估计相应的回归系数；

2、将不同k值时的回归系数连成一条曲线，即岭迹；

3、观察岭迹稳定（或各回归系数稳定）时所对应的k值即为岭参数k；

4、建立岭参数k下的回归方程。

优点：

岭回归分析所得的回归方程符合实际情况。

? logistic 的主要内容 ? 非条件logistic 回归 ? 条件logistic 回归 ? 多类结果的logistic 回归

? 有序结果的累计比数logistic 回归 ? logistic 回归的正确应用 ? 二分类logistic 回归的SPSS 过程 ?

配对logistic 回归的SPSS 过程

? 多分类有序的logistic 回归SPSS 分析过程 模型简介

传统方法与logistic 回归的关系 回归系数的解释

模型的估计与假设检验 建模策略

? 多元线性回归的适用条件： 复习前面的内容：

条件：线性关系、独立、正态、方差齐等。 分类变量的比例；定量变量的比例

为什么要引入logistic 回归模型

? 经典方法的局限性（如分层校正技术） 1.只能将因素分析2个或几个水平；

2.只能控制2-3个混杂因素的干扰，且各因素各水平的组合需要足够的样本含量；

3.只能判断因素对发病的影响是否存在，不能对危险因素的作用大小进行定量分析，同时也不能分析交互效应。

? 1 模型简介

P 发病的概率, 0≤P ≤1。 Cox(1970) logit 变换

?

logistic 回归模型

? P 发病的概率。

1122m m

P x x x αβββ=++++

?

为“机会”

或“优势”(odds)

? 为优势之对数(log odds) 和优势比

? logistic 回归模型的几种形式

2 传统方法与logistic 回归

? 四格表资料(病例对照)与logistic 的关系 ? 分层四格表资料与logistic 的关系

例 四格表资料

探讨妇女使用雌激素与患子宫内膜癌的病例-对照研究

m

m x x x P βββα++++= 2211logit m m x x x P βββα++++= 2211logit

? 四格表资料的logistic 回归

X=1 表示使用过雌激素 X=0 表示未使用过雌激素

四格表资料与logistic 回归

?

?

例 分层四格表资料与logistic 回归

按年龄分层的心肌梗死与近期口服避孕药的关系

传统方法与logistic 回归的关系

? 单因素病例对照研究的OR ，与logistic 回归等价；

?

分层病例对照研究的ORMH ，与logistic 回归结果近似。

x

P 1.3107+0.2478- =logit 1.3107

3.7089

OR e

==

? logistic 回归是传统方法的扩展。

? 混杂因素的控制

? 控制某混杂因素，实际上就是将该因素纳入模型。

?

在解释暴露因素的影响时，该混杂因素实际上是控制了。

3 回归系数的解释

? logistic 回归中的系数β，与OR 有关！

? 一个暴露因素时，当暴露为1，非暴露为0时，β＝ln(OR )

回归系数的解释

c0时，

? 回归系数的解释

一个暴露因素：暴露为1，非暴露为0。

一个混杂因素时：水平数分别为：1，2，… 当x 2固定时(取某个值的前提下)：

logit P x x αββ=++1122

例食道癌危险因素研究

在食道癌危险因素研究中，采用病例-对照设计，调查了200个食道癌患者和788个非食

? 2.1039 控制了吸烟和饮酒，年龄每增加１个等级，患食道癌的可能性增加2.1倍。

? 3.0120 控制了年龄和吸烟，饮酒每增加１个等级，患食道癌的可能性增加3.0倍。

1.5386 控制了年龄和饮酒，吸烟每增加１个等级，患食道癌的可能性增加1.54倍。

回归系数的解释

?等级变量：一般以最小等级或最大等级作为参考组，并按等级顺序依次取为0，1，2，…。此时，exp(β)表示X增加一个等级时的优势比，exp(kβ)表示增加k个等级时的优势比。

?连续性变量：表示增加1(个计量单位)时的优势比（在实际评价中意义不大）。

回归系数的解释

多分类变量：哑变量(dummy variable)

x＝1时：D1＝0，D2＝0，D3＝0 表示A型血

x＝2时：D1＝1，D2＝0，D3＝0 表示B型血

x＝3时：D1＝0，D2＝1，D3＝0 表示AB型血

x＝4时：D1＝0，D2＝0，D3＝1 表示O型血

exp( 1) 表示B 与A 比之OR;

exp( 2) 表示AB 与A 比之OR; exp( 3) 表示O 与A 比之OR 。

α的解释（一般性了解）-在实际分析中意义不大 ? 在横断面调查研究中，

? 在队列研究中，表示基线状态下，个体的发病率；

? 在成组病例-对照研究中，表示基线状态下，病例在研究对象中所占比例；

?

在1:1配比病例-对照研究中，α=0，该数值等于0.5，表示基线状态下，病例在研究对象中占一半；

4 模型的估计及假设检验

? 线性模型时，用最小二乘估计(LSE )

? logistic 回归模型，用极大似然估计。 (maximum likelihood estimate, MLE)

Wald 检验

? Wald 检验实际上是比较估计系数与0的差别来进行的，其检验统计量为：

?

z 的平方。

似然比检验(likelihood ratio test)

? 似然比检验是通过比较两个相嵌套模型的对数似然函数统计量G (又称Deviance )来

进行的，其统计量为：

G ＝GP －GK

＝－2ln(LP )+2ln(LK )

其中，模型P 中的变量是模型K 中变量的一部分，另一部分就是我们要检验的变量(模型P 嵌套在模型K 中)。

? G 服从自由度为K-P 的χ2分布。 例 分层四格表资料与logistic 回归

按年龄分层的心肌梗死与近期口服避孕药的关系

?

Model 1: logit P =常数项

?Model 2:logit P =常数项+口服药

?Model 3:logit P =常数项+口服药+年龄

?Model 4:logit P =常数项+年龄

年龄为哑变量的模型

5 建模策略

1.任一建模过程均应从详细的各变量的单因素分析开始。

2.对性质相同的一些自变量进行部分多因素分析，并探讨自变量纳入模型时的适宜尺

度，及自变量间的必要的一些变量变换。

3.在单变量分析和相关自变量分析的基础上，进行多因素的逐步筛选，

4.在多因素筛选模型的基础上，考虑有无必要纳入变量的交互作用项。

建模策略(总结)

任一建模过程均应从详细的各变量的单因素分析开始。

对性质相同的一些自变量进行部分多因素分析，并探讨自变量纳入模型时的适宜尺度，及自变量间的必要的一些变量变换。

在单变量分析和相关自变量分析的基础上，进行多因素的逐步筛选，

在多因素筛选模型的基础上，考虑有无必要纳入变量的交互作用项。

对于一些在专业上有意义的变量，不管单因素是否有意义，最后都应放在模型里．

不同的模型

?不同的分析思维、不同的统计方法所得模型可能不一样，应该允许多个模型并存，只要他们真正较好地反映了病因与疾病间的联系。

?二分类结果变量的logistic回归分析

(Binary logistic Regression)

二分类非条件logistic回归是研究1个因变量（两分类：0、1）与多个自变量之间回归关系的统计分析方法。在流行病学研究中常用于疾病危险因素资料的危险度分析。如病例--对照研究、队列研究或横断面研究等资料。

logistic回归模型对资料分布亦无特殊要求，故自变量可以是连续型变量，也可以是离散型变量。

数据格式(原始数据、频数表两种形式)