中科大概率论与数理统计讲义06假设检验.docx

第六章假设检验教学目的：1）理解假设检验的一些基本概念：零假设、对立假设、两类错误、拒绝域、显著性水 平、功效.2）学会将实际问题转化成假设检验问题来处理.3） 一样本和两样本正态总体均值和方差的假设检验.4） 0-1分布参数的假设检验.5）拟合优度检验、列联表的独立性和齐一性检验.?6.1基本概念和问题的提法?6.1.1零假设,对立假设,两类错误,拒绝域,显著性水平,功效在参数估计问题中，常常在抽样前先对未知总体作一些假定.例如假定总体X服从 正态分布,假定某个正态总体的方差为一个已知值等等.在数理统计中，关于总体分布 的概率性质的假定称为（统计）假设.抽样前所作出的假设是否与实际符合,可以用样本 所提供的信息来检查,检查的方法与过程称为（统计）检验.假设检验问题就是研究如何 根据抽样后获得的样本来检验抽样前所作出的假设.首先,由一个例子引出一些基本概 念.例611.某饮料厂在自动流水线上罐装饮料.在正常生产情况下,每瓶饮料的容量（单 位：毫升）X服从正态分布N （500, 102）（由以往的经验得知）.经过一段时间之后，有人 觉得每瓶饮料的平均容量减小到49。,于是抽取了9瓶样品,称得它们的平均值为i = 492 毫升.试问此断言是否正确？即问平均每瓶饮料的容量仍是500毫升还是变成490毫升? 假定标准差10毫升不变.在这个问题中，设经过一段时间后罐装饮料容量X的平均值为,则由题意可设X s N （, 102）.记x , . . . , X9为取自这个正态总体X的一组样本观测值,则了 = ； 3 Xi = 492.我们需要在“饮料平均容量为500毫升"与“饮料平均容量为490毫升”之间作判断 即在" = 500"和“ = 490”之间作判断.数理统计中,把它们看成两个假设 习惯上,称 前者为原假设或零假设,记作Ho;后者称为备择假设或对立假设,记作或Ha.所谓检 验Ho : = 500 O Hi : = 490.就是要根据样本判断究竟是“Ho成立"还是"Hi成立".断言"Ho成立"称为接受Ho;断言"Fh成 立”称为拒绝Ho .下面讨论如何检验上述假设,即给定一个接受或者拒绝零假设的准则.设从总体中 抽取一个样本K ,. . ., Xn,我们可以用极大似然估计T = S （称之为检验统计量）来估 计 .由于该估计值接近 （尤其是当样本量较大时）,故当T的绝对值小的时候有利于HI 而不利于HO ,此时应该拒绝HO .我们可以事先取定一个常数 ,称之为临界值,当T的取 值小于该临界值时拒绝Ho,即样本满足W = £ V 中时拒绝Ho,称W为拒绝域.即样本的取值落在拒绝域中,就拒绝Ho,否则不能拒绝之. 一个拒绝域就对应于一个检验方法.现在的问题是T应该取多大？这涉及到两类错误.'' 、 事实 '、'、Ho成立Hi成立接受HO不犯错第类错误拒绝HO第I类错误不犯错称"实际上Ho成立但是它被拒绝"这个错误为第I类错误（弃真），而"实际上Ho不成立 但是它被接受”这样一类错误为第H类错误（存伪）.由于我们的方法是基于观测数据,而 观测数据是带有随机误差的,故难免在做出决策的时候犯错,我们能做的是控制犯错的 概率一个理想的检验应该使这两类错误的概率都小,但是在实际问题中不可能使这两 类错误一致地小:要让犯第I类错误的概率小,应该让T小,而要让犯第II类错误的概率 小，则T不能太小.解决这个矛盾的一个方法是在控制I类错误的基础上，尽量少犯第H 类错误（在下一小节中我们讨论如何设定假设时会提到,应该将受保护对象设为零假设, 故犯第I类错误的严重性更大，因此必须尽量避免犯第I类错误）.具体地,选定一个小的 常数。，取T使得犯第I类错误的概率,即T小于T的概率小于。.称。为显著性水平.理想 情况下,取得恰好满足Ph°（T <） = .为控制犯第I类错误的发生,通常将a取为0L 0.05, 0.01等较小的数,具体取值视实际需要而定,有时候要求。很小,比如在涉及到数 十万个基因标记的基因关联分析中,单个位点检验的。一般是IO ?这样的量级.现在将问题一般化.设有假设检验问题Ho :0eOooHi :0eOi.(6.1.1)其中HO为零假设或原假设而HI为对立假设或备择假设.构造一个适当的检验统计量 T = T(Xl,. .,Xn),其中X,. . .,Xn为从总体中抽得的一个样本.根据对立假设的形状 构造一个检验的拒绝域w = T(X1 , . . . , Xn) e A,其中A为一个集合,通常是一个区间. 比如拒绝域可取为T(X1 , . . . , Xn) > Tf则称T为临界值.如果零假设成立但拒绝了零假 设,则称犯了第I类错误,如果对立假设成立但接受零假设，则称犯了第H类错误.如对 任意的0eo,犯第I类错误的概率Pe(T(X1,. . .,Xn)eA)小于或等于某个正的常数), 则称。为显著性水平.显然显著性水平不是唯一的,事实上,如果。是一个显著性水平, 则任意大于。的数都是显著性水平.实际中通常采用显著性水平最小的那一个.一个检 验对应于一个拒绝域,称B() = P (Ho被拒绝)为检验的功效函数.如果检验的显著性 水平为 ,则当6 e Oo时,B() 2 .而当6 e 0,我们希望功效值越大越好(这样犯第 类错误的概率1二()就越小),所以功效可以作为评价一个检验优劣的准则.?6.1.2假设检验问题的提法在有时候需要自己判断如何提假设检验问题.在建立假设检验问题时有两个原则O原则一：将受保护的对象置为零假设.如我国按照以前的司法制度,公安机关抓到 嫌疑犯后,很多情况下要犯人自己证明无罪(有罪推断)，这对嫌疑犯很不利，从而容易 导致冤案.现在的司法制度则总假定嫌疑犯是无罪的，要司法部门证明其有罪(无罪推 断)，这样做大大地有利于保护公民的利益,如果要将真正的嫌疑犯绳之以法,则司法部 门必须有充分的证据,这样做可以有效保护公民的权益,对司法部门要求也变高了.又 比如药厂生产出一种新药,在上市前要通过食品与药品监管局的检验.显然使用药品的 病人是应该受保护的对象,这时应该设定一个有利于病人的命题作为零假设,这个命题 就是“新药不比安慰剂效果好"，以尽量避免病人用无效甚至有副作用的新药.当然,对立 假设就是“新药比安慰剂效果好.将检验的显著性水平设定得较小,以保证零假设不 被轻易推翻.在实际问题中，如果根据某个合理的检验方法发现零假设被推翻，则有充 分的理由认为零假设不成立而对立假设成立,这是因为万一零假设成立而被误据的概率 不会超过。；另一方面,如果发现零假设未被拒绝,并不表明有充分理由接受零假设,而是因为零假设被保护得较严密以至于未被拒绝.原则二：如果你希望“证明”某个命题,就取相反结论或者其中一部分作为零假设（类 似于反证法）.这种提法往往是在两个假设命题中不太清楚哪个应受保护，此时可以借 用司法制度里的“谁主张,谁举证"，即若想用统计方法向人"证明"一个命题,则将那个 命题置为对立假设.注意这里的证明不是数学上的严格证明，而是允许犯错的一种统计 推断方法.用统计方法证明一个命题不是一件容易的事情,所以如果没有足够把握,人 们应该避免用统计方法去证明一个命题.上述两原则是统一的:一般不应该让受保护对象去证明一个命题.?6.1.3检验统计量的选取及假设检验的步骤通过解答例6.1.1来说明假设检验的步骤.例6.12 （例6.1.1续）能否在显著性水平0.05下认为饮料的平均容量确实减少到49。毫 升？解:基于统计量,我们采用“标准化"过的检验统计量（减均值再除以标准差）T n（r 二 500）=10以使该统计量服从标准正态分布,检验的拒绝域仍取形如< T1 ,我们控制犯第I类 错误的概率等于。，即P（TIVTIle = 500） = .由于e = 500时TI服从标准正态分布,易知上面关于TI的方程的解为TI=二Ua,其中UC 等于标准正态分布的上C分位数,即检验的拒绝域为Tl < 二Ua.现在取显著性水平为005,则临界值U0.05 口 1.645.另一方面,样本均值7 = 492,样本 量n = 9,故检验统计量 的观测值等于二2.4,小于临界值1.645,即样本落在拒绝域中, 从而可以在显著性水平0.05下拒绝零假设,认为饮料的平均容量确实减少为490毫升.下面列举几种常见的假设检验问题：（1） Ho : = 0oH :6 = 01；（2） Ho : = o o Hi : o;（3） Ho : = 0o Hi : > 0 或者Ho : 2 0o Hi : > 0（4） Ho : = o o Hi : < o 或者HO : o o Hi : < o称为简单假设,(2)为双侧假设因为对立假设是双侧的，(3)和(4)为单侧假设因 为对立假设是单侧的.这里强调对立假设的原因是检验方法(对应于一个拒绝域)只跟 对立假设有关.下面我们给出检验上述假设的一般步骤,它的基本思想是:一个好的点估计应该是 一个优良检验的的主要依据,设定显著性水平为 .第1步求出未知参数的一个较优的点估计e= (Xi , . . Xn),如极大似然估计.第2步:以C为基础,寻找一个检验统计量T = t(×1 , . . . , Xn)且使得当6 = %时,T的分布已知(如N (0. 1), tn, Fm,n),从而容易通过查表或计算得 到这个分布的分位数,用以作为检验的临界值.第3步：以检验统计量T为基础,根据对立假设T的实际意义,寻找适当形状的拒绝域, 它是关于T的一个或两个不等式),其中包含一个或两个临界值.第4步:当零假设成立时,犯第I类错误的概率小于或等于给定的显著性水平 ,这给出 一个关于临界值的方程,解出临界值,它(们)等于T的分位数,这样即确定了检验的 拒绝域.第5步:如果给出样本观测值,则可算出检验统计量的样本观测值,如落在拒绝域中则 可拒绝零假设,否则不能.?6.2重要参数检验本节介绍最基本的假设检验问题:一样本和两样本正态总体的有关均值和方差的检 验,简单的大样本检验(0-1分布参数的假设检验).?6.2.1 一样本正态总体均值和方差的检验现实中经常碰到诸如此类的问题:假设用于某用途的合格铁钉要求长度为10厘米, 现有经销商从生产厂家订购了一批这样的铁钉,为了检验该批检验产品是否合格,可以 从中抽取一小部分进行测量检验,通常铁钉的长度服从一个正态分布,这类问题属于一 样本正态总体的假设检验问题.一般地,设总体X、N(,02),-的vv的,°2>(,. .,Xn是取自总体X的一个样本.取显著性水平为。.(1)方差已知时均值的检验先考虑双侧假设,即要检验Ho : = o- Hi : o .由于的极大似然估计为1,取“标准化”后的检验统计量U = U(×1 , . . .,Xn)= E -O注意到当HO成立时,U、N(0,1), |UI应该较小,反之当IUl的观测值U(XIxn)较大 时,不利于零假设HO应该拒绝之.所以选拒绝域形如>).要求显著性水平为。，即Ph0(U I > t ) = ,解得T = ua2.于是检验的拒绝域为U I > Ua2.即当观测值(X1, . .,Xn)满足不等式人TiIf - A)':> Ua/2时拒绝Ho.类似地,检验单侧假设Ho : = o- Hi : > o