两种假设检验思想的比较
作者：张高魁 姚晨 徐勇勇
单位：张高魁 姚晨 军医进修学院医学统计教研室(100853); 徐勇勇 第四军医大学卫生统计教研室
关键词：假设检验；经典统计学派；贝叶斯学派
中国卫生统计990207 【提 要】 目的 探讨经典统计学派与贝叶斯学派假设检验思想的异同。方法 总结和概括两种思想，并结合一个实例对两种思想进行比较。结果 两种思想统一于贝叶斯定理，并在特定场合下相互等价；贝叶斯方法在先验信息的利用、风险的回答、损失的考虑以及多重假设问题的处理等方面较经典方法具有明显的优势。结论 贝叶斯学派的理论应用受到重视。
Contrast Between Two Schools of Thought on Hypothesis Test
Zhang gaokui,et al.,PLA post-graduate medical school(100853).Beijing
, http://www.100md.com
【Abstract】 Objective To discuss differences between classical and Bayesian testing thoughts.Methods First these two thoughts are summarized,and then they are compared through an example.Results It is pointed out that these two thoughts are united on Bayes's Theorem,that they are equal on given occasions,and that Bayesian testing approaches have more advantages than classical approaches in using prior information,indicating the hazard of testing,considering the loss,and dealing with the problem of multi-hypotheses.Conclusion Great attention should be paid to Bayesian theory.
, 百拇医药
【Key words】 hypothesis test Classical school Bayesian school
假设检验问题是统计学的传统问题，对于该问题，经典统计学派与贝叶斯学派有不同的处理思想。目前，经典统计方法占据着统计学的主导地位，但是，贝叶斯方法正在国外迅速发展并得到日益广泛的应用，我们有必要给以足够的重视。本文结合一个例子，对两大学派的假设检验思想进行初步比较，以揭示两种思想的区别与联系，并着重探讨贝叶斯方法的优势。
两种假设检验思想
一、经典统计学派的假设检验思想
经典统计学派运用反证的思想进行推断，即：在认定一次实验中小概率事件不会出现的前提下，若观察到的事件是H0为真时不合理的小概率事件，则拒绝H0。
, 百拇医药
上述思想可以用如下决策函数表示：
其中x代表样本信息。Φ(x)取值为0时即为通常的“拒绝H0”。
二、贝叶斯学派的假设检验思想
贝叶斯学派直接讨论H0和H1的后验概率，依据后验概率的大小进行推断。
其基本的解决方案是：在先验分布π下，有决策函数
Φ(x)取值为0时即“拒绝H0”。很明显，它选择了后验概率较大的假设。
, 百拇医药
三、两种思想的联系与分歧
在经典统计学中，参数被看作未知常数，不存在参数空间，因而不存在H0和H1的概率，给出的是P(x|H0真)，其中x代表样本信息。在贝叶斯方法中，参数被看成随机变量，在参数空间内直接讨论样本x下H0和H1的后验概率，给出的是P(H0真|x)和P(H0不真|x)。
事实上，两个学派的方法在一定程度上统一于贝叶斯公式。
由贝叶斯公式容易得到：
因此，当P(H0)=P(H1)，即H0与H1居于平等地位时，经典学派与贝叶斯学派的结果是一致的。
, http://www.100md.com
然而，H0与H1地位往往不一致，H0常居于将被否定的位置，因而上述一致性并不总能成立。贝叶斯学派对此进行了深入的探讨，他们的结果很有意义。
对于正态分布前提下的单侧检验：X～N(θ，1)，H0：θ≤0 H1：θ>0，经典方法得到的P值与贝叶斯方法在无信息先验分布下的后验概率相等，此结论可以推广到正态分布前提下其他类似的单侧检验。
对于形如H0：θ=0，H1：θ>0，(或H1：θ<0)的单侧检验，情况则不同，与下述的双侧检验有类似结果。
对于形如H0∶θ=0， H1：θ≠0的双侧检验，经典方法得到的P值与贝叶斯方法的后验概率大不相同。在Berger和Sellke 1987年对正态分布前提下二者的比较研究中，当经典方法得到的P在0.01～0.1之间时，贝叶斯方法得到H0为真的后验概率大于P，因而此时拒绝H0所承担的实际风险大于P，而这个区间对于经典方法下结论是非常重要的。Hwang和Pematle 1994年提出，对这类双侧检验，类似结果始终存在，因而P值应该由其他判断标准来替代。但他们还没有找到这种标准。
, http://www.100md.com
两种思想的应用
下面我们通过一个例子对两种假设检验思想进行一些比较。
例：以随机变量θ代表某人群中个体的智商真值，θi为第i个个体的智商真值，随机变量Xi代表第i个个体的智商测验得分，若该人群的期望智商为μ，则第i个个体在一次智商测验中的得分可以表示为：xij=θi+eij=μ+ei+eij，其中ei为第i个个体的自然变异，eij为第i个个体第j次测量的测量误差。根据以往积累的资料，已知在某年龄儿童的智商真值θ～N(μ,τ2)，其中μ=100,τ=15，个体智商测验得分Xi～N(θi,σ2)，其中σ=10。现在一名该年龄儿童智商测验得分为115，问：(1)该儿童智商真值是否高于同龄儿童的平均水平(即θi>100)?(2)若取θi在(a,b)为正常，问该儿童智商是否属于正常?
, 百拇医药
一、用经典统计方法解答
对第一问，设H0：θi≤100 H1：θi>100，按照经典统计学方法，若H0成立，则有：
因此，α水平下的拒绝域为{x:x>100+σ.u1-α}
已知σi=10，若取α=0.05，有u0.95=1.645，100+10×1.645=116.45。
现有x=115，因此，在0.05水平尚不能认为该儿童智商高于平均水平。
对第二问，经典方法需要进行两次分别针对a、b的单侧检验。过程与第一问相似，这里不再叙述。
, http://www.100md.com
二、用贝叶斯方法解答
在贝叶斯学派中，当θi未知时，将其看作随机变量，与θ具有相同的分布，这是贝叶斯学派与经典学派的一个重大区别。
根据贝叶斯理论，若X～N(θ，σ2)，其中σ2已知，θ未知，但已知θ的先验分布是N(μ，τ2)，其中μ和τ2均已知，则给定x后θ的后验分布为N(μ(x),ρ-1，)其中
(证明参见文献[1])。
由此得到，本例中该儿童智商θi的后验分布为N(110.38，69.23)。
对第一问，同样设H0：θi≤100 H1：θi>100，查正态分布表可以得到：
, 百拇医药
P(H0：θi≤100|x=115)=0.106，P(H1：θi>100|x=115)=0.894
根据风险最小原则拒绝H0，接受H1。
对第二问，设H0：a<θi1：θii>b，查正态分布表可以分别得到P{H0：a<θi1：θii>b|x=115}，类似第一问，依据风险最小原则作出推断。
讨 论
由上述分析和例子，我们可以看出，用贝叶斯方法处理假设检验问题至少在下述几方面具有明显优势。
, http://www.100md.com
一、先验信息利用的充分性和风险的直观性
从前述问题的处理，我们清楚地看到，经典方法只使用了Xi的已有信息(贝叶斯学派称之为先验信息)，而贝叶斯方法则同时利用了Xi和θ的先验信息。因而在第二问的解决上，贝叶斯方法较经典方法少进行一次假设检验。
在贝叶斯方法中，由于导出了样本x下的后验分布，可以对风险给出正面的回答，因而较经典方法下的间接判断更直观。
二、可以将后续问题纳入考虑范围
如果推断错误在后续问题的解决过程中会造成一定损失，贝叶斯方法在进行推断时可将这一损失考虑在内。如：
在假设H0∶θ∈Θ0，H1∶θ∈Θ1(Θ0、Θ1是参数空间内两个互补子集)下，有：
, 百拇医药
Φ等于0，1分别代表拒绝、接受H0，a0、a1分别代表了第一、第二类错误造成的损失，这时，贝叶斯方法给出如下决策函数：
由于可以将假设检验结果带来的损失纳入检验考虑的范畴之内，因而对问题的回答更接近实用。
三、多重假设的处理不存在困难
对多重假设，如将前例第二问改为：若θi∈(a,b)为智力正常，θii≥b为智力超常，问该儿童智力属何种类型?
在现有条件下，经典方法很难处理这一问题。而贝叶斯方法对这一问题的解答并不存在特殊的困难，只需将假设设为：H0∶a≤θi1∶θi2∶θi≥b，多计算一个后验概率便可。
, 百拇医药
贝叶斯方法的上述优势对于解决实际问题很有帮助。
尽管在理论方面还存在一些困难，但不容否认的是，贝叶斯方法已经成为决策论的一个基本工具，在社会学、经济学等领域发挥着重要作用。在临床医学、预防医学、卫生事业管理等决策领域也一定能发挥重要作用。国内医学统计学界目前对贝叶斯方法的关注较少，加强这方面的研究工作，无疑将是有益的。
(在此特别感谢张尧庭教授、余松林教授对本文的指点。)
参考文献
1.James O.Berger著.贾乃光译.统计决策论及贝叶斯分析.中国统计出版社，1998,159～172.
2.Christian P.Robert.The Bayesian Choice:A Decision-Theoretic Motivation.Spring-Verlag New York,Inc.1994,179～209
3.张尧庭，陈汉峰编著.贝叶斯统计推断.北京：中国统计出版社，1994，78～88
4.张尧庭著.统计中的三大学派.统计教育，1995,1:35～39, 百拇医药
单位：张高魁 姚晨 军医进修学院医学统计教研室(100853); 徐勇勇 第四军医大学卫生统计教研室
关键词：假设检验；经典统计学派；贝叶斯学派
中国卫生统计990207 【提 要】 目的 探讨经典统计学派与贝叶斯学派假设检验思想的异同。方法 总结和概括两种思想，并结合一个实例对两种思想进行比较。结果 两种思想统一于贝叶斯定理，并在特定场合下相互等价；贝叶斯方法在先验信息的利用、风险的回答、损失的考虑以及多重假设问题的处理等方面较经典方法具有明显的优势。结论 贝叶斯学派的理论应用受到重视。
Contrast Between Two Schools of Thought on Hypothesis Test
Zhang gaokui,et al.,PLA post-graduate medical school(100853).Beijing
, http://www.100md.com
【Abstract】 Objective To discuss differences between classical and Bayesian testing thoughts.Methods First these two thoughts are summarized,and then they are compared through an example.Results It is pointed out that these two thoughts are united on Bayes's Theorem,that they are equal on given occasions,and that Bayesian testing approaches have more advantages than classical approaches in using prior information,indicating the hazard of testing,considering the loss,and dealing with the problem of multi-hypotheses.Conclusion Great attention should be paid to Bayesian theory.
, 百拇医药
【Key words】 hypothesis test Classical school Bayesian school
假设检验问题是统计学的传统问题，对于该问题，经典统计学派与贝叶斯学派有不同的处理思想。目前，经典统计方法占据着统计学的主导地位，但是，贝叶斯方法正在国外迅速发展并得到日益广泛的应用，我们有必要给以足够的重视。本文结合一个例子，对两大学派的假设检验思想进行初步比较，以揭示两种思想的区别与联系，并着重探讨贝叶斯方法的优势。
两种假设检验思想
一、经典统计学派的假设检验思想
经典统计学派运用反证的思想进行推断，即：在认定一次实验中小概率事件不会出现的前提下，若观察到的事件是H0为真时不合理的小概率事件，则拒绝H0。
, 百拇医药
上述思想可以用如下决策函数表示：
其中x代表样本信息。Φ(x)取值为0时即为通常的“拒绝H0”。
二、贝叶斯学派的假设检验思想
贝叶斯学派直接讨论H0和H1的后验概率，依据后验概率的大小进行推断。
其基本的解决方案是：在先验分布π下，有决策函数
Φ(x)取值为0时即“拒绝H0”。很明显，它选择了后验概率较大的假设。
, 百拇医药
三、两种思想的联系与分歧
在经典统计学中，参数被看作未知常数，不存在参数空间，因而不存在H0和H1的概率，给出的是P(x|H0真)，其中x代表样本信息。在贝叶斯方法中，参数被看成随机变量，在参数空间内直接讨论样本x下H0和H1的后验概率，给出的是P(H0真|x)和P(H0不真|x)。
事实上，两个学派的方法在一定程度上统一于贝叶斯公式。
由贝叶斯公式容易得到：
因此，当P(H0)=P(H1)，即H0与H1居于平等地位时，经典学派与贝叶斯学派的结果是一致的。
, http://www.100md.com
然而，H0与H1地位往往不一致，H0常居于将被否定的位置，因而上述一致性并不总能成立。贝叶斯学派对此进行了深入的探讨，他们的结果很有意义。
对于正态分布前提下的单侧检验：X～N(θ，1)，H0：θ≤0 H1：θ>0，经典方法得到的P值与贝叶斯方法在无信息先验分布下的后验概率相等，此结论可以推广到正态分布前提下其他类似的单侧检验。
对于形如H0：θ=0，H1：θ>0，(或H1：θ<0)的单侧检验，情况则不同，与下述的双侧检验有类似结果。
对于形如H0∶θ=0， H1：θ≠0的双侧检验，经典方法得到的P值与贝叶斯方法的后验概率大不相同。在Berger和Sellke 1987年对正态分布前提下二者的比较研究中，当经典方法得到的P在0.01～0.1之间时，贝叶斯方法得到H0为真的后验概率大于P，因而此时拒绝H0所承担的实际风险大于P，而这个区间对于经典方法下结论是非常重要的。Hwang和Pematle 1994年提出，对这类双侧检验，类似结果始终存在，因而P值应该由其他判断标准来替代。但他们还没有找到这种标准。
, http://www.100md.com
两种思想的应用
下面我们通过一个例子对两种假设检验思想进行一些比较。
例：以随机变量θ代表某人群中个体的智商真值，θi为第i个个体的智商真值，随机变量Xi代表第i个个体的智商测验得分，若该人群的期望智商为μ，则第i个个体在一次智商测验中的得分可以表示为：xij=θi+eij=μ+ei+eij，其中ei为第i个个体的自然变异，eij为第i个个体第j次测量的测量误差。根据以往积累的资料，已知在某年龄儿童的智商真值θ～N(μ,τ2)，其中μ=100,τ=15，个体智商测验得分Xi～N(θi,σ2)，其中σ=10。现在一名该年龄儿童智商测验得分为115，问：(1)该儿童智商真值是否高于同龄儿童的平均水平(即θi>100)?(2)若取θi在(a,b)为正常，问该儿童智商是否属于正常?
, 百拇医药
一、用经典统计方法解答
对第一问，设H0：θi≤100 H1：θi>100，按照经典统计学方法，若H0成立，则有：
因此，α水平下的拒绝域为{x:x>100+σ.u1-α}
已知σi=10，若取α=0.05，有u0.95=1.645，100+10×1.645=116.45。
现有x=115，因此，在0.05水平尚不能认为该儿童智商高于平均水平。
对第二问，经典方法需要进行两次分别针对a、b的单侧检验。过程与第一问相似，这里不再叙述。
, http://www.100md.com
二、用贝叶斯方法解答
在贝叶斯学派中，当θi未知时，将其看作随机变量，与θ具有相同的分布，这是贝叶斯学派与经典学派的一个重大区别。
根据贝叶斯理论，若X～N(θ，σ2)，其中σ2已知，θ未知，但已知θ的先验分布是N(μ，τ2)，其中μ和τ2均已知，则给定x后θ的后验分布为N(μ(x),ρ-1，)其中
(证明参见文献[1])。由此得到，本例中该儿童智商θi的后验分布为N(110.38，69.23)。
对第一问，同样设H0：θi≤100 H1：θi>100，查正态分布表可以得到：
, 百拇医药
P(H0：θi≤100|x=115)=0.106，P(H1：θi>100|x=115)=0.894
根据风险最小原则拒绝H0，接受H1。
对第二问，设H0：a<θi1：θi
讨 论
由上述分析和例子，我们可以看出，用贝叶斯方法处理假设检验问题至少在下述几方面具有明显优势。
, http://www.100md.com
一、先验信息利用的充分性和风险的直观性
从前述问题的处理，我们清楚地看到，经典方法只使用了Xi的已有信息(贝叶斯学派称之为先验信息)，而贝叶斯方法则同时利用了Xi和θ的先验信息。因而在第二问的解决上，贝叶斯方法较经典方法少进行一次假设检验。
在贝叶斯方法中，由于导出了样本x下的后验分布，可以对风险给出正面的回答，因而较经典方法下的间接判断更直观。
二、可以将后续问题纳入考虑范围
如果推断错误在后续问题的解决过程中会造成一定损失，贝叶斯方法在进行推断时可将这一损失考虑在内。如：
在假设H0∶θ∈Θ0，H1∶θ∈Θ1(Θ0、Θ1是参数空间内两个互补子集)下，有：
, 百拇医药
Φ等于0，1分别代表拒绝、接受H0，a0、a1分别代表了第一、第二类错误造成的损失，这时，贝叶斯方法给出如下决策函数：
由于可以将假设检验结果带来的损失纳入检验考虑的范畴之内，因而对问题的回答更接近实用。
三、多重假设的处理不存在困难
对多重假设，如将前例第二问改为：若θi∈(a,b)为智力正常，θi
在现有条件下，经典方法很难处理这一问题。而贝叶斯方法对这一问题的解答并不存在特殊的困难，只需将假设设为：H0∶a≤θi1∶θi2∶θi≥b，多计算一个后验概率便可。
, 百拇医药
贝叶斯方法的上述优势对于解决实际问题很有帮助。
尽管在理论方面还存在一些困难，但不容否认的是，贝叶斯方法已经成为决策论的一个基本工具，在社会学、经济学等领域发挥着重要作用。在临床医学、预防医学、卫生事业管理等决策领域也一定能发挥重要作用。国内医学统计学界目前对贝叶斯方法的关注较少，加强这方面的研究工作，无疑将是有益的。
(在此特别感谢张尧庭教授、余松林教授对本文的指点。)
参考文献
1.James O.Berger著.贾乃光译.统计决策论及贝叶斯分析.中国统计出版社，1998,159～172.
2.Christian P.Robert.The Bayesian Choice:A Decision-Theoretic Motivation.Spring-Verlag New York,Inc.1994,179～209
3.张尧庭，陈汉峰编著.贝叶斯统计推断.北京：中国统计出版社，1994，78～88
4.张尧庭著.统计中的三大学派.统计教育，1995,1:35～39, 百拇医药