当前位置: 首页 > 期刊 > 《华西医学》 > 2000年第2期
编号:10225074
医学检验不同方法之间一致性比较研究的正确设计和指标的正确表示方法
http://www.100md.com 《华西医学》 2000年第2期
     作者:吴泰相 刘关键 王家良 洪旗 俞红吉

    单位:华西医科大学附属第一医院临床流行病学教研室 成都 610041

    关键词:文献系统评价;科研设计;规范化

    华西医学000214 摘要:通过对近两年《中华医学检验杂志》所发表的不同检验方法之间的比较的论著进行复习,认为普遍存在研究设计和指标表达不规范,甚至错误的现象。据此,用临床流行病学方法学对其中的典型文章进行评价,提出一些规范化设计的建议,认为高质量的设计和规范化的指标表示法是高水平科研和高质量文章的前提和保证,并建议在医学检验学界制定科研设计规范。

    [中图分类号]R181.3+2 [文献标识码]A

    [文章编号]1002-0179(2000)02-0147-03
, http://www.100md.com
    The Correct Design and Expression for Agreement Comparing Research between Various Methods of Laboratory Medicine

    WU Tai-xiang,LIU Guan-jian,WANG Jia-liang,et al.

    (Department of Clinical Epidemiology,The First University Hospital,West China University of Medical Sciences,Chengdu,610041)

    Abstract:incorrect research design and not conform with regular usage of quality index are widely presento.After reviewing those papers in published in Chinese Journal of Medical Laboratory Sciences,we considered.So,dependent on clinical epidemiological methodology,by evaluating a typical paper of them,some suggestions about how to make a correct research design is proposed here.By the way,we also strongly sugges to develop rules for research design in the field of laboratory medicine.
, 百拇医药
    Key words:Systematic review;Research design;Rule

    医学检验文献中,新的或不同的检验方法之间进行比较的文章占有很大的比例,1998、1999两年《中华医学检验杂志》共发表229篇论著及论著摘要,其中涉及到新的或不同检验方法的比较的文章共有125篇,占54.59%。我们认为,如何正确设计并表示不同方法之间的一致性是这些文章中需要解决的共同问题。本文提出一些思路,作为将这类研究的设计规范化和标准化的建议,以提高医学检验方法学研究水平,供同仁们参考。本文只讨论采用计数指标的研究,采用计量指标的研究另文讨论。

    1 确立金标准 两种方法以上的比较研究,目的是要了解其中一种方法(通常是新方法)的准确性和敏感性;最基本的办法是将该方法与诊断对象的诊断金标准进行盲法和同步比较。因此,首先应该确立金标准。金标准,即公认的诊断某对象的最可靠的方法,可以比较正确地区分诊断对象存在或不存在,即阳性或阴性。一般而言,金标准应选择直观和直接的诊断方法,将直接的证据作为金标准。例如,肿瘤诊断的金标准应采用病理诊断结果;细菌性感染的诊断应以细菌学检验分离出细菌作为金标准。
, 百拇医药
    但是,医学检验的许多领域如生化、免疫学等等的检测方法无法采用直接证据作为金标准,则可采用公认较为准确的方法作为参照标准。

    有时,仅仅是对两种以上方法相互之间进行比较,本文以下所述步骤也适用。

    2 检测对象的选择 评价检验方法的价值,应对检测对象进行选择,检测对象可来源于临床病例,也可来源于自愿者;所选择对象中,应包括(1)该方法能检测到的目标物,即阳性样本,比如考核艾滋病的检查方法必须选择HIV携带者,考核乙型肝炎标记物检测试剂必须包括各种类型乙肝带毒者;(2)无该方法所能检测到的目标物,即阴性样本。

    3 样本大小(也称样本含量)的计算 样本含量大小并非任意确定,太小,则不能证明该方法的有效性;太大,则浪费人力财力。计算样本含量,首先估计样本中阳性与阴性样本的数量和比例,然后列出四格表:

    金标准或参考方法
, 百拇医药
    阳性

    阴性

    合计

    被评价

    方 法

    阳性

    a

    b

    a+b

    阴性

    c

    d

    c+d

    a+c
, 百拇医药
    b+d

    N

    则样本含量:

    其中

    4 列表分析评价 将金标准和待评方法所检测的结果分别填入四格表:

    金标准

    阳性

    阴性

    合计

    被评价
, 百拇医药
    方 法

    阳性

    真阳性a

    假阳性b

    a+b(r1)

    阴性

    假阴性c

    真阴性d

    c+d(r2)

    a+c(c1)

    b+d(c2)

    N
, 百拇医药
    两种方法之间的比较,则采用以下四格表:

    方法A

    合计

    阳性

    阴性

    方法

    B

    阳性

    a

    b

    a+b

    阴性

    c
, http://www.100md.com
    d

    c+d

    a+c

    b+d

    N

    5 评价指标:

    (1)Kappa值:是评价不同方法间,校正机遇一致率后的观察一致率指标,常用于比较两者间的一致性。如果比较两个以上的观察者,则采用分别的两两比较方法,如A和B,B和C,C和A,等等。Kappa值的计算公式为:

    Kappa值与一致性强度关系:

    Kappa值 一致性强度
, 百拇医药
    <0 弱

    0 0.20 轻

    0.21 0.40 尚好

    0.41 0.60 中度

    0.61 0.80 高度

    0.81 1.00 最强

    (2)敏感性

    (3)特异性

    (4)准确性
, http://www.100md.com
    (5)阳性率

    (6)比较两种方法的差异求χ2值,使用卡方校正公式:

    查表求得P值,则可比较两种方法之间的差异。

    下面,以“丙型肝炎国产诊断试剂与第三代进口试剂的临床比较研究”(祁自柏,周诚,谷金莲,等。中华医学检验杂志 1998;6(6):348)一文为例,分析评价存在于此类文章中的共性问题,和如何进行正确的研究设计和结果的处理。

    该研究为了调查新伟凯公司(XWK)丙肝诊断试剂的使用效果,将其与国外两种丙肝诊断试剂A3、O3进行比较,并对可疑样品用免疫印迹条法(RIBA)、聚合酶链反应(PCR)等方法进行确证。阳性判定标准为:3种EIA试剂检测均为阳性者定为阳性样品;3种试剂中的一种或两种检测为阳性,而其他试剂检测为阴性的样品,用RIBA HCV3.0和HCV RNA PCR试剂作进一步确证:(1)当样品与RIBA试剂中的两种或两种以上HCV抗原呈阳性反应者定为阳性;(2)当样品与RIBA试剂中的一种HCV抗原呈阳性反应,而HCV RNA为阳性者定为阳性。结果(原文):
, 百拇医药
    本文所考核的3种试剂的初试和复试结果非常接近(其符合率均大于98%),说明该3种试剂的重复性均较好。在28882份供血员血样中,XWK试剂检出42份阳性,O3试剂检出40份阳性,A3试剂检出41份阳性。在556份各种肝炎病人血样中,XWK试剂检出阳性数为338,O3试剂为331,A3试剂则为337。3种试剂的阳性率基本相似,其差异无显著意义。

    根据EIA试剂检测数据及RIBA和PCR确证结果,按照材料与方法部分所述阳性样品判定原则,在总共3438份样品中,阳性样品为374份,阴性样品为3064份。XWK试剂及A3、O3试剂对供血员和肝炎病人血样检测结果及阴阳性符合情况如下:

    1.XWK试剂共测出380份阳性样品,其中373份为真正的阳性样品,7份为非特异假阳性样品。在试剂所测出的3058份阴性样品中,3057份为真正的阴性样品,1份应为阳性样品,即该试剂对该份样品出现了漏检。阳性符合率为99.7%(373/374),阴性符合率为99.7%(3057/3064)总体符合率为99.7%。
, 百拇医药
    A3试剂共测出378份阳性样品,其中372份为真正的阳性样品,6份为非特异假阳性样品。在所测出的3060份阴性样品中,3058份为真正的阴性样品,2份为假阴性样品,即该试剂对该2份样品发生了漏检。阳性符合率为99.4%(372/374),阴性符合率为99.8%(3058/3064),总体符合率为99.7%。

    在O3试剂所测出的371份阳性样品中,370份为真正的阳性样品,1份为非特异假阳性样品。而在所测出的3067份阴性样品中,3063份为真正的阴性样品,其余的4份实际应为阳性,即该试剂对这4份样品发生了漏检。阳性符合率为98.9%(370/374),阴性符合率为99.9%(3063/3064),总体符合率为99.8%。

    3种试剂的阳性符合率,阴性符合率,总体符合率均大于95%,相互之间的差异无统计学意义。即说明我们目前经过改进后的新伟凯试剂与国际上的第三代主流试剂在检出率及特异性方面基本类似。新伟凯试剂虽在阳性检出率方面不低于A3和O3试剂,但非特异假阳性出现的频率略高于国外的A3和O3试剂。
, 百拇医药
    表1 XWK,A3,O3三种试剂假阴性(漏检)样品(表略)

    表2 XWK,A3,O3三种试剂假阳性(非特异)样品(表略)

    评价:

    (1)本研究是一个三种试剂的诊断一致性比较研究;

    (2)在设计上没有采用金标准对三种试剂进行对照,而采用三种试剂均为阳性或阴性者则确认“真阳性”或“真阴性”。对于可疑标本,即三种试剂中只有一种或两种测为阳性,而另外试剂测为阴性时,则用RIBA HCV3.0测HCV抗原和PCR法测其HCV RNA,如为阳性则判为阳性;这样作的问题是,并没有将RIBA HCV3.0测定抗原种类和PCR法测定HCV RNA作为金标准,如果作为金标准,应该用这两种方法测定所有标本,既然这两种方法可以将可疑样品中的HCV抗原和RNA检测出来,当然也可能从前述三种试剂所测的阴性样品中找出漏检的HCV抗原和RNA来。所以,无法以RIBA HCV3.0和PCR法为标准进行比较,相当于又增加了第四种和第五种不完全的方法,给比较增加了复杂性;
, 百拇医药
    (3)没有采用对同样一份标本用三种试剂检测的结果进行比较,没有指明不同试剂所测出的阳性或阴性样本是否为相同样本,因此,无法进行三种方法之间的两两比较;

    (4)仅仅将三种试剂分别测出的阳性符合率和阴性符合率进行比较(注意:是率的比较),问题是,存在这种可能:两种或三种方法测出的阳性率完全或基本一样,但是,各种方法所测出的阳性标本并不一样。比如:用甲、乙两种方法测定50个标本,甲方法测定的阳性标本为1~20号,乙方法测定的阳性标本为10~30号,二者的阳性率完全一样,按照该文的计算方法,则其阳性符合率=20/20=100%;正确的计算应是:诊断一致率=(10+20)/50=60%,因此,两种方法的一致率很低;

    (5)从第4条已可看出,阳性符合率或阴性符合率的计算没有排除机遇一致率的影响,其计算方法是错误的;

    (6)无评价指标。对于一种新试剂,连其敏感性、特异性、准确性指标都没有,如何评价其价值?
, 百拇医药
    (7)样本含量为随意确定,无任何计算根据。设新方法的敏感性为90%(P1),特异性为80%(P2),α=0.05(双侧),β=0.08,按样本含量计算公式:

    即阳性样本只需54例(可扩大为60例),阴性样本只需96例(可扩大为100例);远远低于该文所采用的样本量。可见,盲目确定样本量,将造成多大的浪费。

    因此,这是一个设计上存在缺陷的研究、一篇指标表示和计算方法存在错误的文章。

    假设将原文的判定标准作为金标准(注意:实际上错误的),那么,我们可以计算出三种试剂的各项指标如下:

    ①

    金标准
, 百拇医药
    阳性

    阴性

    XWK

    试剂

    阳性

    373

    7

    380

    阴性

    1

    3057

    3058

    374

, 百拇医药     3064

    3438

    敏感性=a/(a+c)=373/(373+1)

    =0.9973

    特异性=d/(b+d)=3057/(7+3057)

    =0.9977

    准确性=(a+d)/N=(373+3057)/3438=0.9977

    ②

    金标准

    阳性
, 百拇医药
    阴性

    A3试剂

    阳性

    372

    6

    378

    阴性

    2

    3058

    3060

    374

    3064

    3438
, 百拇医药
    敏感性=a/(a+c)=372/(372+2)

    =0.9947

    特异性=d/(b+d)=3058/(6+3058)=0.9980

    准确性=(a+d)/N=(372+3058)/3438=0.9977

    同理,可将O3试剂与金标准进行比较,本文为节约篇幅,将其略去。

    因此,新试剂(XWK)在一致性、敏感性、特异性和准确性等方面均已达到或超过国外同类试剂的水平。

    又假设,我们对数据进行一些改动,使该研究符合两两比较的条件,则可计算新试剂与国外同类试剂的差异如下:

    A3试剂
, http://www.100md.com
    合计

    阳性

    阴性

    XWK

    试剂

    阳性

    373

    7

    380

    阴性

    2

    3056

    3058

    375
, 百拇医药
    3063

    3438,P>0.1,两种试剂的差异无显著性。

    同理,可比较XWK和O3的差异。

    高质量的设计是高质量研究的保证,我们吁请医学检验的同道们务必重视严格的科研设计,将各种类型的医学检验科研设计规范化,提高我们的研究质量和文章水平。

    参考文献

    1,林果为:诊断试验的研究与评价。王家良主编.临床流行病学-临床科研设计、衡量与评价,上海科学技术出版社,20-37页。

    2,刘正乐:临床意见分歧的分析和处理。王家良主编,临床流行病学-临床科研设计、衡量与评价。上海科学技术出版社,133-141页。

    3,陈 彬:诊断性试验的样本含量估算。王家良主编,临床流行病学-临床科研设计、衡量与评价。上海科学技术出版社,218-219页。

    (收稿日期:2000-03-30), 百拇医药