诊断试验的评价与ROC分析.ppt

《诊断试验的评价与ROC分析.ppt》由会员分享，可在线阅读，更多相关《诊断试验的评价与ROC分析.ppt（88页珍藏版）》请在第壹文秘上搜索。

1、 临床诊断试验与评价临床诊断试验与评价临床试验的类型临床试验的类型I期临床试验：期临床试验：人体药物的耐受程度，药物在人体中的代谢情况。参加试验的人员是健康人或病人（20左右）II期临床试验：期临床试验：药效、安全性的初步评价。患者参加试验（200例以上）III期临床试验：期临床试验：药效与安全性的确认阶段，我国法规要求试验组人数300以上，总人数400-500人IV期临床试验：期临床试验：上市后的临床研究。更大范围使用后的疗效与安全性一、诊断试验的研究设计随机对照重复伦理盲法试验设计中的要素一、处理因素二、受试对象三、试验效应临床试验避免偏倚的技巧随机对照重复盲法临床试验资料的数据集临床试验

2、资料的数据集 分析应包括在知情同意的基础上，愿意参加试验的分析应包括在知情同意的基础上，愿意参加试验的所有随机化所有随机化后的受试者后的受试者，也即原计划好处理（治疗）的受试者都需进入分析，也即原计划好处理（治疗）的受试者都需进入分析，而不是根据实际上完成的受试者。而不是根据实际上完成的受试者。按此原则所作的分析是按此原则所作的分析是最好的分析最好的分析，研究在病人知情同意的前，研究在病人知情同意的前提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求每一个随机分到试验组或对照组的受试者都应该尽量完整地随访，每一个随机分到试验组或

3、对照组的受试者都应该尽量完整地随访，记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考记录研究结果如疗效、安全性评价指标以及脱离原因。同时，要考虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。意向性分析（意向性分析（Intention to treatIntention to treat）全分析集（全分析集（full analysis setfull analysis set，FASFAS）安全性评价（安全性评价（safety setsafety set）临床有效性的统计学评价=0为什么要学习诊断试验的评价为什么要学习诊断

4、试验的评价选择最科学合理的诊断方法，循证选择最科学合理的诊断方法，循证医学的重要内容医学的重要内容根据实际需要，提供具有优势的诊根据实际需要，提供具有优势的诊断试验（试剂、药物、方法）断试验（试剂、药物、方法）金标准的选择 最为可靠的诊断标准！二、诊断试验的评价指标表表13.1 13.1 诊断资料诊断资料22四格表四格表 金标准（D）诊 断 结 果(T)病例（D）对照(D)合 计 TP(真阳性)FP(假阳性)TP+FP FN(假阴性)TN(真阴性)FN+TN 阳 性（T）阴 性（T）合计 TP+FN FP+TN N 阳性预测值公式：)()|()()|()()|()|(DPDTPDPDTPDPD

5、TPTDP，)()|()()|()()|()|(DPDTPDPDTPDPDTPTDPPV诊断实验的灵敏度和特异度不会受到患病率的影响，诊断实验的灵敏度和特异度不会受到患病率的影响，但是预测值指标会受到患病率高低的影响。但是预测值指标会受到患病率高低的影响。阳性预测值的应用 例例13.1 以往调查得知，某人群2000名成年男子中有1人患有冠心病。采用心电图（electrocardiogram，ECG）作为诊断工具，金标准确诊的冠心病病例组中98为ECG阳性，未患该病的对照组中1为ECG阳性，问ECG诊断为阳性时成年男子实际患冠心病的概率是多少？解：已知)(DP0005.020001，98.0%9

6、8)|(DTP 01.0%1)|(DTP，9995.00005.01)(1)(DPDP 根据（13.1）式有：(|)()(|)(|)()(|)()0.980.00050.04670.980.00050.01 0.9995P TDP DP DTP TDP DP TDP D 但在临床上，ECG仅用于怀疑患有冠心病者，)(DP10时，得到)|(TDP91.59 因此ECG用于人群效果较差，但用于临床诊断价值较高。诊断试验的评价指标二、诊断试验中常用的评价指标：灵敏度、特异二、诊断试验中常用的评价指标：灵敏度、特异度、误诊率、漏诊率度、误诊率、漏诊率 三、预测指标：阳性预测值、阴性预测值三、预测指标：

7、阳性预测值、阴性预测值 四、诊断试验的综合评价指标：正确率、四、诊断试验的综合评价指标：正确率、Youden指数、比数积、阳性似然比、阴性似然比指数、比数积、阳性似然比、阴性似然比诊断试验中常用的评价指标例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）（四）Youden指数、（五）阳性似然比、（六）阴性似然比、指数、（五）阳性似然比、（六

8、）阴性似然比、（七）阳性预报值、（七）阳性预报值、（八）阴性预报值。（八）阴性预报值。例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（

9、FP）171（TN）180合 计425275700(N)灵敏度与特异度的优缺点优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416

10、(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)医生最关心的问题：医生最关心的问题：1.试验阳性时患病的概率多大？试验阳性时患病的概率多大？2.试验阴性时不患病的概率多大？试验阴性时不患病的概率多大？3.如何选择合适的诊断界值，做出合理如何选择合适的诊断界值，做出合理的诊断，使患者获得最好的处理的诊断，使患者获得最好的处理例例13.2 表13.2 ECG诊断试

11、验的结果例例13.2 表13.2 ECG诊断试验的结果例例13.2 表13.2 ECG诊断试验的结果ECG诊断结果阳 性阴 性合计心肌梗塞出现416(TP)104(FN)520不出现 9（FP）171（TN）180合 计425275700(N)阳性预报值与阴性预报值五、截断点的选择与ROC曲线 在进行诊断临界点选择的时候，需要综合考在进行诊断临界点选择的时候，需要综合考虑灵敏度和特异度，选择最佳诊断界值。虑灵敏度和特异度，选择最佳诊断界值。ROC曲线提供了很好的临界点选择工具。曲线提供了很好的临界点选择工具。ROC ROC【receiver(relative)operating receive

12、r(relative)operating characteristiccharacteristic的缩写，译为的缩写，译为“接受者工接受者工作特征作特征”】ROCROC曲线研究历史曲线研究历史1950s 雷达信号观测能力评价雷达信号观测能力评价1960s中期中期 实验心理学、心理物理学实验心理学、心理物理学1970s末与末与1980s初初 诊断医学诊断医学ROC的涵义与起源的涵义与起源诊断试验：泛指血液生化、影像学、免疫学、细胞学、诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。病理学、统计模型等检查。重要性：重要性：1.循证医学的重要组成部分循证医学的重要组成部分 2

13、.诊断试验评价方法可用于：诊断试验评价方法可用于：临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价ROC曲线评价诊断试验的重要性曲线评价诊断试验的重要性 灵敏度灵敏度,特异度特异度,假阴性率假阴性率,假阳性率假阳性率Test variable 医学诊断试验多数不能将病例和对照完全分开，而只有将二者100%的分开时，才能够获得100%正确的诊断。不同不同诊断界值诊断界值时时灵敏度与特异度间的平衡灵敏度与特异度间的平衡(trade off)(trade off)0204060801005060708090100特异度灵敏度百分率（）百分率（）Test variabl

14、e完美诊断试验完美诊断试验0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR无用诊断试验无用诊断试验0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美与无用的完美与无用的ROC曲线曲线真真阳阳性性率率即即灵灵敏敏度度假阳性率假阳性率 即即 1特异度特异度机率线机率线(chance line)(diagonal reference line)诊断准确度较低（诊断准确度较低（0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲线下面积（曲线下面积（Area）与诊断准确

15、度高低）与诊断准确度高低高 0.90-1.00=excellent(A)中 0.80-0.90=good(B)0.70-0.80=fair(C)低 0.60-0.70=poor(D)0.50-0.60=fail(F)似然比（似然比（LR）在）在ROC曲线空间的涵义曲线空间的涵义白细胞计数诊断白血病白细胞计数诊断白血病LR7.5LR0.7LR2.3LR25.0基本概念小结基本概念小结lROC曲线反映了灵敏度与特异度间的平衡(增加灵敏度将降低特异度；增加特异度将降低灵敏度)。l在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。l在ROC曲线空间，如果曲线沿着机会线（45

16、度对角线）越紧密，则试验准确度越低。l在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihood ratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。lROC曲线下面积是重要的试验准确度指标。主要任务：主要任务：l 计算计算ROC曲线工作点曲线工作点（Coordinate point或或Operating point）（）（FPR,TPR）l 连接相邻两点连接相邻两点一、一、ROC曲线工作点的计算与曲线绘制曲线工作点的计算与曲线绘制连续型数据的连续型数据的ROC曲线工作点（曲线工作点（TPR，FPR）计算）计算 将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表表表133 假想的连续型数据假想的连续型数据 将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。某放射医生对某放射医生对 109份份 CT影像的分类影像