临床检验方法评价.ppt

临床检验方法的评价,王治国卫生部临床检验中心,新方法进入常规应用过程的流程图,临床实验室检测系统,临床检验检测系统包括产生结果所需要的试剂、校准物、仪器、消耗品及具体操作程序。试剂是化学溶液，以可预测方式给出分析项目的反应；可预测的反应允许我们测量每一样本中存在的分析物的量。校准物是含有已知量分析物的物质。仪器将样本与试剂混合，并将参考已知的校准物的值，来比较患者、室间质量评价或质控样本的反应，或分析物可预测的化学反应产生每一样本的结果。消耗品包括装样本、分配样本和试剂和测量化学反应所需要的物品。过程包括准备检验样本、准备试剂和校准物、建立和维护仪器、将样本与试剂结合、计算分析物的量、及报告结果的所必须的所有步骤。,临床实验室试剂的选择,SFDA批准;分析系统（试剂+校准品+仪器）及检测结果的计量学可溯源性；试剂的稳定性：（有效期、待机稳定期）及校准周期；方法学性能：精密度、线性、可比性,分析方法分级,决定性方法（definitive method）：经详尽研究尚未发现不准确度或不确定性原因的方法。参考方法（reference method）：经详尽研究证实其不准确度与不精密度可以忽略的方法。常规方法（routing method）：可满足临床或其他目的需要的日常使用的方法。,临床检验方法学分类,临床检验方法学分类,临床检验方法分类,常规方法,参考方法,决定性方法,准确度,应用范围,不同方法间的关系,标准品分级,标准品（reference material）：充分均匀并具有一个或多个良好确定的特性值的材料或物质，用来校准仪器设备、评估测定方法或给其它物质赋值。一级标准品（原级参考物）：具有最高计量学特性，由一级参考测量程序定值；二级标准品：用一级标准品校准，二级参考方法定值。校准品（calibrator）：用二级标准品校准，拟被用于校准的常规方法定值。用于对常规方法和仪器的校准,一级标准物质,人血清无机成分分析标准物质GBW09135血清胆固醇标准物质GBW09138,二级标准物质,红细胞微粒标准物质GBW（E）090001胆红素标准物质GBW（E）090002氰化高铁血红蛋白溶液标准物质GBW（E）090004纯化血红蛋白标准物质GBW（E）090011,溯源链中的不确定度,真值,一级参考方法,二级参考方法,厂家标准方法,厂家常规方法,实验室常规方法,不确定度,方法选择的要求,（一）实用性要求 在决定是否将新的方法或仪器在某一实验室执行前，一些实际的因素必须首先考虑。它们包括标本类型、样本量、分析能力、周转时间、试验菜单、标本处理、分析批的大小、人员技能要求、每一试验的成本、校准方法、校准频率、随机处理能力，质控方法、空间需求（包括试剂贮存）、废物处理要求、以及化学危险物和安全的考虑。（二）性能参数 与方法或仪器性能有关的特征包括其准确度、分析范围、分析回收、分析灵敏度、分析特异度、空白读数、检出限、干扰、精密度、试剂稳定性、“稳健性”，及样本的交互作用等。,分析方法相关的基本概念,校准（calibration）是指在规定条件下，为确定测量仪器或测量系统所指示的量值，或实物量具或标准物质所代表的量值，与对应的由标准所复现的量值之间关系的一组操作。（JIF1001-1998）,分析方法相关的基本概念,方法的评价的主要内容,定量实验室方法的初步评价（CLSI EP10）临床化学设备操作精密度评价（CLSI EP5）用患者标本进行方法学比较和偏倚评估（CLSI EP9）定量分析方法的线性（CLSI EP6）临床化学干扰试验（CLSI EP7）定性测试性能评估(CLSI EP12)基质效应的评价（CLSI EP14）精密度和准确度性能的用户证实(EP15-A)临床实验方法总分析误差的估计（EP21-A)使用 ROC曲线实验室试验临床准确度评价（CLSI GP10）临床实验室如何定义和确定参照区间(C28-A2)NCCLS National Committee for Clinical Laboratory StandardsCLSI Clinical and Laboratory Standards Institute,临床化学设备的精密度评价,Evaluation of Precision Performance of Clinical Chemistry Devices,Approved Guideline,1984,EP5,精密度的内容,批内不精密度批间不精密度日内不精密度日间不精密度总不精密度,实验方法,试剂和校准物：同一批号样本：基质与临床样本相似，2个以上浓度（参考医学决定水平）。实验天数：20天以上实验次数：每天2批，每批2个样本，每个样本重复2次,精密度实验,批内不精密度,I=总实验天数（一般为20天）j=每天测定的批次（一般为2批）Xij1=第i天j批实验第一次结果Xij2=第i天j批实验第二次（重复）结果,批间不精密度,I=实验天数（通常为20天）Xi1=第i天第一批实验结果的平均值（通常重复2次）Xi2=第i天第二批实验结果的平均值（通常重复2次）,日间不精密度,I=实验天数X=所有结果的平均值Xi第I天所有结果的平均值,总不精密度,精密度性能的用户核实,实验至少要做5天，每批每个水平(要求2个浓度水平)作4次重复检测。利用方差分析进行数据统计。计算批内不精密度(CV或SD),并将与厂家批内不精密度比较。计算总不精密度(CV或SD)，并将与厂家总不精密度比较。或者将总不精密度与不精密度分析目标进行比较。,NCCLS文件EP9-A,用患者样本进行方法对比及偏倚评估,批准指南,1995年12月,目的及用途,引进新方法前或用一种方法替代另一种方法时进行偏倚分析；评价同一分析项目的两种分析方法间的偏倚。,评价操作要求,熟悉仪器操作熟悉评价方案质量控制足够的数据,实验样本要求,来源于健康人或患者，无干扰，尽量避免储存；测定物浓度范围应在医学决定水平范围内均匀分布；样本数至少40例，增加数量能提高可信性,对比方法,厂家要求的实验室常规方法或公认的参考方法。具有好的精密度 没有已知的干扰物 相同单位 相对国家标准或参考方法的偏倚是已知的,测定方法,每天分别用两种方法进行测定，测定顺序：1、2、3、4、5、6、7、88、7、6、5、4、3、2、1测定次数：至少测定5天，共40个样本,数据监督,常规质控：系统误差人为误差,实验步骤,熟悉仪器及方法收集数据检查方法内的离群点界限：（双份测定）相对差值均值的4倍,绘图,散点图：均值散点图（X，Y）所有值散点图（Yij，Xi）偏倚图：散点图（Yij-Xij），Xi）,均值散点图（X，Y）,偏差图：每次测定的Y均值与X均值 之差-相应X均值图,两种方法间离群值目测检查,界限：4倍两种方法间绝对偏倚的均值绝对差值允许范围:相对差值允许范围:,适合范围：计算 r，r2=0.95 范围适合 r2 0.95 扩大数据范围线性回归：计算 均匀离散度的直观检查,预期偏倚及可信范围 线性回归方程 计算偏倚（高、中、低3组）解释实验结果并与内部标准比较,准确度的用户核实,选择20份患者的新鲜标本，它们内含的分析物浓度分布于实验方法的可报告范围。不使用分析物浓度超出可报告范围的样品。两个方法对标本检测应在同1天的4小时内完成。如果实验安排35天，每天进行57份标本检测，这样得到的结论是最可靠的。,评价方法可接受性,1通过试验确定的误差估计与分析目标建立的规范确定的界限进行比较。2当获得的总误差值小于方法允许的总误差时，可认为侯选方法的性能是可接受的。3当一种或多种分析参数发现大于方法的允许误差，可认为侯选方法的性能是不可接受的。当这种情况出现时，必须改进方法的性能；如果不能改进，则需要舍弃该方法。,允许不精密度制定,根据本国各实验室室内变异系数水平确定。根据室间质量评价允许总误差（TEa)确定允许的CV%:1/4TEa,1/5TEa,1/6TEa 根据生物学变异确定允许的CV%:,临床检验方法评价决定图的制作及应用,定量测量程序的线性评价,Evaluation of the Linearity of Quantitative Measurement Procedures:A Statistical Approach EP6-A,目的,为实验室中采用定量分析方法的用户提供评价仪器或方法是否满足厂家线性指标的评价方法。用户可为分析方法设定线性范围。,定义,实验范围（Assay Range）：或者线性范围（Linear Range)：分析系统最终输出的、与被测物浓度或活性成比例的、浓度或活性值范围,定义,线性（Linearity）:曲线接近直线的程度的量；与完整系统的反应相关（是最后的分析结果或解释，不仅是仪器的输出结果）,Scope and Limitations,线性是分析方法的一个特征，不同于准确性和精密度。线性实验应该使用与待分析物基质相似的样本。线性检验“系统”反应，包括校准、线性化技术、系数和仪器反应。,检测系统,Testing System全部检测过程，包括仪器，样品，人员，试剂，消耗品和程序；注：还有以下属性（方法特征）：样本类型，检测温度，湿度，等,使用者的需求,用简单的实验来检验厂家标示的线性范围及定量分析方法的分析范围；在实验室中作为方法学的信息（方法线性）；进行线性评价实验。,仪器的熟悉过程,执行分析过程的实验室人员必须掌握仪器操作和维护程序、样本准备方法和校准。对较简单的设备需要5天或更少时间。对较复杂的多通道设备需要5天或更长时间。,实验周期,在完成仪器熟悉过程后开始实验并收集数据。全部实验和数据采集应在同一工作日内完成。,线性评价实验样本要求,样本数量：验证线性：5-7个浓度水平，重复2次测定。建立线性：7-11个浓度水平，测定2-4次基质：应使用与病人样本相似的样本或注明基质类型。,可以使用的样本,病人混合血清（理想的样本基质）建立线性范围：高值样本：高于上限20-30%低值样本：线性低限或更低。,可以使用的样本,含添加物的混合病人血清：加入品在没有干扰物存在时不需高纯度。经处理的材料稀释的混合血清用于降低分析物浓度，材料处理：透析、热处理、层析。,可以使用的样本,生理盐水稀释的混合血清：在线性实验中使用此类样本可掩盖不同的基质效应。商品质控或校准品：此类样本由于不是正常的生理形式，可掩盖实际的线性结果。,可以使用的样本,不同比例稀释商品质控物；水溶液：一般无基质效应其它溶液：基质效应与有机溶剂相似,推荐的样本添加材料,ALB：白蛋白干粉、human fraction V.乙醇：无水乙醇AMS：腮腺或胰腺提取物BIL：胆红素纯品Ca:CaCO3Cl:NaCl,推荐的样本添加材料,CHOL：胆固醇纯品或稀释质控品CO2：CaCO3CREA：标准液或高值血清-ALT：纯酶GLU：右旋糖AST：纯酶ALT：纯酶,推荐的样本添加材料,Lipase：胰腺提取物Mg：MgCl2P:K(H)2PO4或Na(H)PO4TP：白蛋白干粉、人或牛的成份VUA：在得不到高值病人样本时，使用标准储备液或干燥尿酸。BUN：在得不到高值病人样本时，使用标准储备液或干燥尿素。,样本分析顺序,分析序列应为随机排列。有显著携带污染时，应用空白隔开样本。每个实验组内应至少分析5-7个不同浓度水平的样本。,样本浓度范围,应覆盖待评线性范围的上、下限。评价结果不满意时应重新设定浓度。线性范围内至少应保留有5-7个浓度。,样本的准备,足量的混合血清。低浓度混合血清（No1）；高浓度混合血清（No5）血清（No2）：3份“No1”+1份“No5”血清（No3）：2份“No1”+2份“No5”血清（No4）：1份“No1”+3份“No5”,样本浓度计算,C1V1+C5 V5浓度=-V1+V5,数据收集,x1 y1-1 y1-2 y1-3 y1-4x2 y2-1 y2-2 y2-3 y2-4x3 y3-1 y3-2 y3-3 y3-4 x4 y4-1 y4-2 y4-3 y4-4x5 y5-1 y5-2 y5-3 y5-4,数据评价,观察有无明显的数据错误；若有明显异常时应判断是否为离群点；如离群点超出2点，则保留全部数据或重做全部实验。,离群点检查,用于特定浓度Y值离群点的检验。将4个重复值从大到小排列（Y1到Y4）。计算：D=Y1-Y4若Y1可能是离群点，计算：D1=（Y1-Y2）/D若Y4可能是离群点，计算：D4=（Y3-Y4）/D,离群点判断,判断值（Critical value)(0.05)0.765(0.01)0.889,绘图和评价,线性X-Y图，X轴为分析物浓度；反应值或仪器输出值为Y轴；目测离群值：(Y=aX+b)目测线性判断是否符合要求；进行统计学判断和评价。,多项式回归分析,一次方程：y=b+b 1x二次方程：y=b+b1 x+b 2 x2 三次方程：y=b+b1 x+b 2 x2+b3 x3,EP6-A指南的主旨是利用多项式回归分析方法判定线性。多项式回归分析是研究一个因变量与一个自变量间的多项式的方法,即比较一阶(直线)、二阶(抛物线)和三阶(S形线)多项式的回归分析方法。多项式回归分析的最大优点是可以通过增加X的高阶项对实测点进行逼近直至满意为止,从而建立最优的多项式回归方程。,注意,统计学标准和临床可接受限不同。慎用方法学线性范围从0开始。有临床意义的浓度应在线性评价中：最小的线性浓度医学决定水平最大的线性浓度,卫生部临床检验中心组织的线性评价或校准验证的室间质量评价计划的结果可用于实验室检测项目的线性评价：Beckman自动生化分析仪器Roche或Hitachi自动生化分析仪器Olympus自动生化分析仪器,实验室检验的临床准确性评价,NCCL GP10A,GP10-A,Assessment of The Clinical Accuracy of Laboratory Tests Using Receiver Operating Characteristic(ROC)Plots;Approved Guideline(1995)“用ROC曲线图评价实验室检验的临床准确性”,定义,临床检验信息：准确性：敏感性 Sensitivity特异性 Specificity有用性：,定义,临床准确性（Clinical Accuracy）：衡量检验项目对于不同健康状况的区分能力。如：健康与疾病；良性与恶性疾病；对治疗的反应性与不反应性；预测疾病的好转与恶化,定义,临床有用性（Usefulness）：检验信息在病人管理中的实用价值，如：检验成本；假阳（或假阴）性率；有损伤小、成本低的其他方法；检验技术要求；检验创伤和舒适性,定义,ROC：Receiver Operating Characteristic受试者工作特征ROC曲线：描述实验室检验的敏感性和特异性关系的曲线。,ROC曲线,定义,阳性预测值（PPV）真阳性结果数 真阳性结果数+假阳性结果数,定义,阴性预测值（NPV）真阴性结果数 真阴性结果数+假阴性结果数,ROC曲线的意义,ROC曲线的意义,ROC曲线的意义,用ROC图进行方法比较,ROC曲线的绘制,ROC曲线的绘制,进行临床准确性实验确定诊断的敏感性和特异性绘制ROC曲线图ROC分析：敏感性/特异性的置信区间；ROC曲线下面积；多实验ROC曲线的比较；其他,ROC曲线的绘制,ROC曲线的绘制,ROC曲线制作及分析软件,CLINROCMetzROC ANALYZERROCLABRULEMAKERSIGNAL TEP-UH,ROC曲线的优点,利用简单易于分辨的图形反应临床准确性指标；不需要确定临床决定水平；可直接用于不同检验方法临床准确性的比较,ROC曲线的局限性,不能显示实际的临界值；不能提示样本数量；ROC曲线分析参数计算复杂；缺少实用性强的计算机软件。,定性实验性能评估(CLSI EP12),定性实验（qualitative tests）仅给出阳性或阴性（是或非）的实验结果。在临床实验室中使用一项新的定性检验方法可以有许多理由，如使用简便、低成本、操作过程规范或能满足使用者的特殊要求。但在使用新方法进行患者样本检验前，使用者必须进行相关的实验准备工作，包括与其它方法的比较、使用培训、正确采集标本和必要的室内质量控制过程等。对定性实验方法进行评价时，使用患者样品进行重复性实验和方法比较是非常重要的内容。,一、定性实验的临床应用,在临床实验室中，定性试验可用于筛查、诊断、确认、或监测为目的的测定。试验的敏感性、特异性、预测值和效率等，决定了其在临床应用的范围。从临床应用的角度讲，定性实验可分为筛查实验、诊断实验和确证实验。,一、定性实验的临床应用,筛查实验（screening tests）筛查实验通常用于对整个人群或特定人群中是否存在初测物的检查，如大便潜血实验。作为筛查实验，通常要求检验方法有较高的敏感性，以保证不漏掉真阳性结果。诊断实验（diagnostic tests）定性实验用于特定疾病的诊断或临床可疑指征的判断，如微生物学培养与细菌鉴定。通常情况下，诊断性实验要求方法学同时具有较好的敏感性和特异性。但是，在有确证实验的条件下，可以适当放宽对方法学特异性的要求。确认实验（confirmatory tests）确认实验通常在筛查实验和诊断实验之后进行，对已做出的检验结果进行验证和确认，以帮助临床医生做出正确的临床诊断。确认实验一般设计为有较好的特异性和较高的阳性预测值。,一、定性实验的临床应用,临界值（cut off）实验结果处于（阴、阳性）分界点时的样品中分析物浓度值，低于此值，定性实验的结果为阴性，高于此值，定性实验的结果为阳性。对定性实验来讲，临界值是唯一的医学决定水平，当样品中被测物浓度处于临界水平时，定性实验重复检查同一样品，将产生50%的阳性结果和50%的阴性结果。当样品浓度在临界值以上增加时，阳性结果比率增加；而当样品浓度在临界值以下减低时，阴性结果比率增加。临床界值的95%区间 在样品浓度高于临界值并重复实验产生95%阳性结果和浓度低于临界值并产生95%阴性结果之间的样品浓度范围。,二、定性实验方法学评价,评价准备 在开展定性实验方法的评价工作之前，操作人员应有一个熟悉和培训的过程，使操作人员掌握样本的处理和保存、试剂的处理和保存、正确的实验过程和结果解释、及质量控制（QC）操作。培训应当在不同工作日内进行，并能使工作人员的操作能力达到临床应用的要求。在使用生产商提供的质控物时，应按生产者的要求进行，使用其他商业质控物必须注意可能存在的基质效应问题。可能时，在进行方法学评价期间，应使用相同的质控物。对大多数定性实验，每日进行阴性和阳性质控物测定已经足够。用于评价实验的临床标本，应按要求采取。必要时，应新鲜采取，并尽快完成检测，在熟悉方法和操作培训过程结束后，可以继续方法学评价工作。,二、定性实验方法学评价,重复性评价在评价实验期间，应做好质量控制工作，以保证实验在预期的质量目标下进行和实验数据的有效性。质控物可使用试剂生产者推荐的阴性和阳性质控物。重复性评价实验可以与方法学比较实验同期进行。重复性评价实验应该提供样品浓度接近临界值时的精密度结果，而用远低于或高于临界值浓度的样品进行定性实验的重复性评价是不适当的。在临界值95%区间之外，定性方法给出相同测定结果的能力（阴性或阳性）是评价其方法性能的重要指标。定性实验方法的重复性评价目的是确立被评价方法的临界值，进一步确立临界值20%的样本浓度范围是否在该方法临界值95%区间内。重复性评价实验可按以下步骤进行：,二、定性实验方法学评价,重复性评价1确立方法的临界值 参考试剂说明书或用阳性样品进行稀释，直至重复实验给出的阳性和阴性结果各占50%，此时的样品浓度即为实验方法的临界值。2在临界值基础上准备出-20%浓度的样品和+20%浓度的样品。3对以上低、高浓度样品分别测定20次，记录阴性及阳性结果数；重复次数低于20时，统计学意义可能降低。4当实验结果表明“临界值”样品的阴性结果和阳性结果不是各占50%时，原因可能是：被评估的临界值浓度不准确、或结果数据不充足、或方法学剂量反应曲线在临界值处是非线性的。5当实验结果表明+20%浓度的样品产生阳性结果数95%，同时，-20%浓度的样品产生阴性结果数95%，说明临界值20%浓度范围等于或超出临界值的95%区间，对于被测物浓度在20%浓度范围以外的样品，实验方法将给出稳定的结果。当阳性和/或阴性结果数95%时，应另外准备不同浓度的实验样品，重新进行评价。,二、定性实验方法学评价,方法学比较 1样品种类和数量 进行方法学研究时的样品最好使用常规患者的新鲜标本，样品量应保证评价实验方法和比较方法测定的需要。样品中被测物应稳定，应尽可能用评价方法和对比方法同时完成测定。作为最低要求，用对比方法测定的阴性和阳性样品，应分别在50例以上。常规检测时，为保证阳性样品达到50例，阴性样品可能已大大超过50例，为保证正确评价阳性样品中可能出现的假阴性问题，必须保证有足够的样品量。2实验过程 使用临床样品进行方法学对比研究应在10到20天内完成，一方面能保证足够的样品量，另一方面也确保对实验方法的评价在常规实验条件下进行。全部实验样品都应妥善保存，以备再次检测用。可以通过对比方法再次测定，或使用另一种对比方法、或使用临床诊断提供更多的信息以解释实验中的问题。,二、定性实验方法学评价,方法学比较3参考样品盘 由一组临床样品组成，测定结果可与指定的参考方法或临床诊断相联系，对评价定性实验方法是非常有效的。参考样品盘通常包含不同浓度被测物的临床样品，可能时，还包括干扰物质。虽然样品盘有许多优点，适用于评价实验，但是不易得到，也不能反映实验室条件下患者的实际分布情况和预测效果。参考样品盘与临床患者样品结合，用于方法评价实验是较好的选择。,二、定性实验方法学评价,数据分析定性实验性能通常用敏感性和特异性来描述。在已知样本临床诊断结果的情况下，可采用22表格计算定性方法的操作性能。,22表格,1方法敏感度=100%A/（A+C）2方法特异性=100%D/（B+D）3相关样品的患病率=100%（A+C）/N4阳性结果预测值（PVP）=100%A/（A+B）5阴性结果预测值（PVN）=100%D/（C+D）6方法效率=100%（A+D）/N,二、定性实验方法学评价,对定性实验方法进行评价时，许多情况下样品的临床诊断是未知的，实验方法只能与对比方法进行比较。由于对比方法的准确度并非100%，此情况下不能简单使用敏感性和特异性来描述方法学性能，应使用“符合率”对实验方法结果与对比方法结果的一致程度进行描述，见表。表 定性实验方法比较,7.总符合率=100%(a+d)/n8阳性符合率=100%a/(a+c)9阴性符合率=100%d/(b+d),总符合率=100%(a+d)/n阳性符合率=100%a/(a+c)阴性符合率=100%d/(b+d),临床实验室如何定义和确定参照区间(C28-A2),对临床实验室数据的解释是一个综合性的决策过程，对一名患者样品测出的结果，需要与一定的参考区间进行比较，以做出医学诊断、治疗决定、或对健康状况做出评估。因此，临床实验室在进行检验工作的同时，为实验室定量测定提供可靠的参考区间同样是非常重要的任务。,数据分析与处理,为了保证参考标本组能够较好地代表参考人群，应保证组中的参考个体有足够的数量。实验室在建立参考区间时，一般情况下，参考个体的数量应不少于120例，当参考标本组需要进一步分组时，每组的参考个体数量也应在120例以上。而实验室需要进行参考区间的转移时，如：在同一实验室中的不同方法间进行转移、在不同实验室间进行转移、不同地区或不同人群间进行转移时，必须对原有的参考区间进行确认，这种情况下，参考个体的数量可在20-60例。在对参考值分布进行分析时，一般参考限可分别设在参考分布的2.5%和97.5%位置上，应注意有些被测物只有上限有临床意义。,方法评价有关计算机软件,ExcelSASSPSS（可进行ROC曲线分析）EP（EP5,EP6,EP9,EP10)Minitab STATISTICA,谢谢！,