方法学选择与评价.ppt

《方法学选择与评价.ppt》由会员分享，可在线阅读，更多相关《方法学选择与评价.ppt（83页珍藏版）》请在三一办公上搜索。

1、第三章 方法学选择与评价,第三章 方法学选择与评价,第一节 实验方法的评价与选择第二节 量值溯源、误差及不确定度第三节 方法学的评价,第一节 实验方法的评价与选择,方法学评价(evaluation of methodology)是通过实验途径测定分析方法的技术性能,并评价其是否可接受，其目的在于明确该方法是否具有足够的方法性能来说明检测系统的可靠性及可以满足临床需求。,方法学评价具体内容,第一节 实验方法的评价与选择,一、实验方法的分级二、参考物的分级三、方法选择的原则四、方法选择与评价基本步骤五、定量实验的方法学评价六、定性实验的方法学评价,实验方法的分级,1.决定性方法(definitiv

2、e method),定义：是准确度最高、系统误差最小、经过研究证明尚未发现其不准确度或不精密度的方法，其测定结果与“真值”最为接近。用途：主要用于评价参考方法和对一级参考物定值，而不直接用于鉴定常规方法。,2.参考方法(reference method),定义：是准确度与精密度已经充分证实，干扰因素少，系统误差与重复测定的随机误差相比可以忽略不计，有适当的灵敏度、特异度及较宽的分析范围。用途：主要用于鉴定常规方法。,3.常规方法(routine method),定义：指性能指标符合临床需要，有足够的精密度、准确度、特异性和适当的分析范围，经济实用的临床常规检验方法。用途：这类方法经有关学术组织

3、认可后可作为推荐方法。,常规方法,参考方法,决定性 方法,准确度增加,应用范围增加,不同方法的关系,决定性方法,一级参考物,参考方法,二级参考物,校准物,常规方法,控制物,各级实验方法和参考物的相互关系,返节目录,二、参考物分级,参考物也称标准品或标准物质国际标准化委员会定义：它的一种或几种物理或化学成分已经充分确定，可用于校准仪器、评价测定方法或给其他物质定值的物质“参考物证书”的参考物称为有证参考物（certified reference material,CRM）其定值由建立了溯源性的测量程序确定每个参考物都附有其置信水平的不确定度:标准值总不确定度,二、参考物分级,1.一级参考物(pr

4、imary reference material)特点：含量确定，稳定均一，数值由决定性方法或由高度准确的若干方法确定用途：可用于校正决定性方法，评价及校正参考方法以及为“二级参考物”定值，一级参考物均有证书,二、参考物分级,2.二级参考物特点：纯溶液（水或有机溶剂）或某特殊基质的纯溶液。可由实验室自己配制或为商品，其物质的量由参考方法定值或用一级参考物比较而确定。用途：主要用于 常规方法的标化 为控制物定值。,二、参考物分级,3.校准物 特点：冻干品或溶液，可以用一级或二级参考物以参考方法定值。用途：用于对常规方法和仪器的校准。,二、参考物分级,4.控制物(control material)

5、即质控品特点：与检测过程相适应，成分及基质与检测的样本相同或相似，且均匀、稳定。用途：控制物用于常规质量控制，采用控制物和样品同步进行测量，将测试结果与控制物保证值相比较，以评价其准确度和检查实验室内是否存在系统误差。,返节目录,三、方法选择的原则,实用性：备样本用量少、分析速度快、同时进行多项目和多样本的分析；方法操作简便、试剂种类少、易于实现自动化，安全可靠，价格低廉。可靠性：较高的精密度和准确度，较宽的检测范围。,三、方法选择的原则,可靠性：精密度：变异系数（CV%）一般应小于5%准确度是指测定值与“真值”的符合程度，一般偏差系数（CB）应小于5%特异性是指只与待测物质起化学反应，不与其

6、他结构类似的化合物发生反应检测能力用检测限度或“检出限”衡量检出限通常是指能与适当的“空白”读数相区别的，检测系统可以检出的待测物的最小量,返节目录,四、方法选择与评价的基本步骤,提出要求,收集资料,确定候选方法,初步评价,原理资料仪器试剂,试剂成分保存稳定性,生物安全,样本要求,准 精 特异 灵敏,标准化操作规程,设备设施,服务技术支持,返节目录,五、定量实验的方法学评价,定量实验检测系统可以给出具体数值的实验结果 定量实验的方法学评价包括:线性范围、准确度、精密度、灵敏度、特异度和参考区间等性能指标,六、定性实验的方法学评价,定性实验结果：出阳性或阴性 是或非定性检测性能评价：重复性研究

7、方法学比较,（一）评价前的准备,实验室工作人员的培训 熟悉待评价的试剂或系统 掌握样本和试剂的处理和存储过程 按厂商的要求进行，注意基质效应 定性实验需进行阴性和阳性质控物测定,（二）定性实验重复性研究,确立方法的临界值：同样一份样本，在多次重复实验中各有50%的几率获得阳性或阴性结果时该分析物的浓度；在临界值基础上准备出20%的浓度的样本；样本分别测定20次，记录阴性及阳性结果数；,结果分析：“临界值”样本的阴性结果和阳性结果不是各占50%+20%浓度的样本产生阳性结果数95%，同时，-20%浓度的样本产生阴性结果数95%阳性和/或阴性结果数95%,对于被测物浓度在临界值20%浓度范围以外的

8、样本，实验方法将给出稳定的结果。,临界值浓度不准确、结果数据不充足、方法学剂量反应曲线在临界值处是非线性的,应另外准备不同浓度的实验样本，重新进行评价,（三）定性实验方法学比较,对比的方法：另一种定性方法、“金标准”方法、定量方法或临床诊断。样本种类和数量：最好使用常规患者的新鲜标本，阴性阳性标本分别50例以上。实验过程：1020天内完成 性能指标：敏感度、特异性、阳性预测值和阴性预测值,表3-2 已知样本临床诊断结果判断定性实验性能指标,已知样本临床诊断结果判断定性实验性能指标,灵敏度A/(AC)100%特异性D/(BD)100%阳性预测值A/(AB)100%阴性预测值D/(CD)100%,

9、实验方法与比对方法间比较的结果计算,阳性符合率A/(AC)100%93.4%阴性符合率D/(BD)100%95.1%总符合率(AD)/N100%94.1%,返回章目录,第二节 量值溯源误差及不确定度,一、量值溯源的概念和意义 二、参考物的量值溯源 三、误差的分类和表示 四、测量不确定度,一、量值溯源的概念和意义,溯源性：通过一条具有规定不确定度的不间断的传递链，使测定结果或标准值能够与规定的参考标准，联系起来，使测定结果的准确性得到技术保证和验证。,标准品（reference material）：充分均匀并具有一个或多个良好确定的特性值的材料或物质，用来校准仪器设备、评估测定方法或给其他物质赋

10、值。,标准品分级,一级标准品：稳定、均一，由高度准确的若干方法定值，可用于校准决定性方法及为二级标准品定值。二级标准品：用一级标准品校准，参考方法定值。校准品：用二级标准品校准，拟被用于校准的常规方法定值。用于对常规方法和仪器的校准。,标准品分级,返回节目录,二、参考物的量值溯源,溯源链：用一个测量程序为某种物质定值，该物质用做下一级测量程序的校准物依此类推，形成一条不间断的比较链,（一）参考物的量值溯源程序,1.溯源链和校准层次,SI单位溯源链：计量可追溯性链的理想终点是国际单位制(SI)其他参考物的溯源：对没有SI单位的分析物，可溯源到“国际惯例”表示的参考物质和参考测定方法。,（一）参考

11、物的量值溯源程序,2.参考物量值的传递方案,3.校准溯源的验证三要素,由体外诊断试剂生产厂家测定的值应与用参考方法测定的数值相同。由体外诊断试剂生产厂家用参考方法测定结果在数学上相等的评估，即线性回归方程斜率为1、截距为0。要求厂家参考物测定结果有互通性。,（一）参考物的量值溯源程序,4.校准品在溯源中的作用校准品在溯源中的作用 实现溯源的“桥梁”是最可取而可靠的办法 实现溯源性的目的 结果的可靠实现溯源性的评估 室间质量评价是最易实现的量值溯源的长期评估方法,（一）参考物的量值溯源程序,5.实现溯源性的目和评估,实现溯源性的目的：结果的可靠 体外诊断试剂厂家按照ISO 17511的要求，对校

12、准品的定值实现计量溯源，为用户提供常规测定方法的溯源文件 实现溯源性的评估 室间质量评价是最易实现量值溯源长期评估方法,（二）参考物量值溯源的意义,通过溯源的参考物校准常规方法测定患者样本结果的准确性源溯参考方法参考物是处理过的样本与新鲜患者样本的基质有差异参考方法的准确度不能完全通过参考物传递给患者样本对参考物的量值有一定的调整,返回节目录,三、误差的分类与表示,误差是指测量结果与被测量的真值之差,（一）系统误差（systematic error，SE）,1.定义 是指在对同一被测量的多次测试中，它保持不变或按某种规律而变化。又称方法误差、固定误差。由恒定因素引起，多次重复出现，可被认识并校

13、正2.来源方法误差：由检测方法固有的缺陷所致仪器误差：未经校准的仪器所产生的误差仪器波长漂移、量器不准、温度或pH不准等引起试剂误差：试剂质量差、实验水不合格、参考物不纯操作误差：操作不规范，保温时间不足、加样不准,（二）随机误差（random error，RE）,1.定义 随机误差是指在对同一被测量的多次测试中，它受偶然因素影响而以不可预知的方式变化，又称偶然误差。随机误差影响不定，无大小和方向，呈正态分布。这种误差无法控制，是无法校正的。2.来源 随机误差反映分析方法的不精密度不可避免难以预测的测定仪器、试剂、环境、人严格按照标准化的操作规程可减少随机误差。,（三）误差的表示方法,绝对误差

14、：是指检测值与真值或约定真值之间的差值。其单位与检测值相同，可用于评价检测结果的准确程度。相对误差：是指检测值绝对误差与真值或约定真值之比，通常以百分数表示，它能客观的表示出检测结果的准确程度。总误差：常规样本测定结果与真值的差异是随机误差和系统误差的总和。,返回节目录,四、测量不确定度,（一）定义表征合理地赋予被测量之值的分散性，与测量结果相联系的参数。不确定度是指在统计控制状态下赋予被测量之值的分散性。,（二）不确定度分类,标准不确定度：是指以标准差表示的测量不确定度。相对不确定度：是指标准不确定度除以被测量之值。A类标准不确定度：是指用统计分析的方法来评定出的不确定度，其评定方法为A类评

15、定B类标准不确定度：是指用非统计分析的方法来评定出的不确定度，其评定方法为B类评定,（二）不确定度分类,扩展不确定度：是指确定测量结果区间的量，合理赋予被测量之值分布在指定概率内含于此区间。具有一定可信度的测量值都处于此区间内，又称范围不确定度或展伸不确定度。合成标准不确定度：是指当测量结果是由若干个其他的值求得时，按其他各量的方差和协方差算得的标准不确定度。,（三）不确定度计算,准确计算不确定度非常困难，一般仅能近似估算不确定度实验室的不确定度为合成不确定度，表示为：,返回章目录,测量不确定度与误差的主要区别,第三节 方法学的评价,一、准确度的评价二、精密度的评价三、检测限的评价四、可报告范

16、围五、参考区间验证,一、准确度的评价,（一）定义 准确度（accuracy）是指测定值与真值接近的程度一般用偏差和偏差系数表示 准确性评价方法有：回收试验 干扰试验 方法比对试验,（二）回收实验,回收实验用于评估实验方法正确测定在常规样本中加入的纯分析物(质量、浓度、活性)的能力。结果用回收率表示对实验方法的准确度进行评价,（二）回收实验,回收浓度样本最终测定浓度基础样本浓度,1.回收实验基本步骤,2.回收实验注意事项,使用常规样品基质吸量准确加入待测物的浓度标准液浓度重复测定计算比例系统误差：比例系统误差=100%-平均回收率,（三）干扰试验,干扰物质可以是测量误差的重要来源干扰物质引起的误

17、差是恒定系统误差，与分析物的浓度无关常见干扰物质有：病理条件下的代谢物：糖尿病患者本身原因：饮酒、药物、饮食等样本中因素：溶血、脂血、黄疸等样本处理中因素：抗凝剂、添加剂等,（三）干扰试验,1.原理 将阳性干扰物加入临床标本的混合液(干扰测定样本)中，与不加干扰物的同一混合液(干扰对照样本)组比较有无偏倚，称为“配对差异”试验混合液的干扰物浓度应具有临床决定性水平一般最有效的方法是在较高浓度下对系列可能的干扰物做初步筛选,2.干扰实验基本步骤,3.干扰实验注意事项,试验标本：常选择患者标本吸量精确加入干扰物的浓度、体积：要达病理标本的最高浓度值，体积尽可能小干扰物的选择：根据反应原理、厂家建议

18、和文献提示 测定次数,（四）方法比对试验,方法比对试验是指把试验方法(待评价或待验证的方法)与比对方法(参考方法或准确度已知的方法)进行比较，从测定结果间的差异了解待评价方法的检测结果的偏倚。如果这些误差小于总误差，方法是可接受如果误差太大，则必须拒绝该方法，或需要识别和消除其误差来源。,（四）方法比对试验,1.基本方法 用试验方法和比对方法同时测定一组患者的新鲜标本，分析两个检测系统测定结果的差异，得到恒定或比例系统误差的数据。,2.比对实验要求,新鲜患者标本最少在5个工作日对最少40份覆盖从低值、参考区间到高值基于随机的、系统的和总误差的大小判断方法的可接受性。,3.方法学比较实验,实验方

19、法：用做比对的方法(新方法)比较方法：与之比对的方法(原来方法)室内比对：比对在实验室内部之间进行的方法学比对实验室间比对：在不同实验室之间进行的方法学比对实验,4.比对实验步骤,样本数：8个临床患者样本，编号。用两种方法同时进行实验，正序倒序测定 1、2、3、4、5、6、7、8 8、7、6、5、4、3、2、1重复5天，必须进行校准和室内质控。数据处理及结果报告。,5.方法比对试验要点,样本要求：应选择常规检测的新鲜标本作为试验标本比对方法：用两种方法同时测定一批标本，计算出两种检测方法间测定结果的差异，以此来估计试验方法在测定标本时可能引入的误差原则上，比较方法应具有好的精密度，无已知的干扰

20、物，分析范围至少与实验方法相同。标本测定：不同检测系统开始检测的时间应相近，且都应在2个小时内检测完毕。,6.方法比对试验结果评价,作图分析：作图法是方法学比较最基本的分析技术，可以直观地初步判断数据的分布特点。可绘制散点图和偏差图 离群点的检查 标本内分析物含量的统计分析检验 线性回归统计 临床可接受性能判断,7.方法比对试验简易方法,参照CLIS EP15-A2文件用户对精密度和准确度性能的核实试验批准指南（第2版）进行准确度评价。通过对定值参考物检测，对检测系统的准确度性能进行评价。,8.简易评价程序,选择定值参考物，至少要求测定2个水平，用实验方法重复测定2次，将检测结果与说明书标示值

21、或靶值进行比对。计算偏倚，以CLIA88的1/2作为评价标准，偏倚小于CLIA88的1/2，认为新检测系统的偏倚临床可接受水平，新检测系统或新方法可应用于临床。,返回节目录,二、精密度的评价,精密度（precision）是指测量程序在相同条件下，对同一样本进行连续多次测量所得结果之间的一致性，是表示测定结果中随机误差大小程度的指标。精密度常用标准差或变异系数来描述不精密度，从而度量精密度大小。,（一）精密度检测基本方法,批内重复性试验 日内重复性试验 日间重复性试验 总的不精密度,（二）注意事项,试验标本的选择（1）标准液简便易得，可制成不同浓度，干扰因素少，可作为评价随机误差的最佳样品。（2

22、）冻干质控血清稳定、使用方便，适用于进行日间重复性试验。（3）患者标本或混合血清常用于短时间内完成的试验。,（二）注意事项,分析物浓度的选择 在医学上具有决定性意义的浓度水平试验样本数量 在试验周期内至少做20个样本的检测试验条件 要尽量在相同的条件下,返回节目录,三、检测限的评价,检测限是指检测系统可检测出的最低分析物浓度，又称为分析灵敏度试验样品：空白样品 检测限样品测定次数：无具体规定，通常测定1020次。试验时间：一般做10天检测。,结果计算 检测低限生物检测限：生物检测限更真实地反映实际检测限浓度水平样本测定的不确定度。功能灵敏度：功能灵敏度反映了方法能可靠测定的最低浓度。,三、检测

23、限的评价,返回节目录,四、可报告范围,（一）可报告范围 指检测方法可以报告的所有结果范围，包扩分析测量范围和临床可报告范围。分析测量范围 指患者样本没有进行任何预处理（稀释或浓缩等），检测方法能够直接测定出的待测物的范围 临床可报告范围 是指对临床诊断、治疗有意义的待测物浓度范围。,（二）线性试验,线性试验是指用试验方法对一系列浓度样本进行分析，对检测结果进行直线回归，评价该分析方法能准确报告的最低浓度、最高浓度或能检测到的范围。,1.线性试验基本步骤,试验样本（1）混合患者血清（2）在混合患者血清中加入一定量的待测物（3）经过特殊处理的混合人血清（4）标准品、商品化质控物或能力验证材料,1.

24、线性试验基本步骤,样本数量：一般采用浓度从低到高的56份样品。样本测定：全部试验在同一工作日内完成样本浓度范围：应覆盖待评线性范围的上、下限。评价结果不满意时应重新设定浓度。线性范围内至少应保留有4个浓度。,2.线性实验统计学处理,离群点检查：观察结果有无明显的数据错误，若有明显异常时，应判断是否为离群点，如离群点超出2点，则保留全部数据或重做全部实验。以分析物浓度(已知)为Y轴，测定均值为X轴，绘制X-Y线性图，目测分析测量范围。,2.线性实验统计学处理,若所有实验点在坐标纸上呈明显直线趋势用直线回归统计方法对数据进行处理，得直线回归方程Y=bX+a理想状态下，预期值和实测值间呈通过原点、斜

25、率为1的回归线，即b为l，a为0,离群点检查,用于特定浓度Y值离群点的检验。将4个重复值从大到小排列（Y1到Y4）。计算：D=Y1-Y4若Y1可能是离群点，计算：D1=（Y1-Y2）/D若Y4可能是离群点，计算：D4=（Y3-Y4）/D,返回章目录,五、参考区间的验证,参考区间的验证通常检测至少20例健康自愿者无已知疾病、能够走动、无任何用药、体重在健康范围的标本选择合适的统计方法确定95%的参考范围，若在推荐的参考范围内，或仅有5%的数据超出推荐的参考范围,本章小结,临床实验室方法的选择与评价，直接影响检验结果的质量实验方法分为决定性方法、参考方法和常规方法参考物质分为一级参考物、二级参考物、校准物和质控物常规方法应有完整的分析体系（仪器、试剂、校准物）其校准物的值能通过一条不间断的链，溯源到国际或国家标准规定的量值上,方法学评价或验证实际上是对误差的评估，即系统误差和随机误差 测量不确定度表明赋予被测量之值的分散性误差则是表明测量结果偏离真值的差值临床实验室选择方法时考虑方法的准确度、精密度、线性范围、干扰因素、分析测量范围和参考区间等,本章小结,返回章目录,谢谢,返回总目录,