检测系统评价与验证课件.ppt

检验工作者必备知识3检测系统评价与验证,本章要点,决定性方法、参考方法和常规方法的概念。检测系统性能评价的临床意义和临床应用。精密度的概念，精密度实验的评价方法。线性范围评价的概念，实验方法及数据分析。携带污染的概念，实验方法及消除其措施。生物参考区间的验证方法。室内与室间比对实验的方法及实验数据的统计分析,检测系统评价与验证目录,第一节 性能评价在实验室的应用范围,第二节 性能评价与验证的基本方法,第三节 室内与室间比对实验,第一节 性能评价在实验室的应用范围,检测系统评价与验证,决定性方法,经详尽研究尚未发现产生误差的原因准确度最高，系统误差最小，测定结果与“真值”最为接近。主要用于评价参考方法和对一级标准品定级。,经详尽研究证实其不准确度与不精密度可以忽略的方法。主要用于鉴定常规方法的准确性，也用于鉴定二级标准品、对质控血清定值和对商品试剂盒的质量做评价等。,应具有足够的精密度、准确度和特异性，有适当的分系范围，其性能指标符合临床或其他的需要，经济实用。,实验室方法分级,参考方法,一、实验室方法分级,临床检验部分项目的方法,临床检验部分项目的方法,临床检验部分项目的方法,常规方法,参考方法,决定性方法,应用范围,不同方法间的关系,性能评价的必要性：每种检测项目具有多种检测方法；各室用试剂、标准品、质控品及其它外部供应品来源不同仪器、人员素质和技术管理之间有很大差别等；同一检验项目各实验室的检测结果之间相差很大，给临床的诊断和治疗造成了一定的困难。为保证检验结果准确可靠，增加实验室之间的可比性,二、性能评价的应用范围,性能评价的临床应用范围,新检测方法,检测系统在运行过程中,新建检测系统,配套系统：实验室对照生产厂家提供的仪器使用说明书的承诺进行性能参数的验证。非配套系统：实验室必须对其性能进行全面评价。一个稳定的检测系统必须保证其检测误差在临床可接受的范围内。,检测系统在运行过程中,由于机械部件的磨损、材料变质，检测系统的组成发生变化或检测系统的运行环境发生变化时，各种性能也会随之发生变化。为了保证检测系统的持续有效性，必须定期或不定期的评价或验证。,对新检测方法,一个新的检测方法的引进或对原有检测方法的某些技术进行改进以后，在对临床标本检测以前都要进行性能评价。完全符合临床使用要求时方可用于患者标本进行检测。,What?,检测系统评价与验证,第二节 性能评价与验证的基本方法,精密度：是指同一标本在一定条件下多次重复测定得到的一系列单次测定值之间的接近程度。通常用标准差（S）和（或）变异系数（CV）的大小表示，S和CV愈大表明检测结果之间的离散程度愈大，重复性愈差；SD和CV愈小表明重复性愈好。,精密度评价,批内精密度：在重复性条件下，在尽可能短的时间内对同一样本进行多次重复测定所得结果的接近程度。日间精密度：将同一样本分成数份，用同样方法每天测定一次，最少连续测定20天求得的精密度。,精密度评价实验,实验条件必须保证稳定 检测系统组成的稳定，室内环境基本符合日常工作要求，实验方法以及试剂、质控品、校准品批号一致。实验样本应与真实标本有同样的基质且稳定性好 选择2个或多个浓度患者血清或冰冻血清或以血清为基质的质控品或校准品。检测系统应处于良好的状态 其运行环境和条件应在仪器使用说明书规定范围之内。每次实验过程均应有质量控制。,实验前准备,批内精密度测定：将实验样本随机插入患者样本中进行检测，一批内连续测定20次。日间精密度测定：每天将实验样本随机插入患者样本中检测一次，20天后对20次检测结果进行统计分析。计算高、低两个浓度批内与日间共4组数据的均值、标准差和变异系数。,样本测定,实验数据统计分析,公式为：,式中 指在该符号右侧求总和；i=1表示从第1个x值开始加，加到第n个x值，一共加n个。,批内1/4卫生部临检中心规定的总允许误差范围日间1/3卫生部临检中心规定的总允许误差范围,精密度实验判断标准,定义：准确度是指测定值（或一组数据的均值）与真值的一致性，用偏倚来表示。偏倚又可用系统误差的大小来表示。评价系统误差的实验：回收试验：是评价比例系统误差干扰试验：是评价恒定系统误差方法比较试验：是评价系统误差（恒定和/比例误差）,准确度评价,定义：是指在已知浓度的样本中加入不同浓度的已知被测物，用被评价方法或被评价检测系统测定被评价物质的浓度，最后计算实测浓度与加入浓度之比，以回收率评价实验方法或检测系统的比例系统误差。方法：无溶血、无脂血、无黄疸正常人血清，将其一分为三，一号样本作为基础样本；二号和三号样本作为分析样本。分析样本中加入不同浓度的被分析的纯品标准液，基础样本中加入相同体积的无分析物的溶液，使3份样本的总体积相同，重复检测4次，计算回收率。,回收实验,计算公式：回收浓度=分析样本测得平均浓度基础样本测得平均浓度,比例系统误差=100%平均回收率,回收实验,例如：用某被评价的检测系统 测定血清葡萄糖来做回收实验,基础样本：血清0.9ml+0.1ml生理盐水分析样本1：混合血清0.9ml+0.1ml 50mmol/L葡萄糖标准液分析样本2：混合血清0.9ml+0.1ml 100mmol/L葡萄糖标准液用被评价的检测系统对该样本进行四次重复检测计算回收率和比例系统误差小于卫生部规定的TEa标准，说明此方法的准确度性能可 接受；大于不可接受。,例如：用某被评价的检测系统测定 血清葡萄糖来做回收实验,回收实验检测结果,结论：平均回收率为96.5%，比例系统误差为3.5%，小于卫生部规定的总允许误差标准，该方法的准确度性能可接受。,新鲜正常人混合血清；应将被测物配制适当浓度的溶液加入实验样本中，一般不超过总体积的10%；样本加入量必须一致，且有高、中、低浓度；加入的浓度必须包括医学决定水平，但不超出本方法的线性范围；试剂配制和加入量必须准确，要多做几次后作出评定。,注意事项,定义：是通过定量检测样本中的物质所引起实验方法的系统误差，以评价方法的准确度。首先要确定被试可疑物质是否引起误差；若能引起误差,再进一步探讨其误差的来源是因方法特异性差还是干扰造成。若加入的物质本身和分析试剂反应并产生读数，这是特异性差；若加人物质并不与分析试剂反应，但它改变了分析物和分析试剂间的反应，这是干扰。,干扰实验,临床生化常见干扰物来源：内源性：标本中存在的（血清固有、病理情况生成的代谢产物、药物、标本采集不当或饮食造成干扰物）外源性：加入标本中的（抗凝剂、防腐剂、稳定剂以及采集和处理标本过程中污染物）,干扰实验,可疑干扰物的选择：可根据实验方法的反应原理、厂商的说明书、文献资料选择。常见的干扰物包括黄疸、脂血、溶血、防腐剂、抗凝剂、稳定剂和某些药物等。干扰物的制备：如在样本中加入胆红素标准品可制备黄疸标本，用机械溶血可制备溶血标本、通过添加商品的脂肪乳制备脂血标本等。,干扰实验方法,实验样本制备：选用正常患者标本，将其一分为二，在其中一份样本加入一定量的可疑干扰物质作为干扰样本，在另一份加入同等量的不含任何干扰物的溶剂作为基础样本。,干扰实验方法,干扰样本 基础样本,样本检测：用被评价的方法或被评价的检测系统对每份样本重复测定23次，求添加干扰物后的每个混合血清与添加空白液的混合血清的偏差和百分偏差。干扰值计算 干扰值（mmol/L）=干扰管测定值基础管测定值干扰率计算 干扰率（%）=（干扰值/基础值）100%判断标准：将干扰引起的系统误差的大小与卫生部TEa进行比较，若小于该标准即可接受。,干扰实验方法,样本制备：制备正常人混合血清一份，将其一分为二，1号为基础样本，2号为干扰样本。基础样本：混合血清0.9ml+蒸馏水0.1ml干扰样本：混合血清0.9ml+8.84mmol/L尿酸标准液0.1ml干扰实验检测结果,例如：评价尿酸对GOD-POD法 测定血糖的干扰,结论：0.88mmol/L尿酸对血糖的干扰值为0.62mmol/L，小于卫生部临检中心TEa，判断其是可接受的。,控制干扰物的加入量：加入干扰物的数量应不超过实验样本总体积的l0%。确定干扰物浓度：加入干扰物的浓度须达到有价值的水平，尽可能达到病理标本的最高浓度值。确定干扰的标准：由于干扰物引起测定结果的偏差有大有小，究竟多大的干扰可影响临床诊断和治疗，这个标准至今仍未确定。,注意事项,空白实验采用双波长或多波长检测排除干扰。当误差较大又无法消除时，应对检测方法进行改进或更换新的检测方法。,消除干扰的常用方法,新的检测系统新的检测方法,实验方法Y,原有的检测系统公认的检测方法,比较方法X,患者标本,偏倚,方法比较实验,熟悉分析方法和分析过程：对检测系统流程、方法、仪器、环境、消耗品使用以及评价的内容和方案十分熟悉和了解。检测系统应处于良好状态，检测系统运行环境和条件在控制范围内，每次要有质量控制。样本准备：20份患者新鲜样本，其所含分析物浓度必须分布于实验方法的检测范围内，其中至少50%样本的测定结果处于实验室的参考区间之外、线性之内。,方法比较实验,样本检测：用实验方法和比较方法每天对5-7份样本进行检测，共检测3-5天。每份样本在每台仪器上双份测定（随机指定第一次测定顺序，按反向顺序检测第二次），取平均值。统计分析：比较方法X，实验方法Y。将20对结果绘制于坐标纸上，如所有样本方法学间比较的结果呈良好的直线线性关系，说明方法学比较实验有效。使用直线回归处理，计算y=bx+a及相关系数r。,实验数据的统计分析,评价标准：相关系数r0.975，说明回归式可以较好的反映方法间的真实关系，则在所检测的分析物浓度范围内的任何处，可以估计方法学偏倚，偏倚应1/2TEa。,室间质量评价验证：参加权威机构组织室间质量评价定值标准品的验证：质控血清、校准品、EQA剩余标本室内比对验证：同一个实验室内部有公认的方法或公认的检测系统做同一个检验项目，可以用公认的方法或检测系统的结果比较其准确度。室间比对验证：用本室的测定值与参考实验室的检测结果进行比对，观察同一个样品测定值间的差异。,准确度验证,准确度与正确度、精密度的关系图例,线性范围评价：是观察一种检测方法或一个检测系统的检测范围。通过该实验可以了解其最高检测值（上限）和最低检测值（下限），是对患者检测结果可报告范围的一种评价。较好的实验方法或检测系统应有一个较宽的线性范围，起码应覆盖本项目的医学决定水平和常见疾病的检测值。目的：选择线性段作为该测定方法的分析测量范围。,线性范围评价,标本：患者新鲜低值和高值血清标本最高浓度样本：至少高于可报告范围上限30%。最低浓度样本：尽量选择接近线性范围下限，低值有临床意义的项目，应选择尽量低的标本。系列浓度样本准备1号样本：原低值样本2号样本：低值样本高值样本=41比例混匀3号样本：低值样本高值样本=32比例混匀4号样本：低值样本高值样本=23比例混匀5号样本：低值样本高值样本=14比例混匀6号样本:原高值样本,实验前准备,系列浓度样本在一天内分两批进行测定，第一批测定顺序从低到高浓度，第二批测定顺序从高到低浓度，每批样本测定3次，计算实测平均值。根据样本稀释方案计算预期值。,样本的检测,将实测均值（Y轴）与预期值（X轴）作比较，初步观察其相关性、线性走向及线性范围。直线回归统计，计算y=a+bx及相关系数r或r2。评价标准：b在10.05范围内且相关系数r0.975，认为以上6个浓度为被评价方法或被评价检测系统的线性范围。,实验数据统计分析,课间休息,定义：是指分析仪器检测标本时，由于试剂、样本和反应杯等残留物对后续项目检测结果的影响。现代分析仪器共用样本加样针、试剂加样针、反应杯、搅拌棒等。共用部件残留物对后面标本检测结果的影响有些时候是非常明显的，甚至造成临床不可接受的结果。,携带污染率的评价,熟悉分析方法：对检测系统的流程、方法、仪器、环境、消耗品使用以及评价的内容和方案十分熟悉。检测系统应处于良好运行状态。样本：无溶血、黄疸、脂血的高、低浓度各一份。检测方法：取4个样本杯，分别盛放3个相同低浓度的标本（分别为L1，L2，L3）和1个高浓度标本（H）。按L1，L2，H，L3顺序进行测定。携带污染率的计算：携带污染率=(L3-L2)/H100%,携带污染率的评价,携带污染率的评价,加强对分析仪器的日常维护和保养研究新方法：用双试剂或多试剂消除或降低携带污染率。针对性解决问题：对污染的项目从分析原理、试剂组成等多方面进行分析。改变分析方法：当携带污染难以解决时。其他方法：改变试剂加样顺序、插入非干扰项目、先检测无污染的项目、相互干扰的项目分别指定使用不同圈的比色杯（生化分析仪的内圈或外圈比色杯）、采用双试剂加样针分别加入试剂等。,消除携带污染率常用措施,良好的精密度，无样本的携带污染是我们进行其它方法学验证的前提，如果一个分析系统的重复性不好或存在着样本携带污染，则其它的方法学评价实验就缺乏基本保障。,注意,定义：是指某项检查结果在正常人群中的分布范围，是解释检验结果、分析检验信息的一个基本尺度和依据。国内实验室多引用国家权威机构、权威刊物颁布的或直接引用试剂厂家提供的生物参考区间。由于国度、年龄、性别、民族、居住地、生活习惯等存在差异，引用的参考区间与本地居民实际的可能有一定差异。,生物参考区间的验证,选择评价对象：选择无任何已知疾病，近期内未用任何药物的健康自愿者20名。必要时可按性别和不同年龄段进行分组，每组至少20名。采集标本：应排除影响检测结果的一些因素。如血液标本应禁食8-12小时，采血前不能饮用任何饮品、不能服用任何的药物、禁烟、避免剧烈运动等。合理选择采血时间、采血方法、采血次序、加入抗凝剂的类别等。检测方法：按实验室制定SOP文件要求检测20例健康个体。20个检测数据不应在一天内获得，建议当天标本当天测定。,实验前的准备,若实验对象的测定值有95%以上在所选择的参考区间内，可以接受。即：若20例检测结果全部在该参考区间内；或有1例检测结果在该区间以外，选择区间可以接受；若2例或2例以上超出该参考区间，应再增加20例健康个体重新进行验证，若有10%的检测结果超出参考区间，应考虑重新制定本实验室的生物参考区间。,生物参考区间结果评价,检测系统评价与验证,第三节 室内与室间比对实验,定义：同一检验项目在同一实验室用两种或两种以上的检测系统检测，检测结果之间要有可比性。常用方法：被评价的检测系统与本实验室完整有效的国际国内公认的检测系统或参加室间质评成绩合格的检测系统进行比对。,室内比对,定义：为了保证本室检测结果的准确可靠。实验室将本室的检测结果与参考实验室或经ISO15189认可的实验室的检测结果进行比对，或者参加权威机构组织的室间质量评价，这样的比对称“室间比对”。室间与室内比对实际上是两个或多个检测系统的方法比较实验，待评价或验证的方法为实验方法，参考方法或准确度已知的方法为比较方法。,室间比对,选择患者血液样本至少40例，最好包括临床常见的各种疾病的标本。浓度范围尽可能覆盖整个可报告范围，其中至少50%样本的测定结果处于实验室的参考区间之外、线性之内。如果从一个患者得不到所需要的样本量，可以将两个（但不能多于两个）病史相同，被测物浓度也大致相近的患者样本混合使用。最好使用测定当天的样本。,比对样本收集,每天测8个样本，连续测定5天，每个样本在每台仪器上双份测定，按正反各一次的排序进行检测（随机排序）如：第一次序号为：1、2、3、4、5、6、7、8第二次序号为：8、7、6、5、4、3、2、1比对的全部标本，均应在两个小时内测定完毕。减少交叉污染及漂移对重复测定标本平均值的影响,比对样本测定,方法比较实验所得的结果是配对资料t检验：用于比较两种方法间的系统误差（对随机和比 例误差敏感），用偏差表示。F检验：用于比较方法间的随机误差或精密度。相关系数（r）：对随机误差敏感，r越接近1表明两者相关性越好；r0.975或r20.95则认为两者有相关性。直线回归分析：Y=a+bxa为回归线截距对恒定误差敏感，a=0时表示无恒定误差b为回归线斜率对比例误差敏感；b=1时表示无比例误差,配对资料统计处理,r0.975或r20.95提示两个检测系统的结果有可比性；室内比对偏差小于可接受范围，说明被评价的检测系统的检测结果可以接受，反之为不可接受，室间比对相对偏差不能超过1/2卫生部TEa可接受范围。,判断标准,结论：两个检测系统的检测结果差异无显著性；且r0.975，证明两个检测系统的检测结果具有较好的可比性。,良好的精密度，无样本的携带污染是我们进行其它方法学验证的前提。如果一个分析系统的重复性不好或存在着样本携带污染，则其它的方法学评价实验就缺乏基本保障。,小 结,5W1H为什么要验？（Why）什么时候验？（When）验什么？（What）在哪里验？（Where）谁来验？（Who）如何验？（How）,？,空气动力学速度车体转向架运行固定、悬挂的零部件的强度稳定性舒适性故障率,高速列车性能验证 Why？,新的检测系统建立,新仪器、设备,新的检测项目,检测方法变更,检测试剂更换,When？,仪器搬移,仪器故障后重新启用,仪器更换重要备件,仪器暂停使用后重新使用,仪器设备发生变化或问题后,When？,定期:季度、半年、一年。不定期,When？,初步评价（NCCLS EP10）精密度评价（NCCLS EP5）准确度评价（NCCLS EP9）线性范围（NCCLS EP6）携带污染（NCCLS EP7）生物参考区间（C28-A2）,What？,试剂盒说明书（先决条件）国际和/或国内标准,性能验证合格标准从何而来,厂家或他单位的实验室可以吗？,Where？,厂家工程师可以吗？,Who？,概念的准备专业知识技能的准备样本准备性能验证SOP准备,How？,病人混合血清（理想的样本基质），最好选择两个或多个浓度水平。建立线性范围：高值样本：高于上限20-30%低值样本：线性低限或更低。,可以使用的样本,检测系统性能评价的临床意义及应用范围有哪些？检测系统性能评价与验证的内容通常包括哪几项？正确度评价包括哪些方面内容？如何评价检验方法的精密度与线性范围？消除干扰的常用方法有哪些？实验室如何确定检验项目的参考区间？,思考题,方法学评价实验,方法学评价实验,是客观评估实验方法分析性能 的重要手段。方法的选择和评价是执行新方法 过程的关键步骤。,正确度的评价,正确度：是指由大量测试结果得到的平均数与真值的一致程度，以偏倚来表示，偏倚小则说明正确度高，偏倚大则说明正确度低。*干扰试验*回收试验*方法比较试验,干扰实验,干扰实验是评价被分析样本中其他物质引起实验方法的系统误差，以评价方法的准确度。因为特定浓度的干扰物质一般引起恒定数量的误差，而与样本中被分析物的浓度无关。误差大小受样本中干扰物浓度影响。临床检验绝大部分反应是以血清为介质，在测定某分析物的浓度或活性时，除参与反应的物质外，还有许多复杂成分通过直接参与反应、抑制反应或激动反应等方式对反应过程进行干扰，从而使检测结果出现偏差。例如葡萄糖氧化酶反应测量葡萄糖，其中产物过氧化氢可能与尿酸起反应，干扰可能是轻微的。因此，临床实验室应对影响实验的干扰物质进行评价，了解干扰物质的种类及干扰特性，对检测结果做出评价。,干扰物分内源性（标本中存在的）和外源性（加入标本中的）两大类。常见的内源性干扰物除血清中固有的物质外，还有病理情况下生成的一些代谢产物、药物、标本采集不当或饮食造成的一些干扰物如溶血、黄疸、脂血，血液中酒精、咖啡因等。常见的外源性干扰物有抗凝剂、防腐剂、稳定剂以及采集和处理标本过程中的一些污染物质，如标本容器、塞子、皮肤消毒剂、玻璃洗涤清洁剂等。由于干扰物质的种类很多，影响因素非常复杂，到目前为止，实验室只能对极少数的干扰物做出评价。,可报告范围评价,分析测量范围 指对没有进行任何预处理(稀释、浓缩等)的标本，分析方法能够直接测定出的待测物的范围。也就是系统最终的输出量（活性或浓度）与被分析物的活性或浓度成线性比例的范围，它反映整个系统的输出特性。常用线性试验来评价实验方法的分析测量范围 临床可报告范围 是方法可采用标本的稀释、浓缩或其他预处理用于延长直接的分析测量范围下的分析物值的范围。一种比较好的实验方法或一个比较好的检测系统应该有一个较宽的线性范围，但由于任何方法的线性范围都是有限的，对一个检验项目而言，其线性范围起码应该覆盖本项目的医学决定水平和常见疾病的检测值。,生物参考区间的验证,生物参考区间是指某项检查结果在正常人群中的分布范围，是解释检验结果、分析检验信息的一个基本尺度和依据。临床实验室无论开展什么项目都必须首先制定合理的生物参考区间。使临床对健康普查者的检验结果作出判断，对病人检验结果有大致的了解，发挥检验报告的作用。因此获得检验项目可靠的参考区间是实验室的重要任务,定义：精密度是指同一标本在一定条件下多次重复测定得到的一系列单次测定值之间的接近程度。是表示测定结果中随机误差大小程度的指标评价方法-重复性试验,精密度评价,精密度是指同一标本在一定条件下多次重复测定（通常由同一材料至少分析20次）得到的一系列单次测定值之间的接近程度。精密度评价是性能评价中最重要的指标之一，通常用标准差(S)和（或）变异系数(CV)的大小来表示，标准差和（或）变异系数愈大，说明检测结果之间离散度愈大，重复性愈差；标准差和（或）变异系数愈小，表明重复性愈好。常见的精密度评价实验批内精密度实验和日间精密度实验。,精密度评价,批内精密度是指在同一分析批内对同一样本进行多次重复测定所得结果的接近程度。批内精密度通常过低地估计了总的精密度，因为在重复检测时间内变异条件的机会最小。日间精密度是将同一样本分成数份，用同样的方法每天检测一次，最少连续检测20天求得的精密度。这种估计值是性能的最实际的评价，因为它包括了由于不同操作人员、仪器日间的变化、不同移液器的使用以及实验室的温度或其他条件的变化而导致方法性能的改变。分别做统计处理可测的候选方法的批内、日内和日间的随机误差,精密度评价,1实验条件 精密度评价主要是观察各次检测结果之间的接近程度必须保证实验条件稳定，如检测系统组成的稳定，室内环境基本符合日常工作要求，实验方法以及试剂、质控品、校准品批号应一致等。,精密度评价,2实验样本 实验样本应与真实标本有同样的基质 样本的质量在整个实验期间应稳定，选择两个或多个浓度水平。实验样本可使用正常人血清，使用实验室贮存的稳定的冷冻血清或血浆，选用稳定性好、以血清为基质的质控品或校准品。,精密度评价,3检测系统 检测系统的运行环境和条件应在仪器使用说明书规定范围之内，在整个评价过程中，所用试剂、校准品、质控品、消耗品应与正在运行中的检测系统完全一致，每次实验过程均应有质量控制。,精密度评价,血清中白蛋白在pH4.2的缓冲液中带正电荷，在有非离子型表面活性剂存在时，可与带负电荷溴甲酚绿（bromocresol green,BCG）结合生成蓝绿色复合物，在630nm处有吸收峰，其颜色深浅与白蛋白浓度成正比，与同样处理的白蛋白标准比较，可测出白蛋白含量。白蛋白+BCG 白蛋白BCG复合物,溴甲酚绿法测定-血浆白蛋白,操作步骤,保温5分钟，630nm比色,计算 白蛋白浓度(A样品/A标准)标准浓度(g/L)生物参考区间 35-55g/l,试剂与器材1.血清标本2.溴甲酚绿试剂盒操作步骤标本分别进行20次平行测定计算结果判断,计算-统计学处理,20次测定结果计算均值（X）、标准差（SD）、和变异系数（CV）,结果判断,批内精密度判断限是1/4允许误差范围。CLIA88能力比对试验的质量要求规定，白蛋白可接受范围是靶值10%。1/4为2.5%，既变异系数CV2.5%则方法的精密度可接受。,