性能验证ppt课件.ppt

性能验证,沈淑怡 18601402668,1,2,为何要做性能验证何时做性能验证性能验证的内容性能验证的方案,主要内容,3,为何要做性能验证复现,验证性能指标是否符合厂家申明的性能验证性能指标是否适用预期用途，即能否达到质量要求,为何要做性能验证符合、保证,4,何时要做性能验证,5,使用新的检测试剂和设备前。设备的重大维修和校准后，比如检测部件。设备搬迁到新的场所后或者长距离移动。试剂配方出现调整后，比如试剂升级换代。性能验证不能只做一次。,5.3.1 设备,6,5.3.2 试剂和耗材,7,微生物专业要求：5.3.2.3 试剂和耗材验收试验应符合如下要求： （a） 新批号及每一货次试剂和耗材使用前，应通过直接分析参考物质、新旧批号平行实验或常规质控等方法进行验证，并记录；（b） 新批号及每一货次试剂和耗材，如吲哚试剂，杆菌肽，奥普托辛，X、V、XV 因子纸片等应使用阴性和阳性质控物进行验证；（c） 新批号及每一货次的药敏试验纸片使用前应以标准菌株进行验证；（d） 新批号及每一货次的染色剂（革兰染色、特殊染色和荧光染色）应用已知阳性和阴性（适用时）的质控菌株进行验证；（e） 新批号及每一货次直接抗原检测试剂（无论是否含内质控）应用阴性和阳性外质控进行验证；（f） 培养基外观良好（平滑、水分适宜、无污染、适当的颜色和厚度，试管培养基湿度适宜），新批号及每一货次的商品或自配培养基应检测相应的性能，包括无菌试验、生长试验或与旧批号平行试验、生长抑制试验（适用时）、生化反应（适用时）等，应以质控菌株进行验证；（g） 一次性定量接种环每批次应抽样验证。,5.5.1 检验程序的选择、验证和确认,8,5.5.1 检验程序的选择、验证和确认,9,应用准则对方法学性能的通用要求(1),检验程序需文件化；实验室负责人或指定的人员应在开始即对程序评审并定期评审。评审通常每年一次。评审应文件化。性能验证：定量试验：正确度、精密度、可报告范围、（携带污染率）定性试验：阴性符合率、阳性符合率、重复性、最低检出限等半定量试验：重复性生物参考区间验证及评审：20份健康人标本，生物参考区间的评审还应该有临床医生的参与。评审内容：生物参考区间的来源、针对的人群、生物参考区间验证结果、与临床诊断的符合性等。生物参考区间建立：120份健康人标本,10,应用准则对方法学性能的通用要求(2),通过与其他实验室（如已获认可的实验室、使用相同检测方法的实验室、使用配套系统的实验室）比对的方式确定检验结果的可接受性时，应满足如下要求： （a） 规定比对实验室的选择原则；（b） 样品数量：至少5份，包括正常和异常水平；（c） 频率：至少每年2次；（d） 判定标准：应有80%的结果符合要求。实验室内部结果比对应符合如下要求：实验室用两套及以上检测系统检测同一项目时，应有比对数据表明其检测结果的一致性，实验方案可参考WS/T 407-2012医疗机构内定量检验结果的可比性验证指南，或比对频次每年至少1 次，样本数量不少于20，浓度水平应覆盖测量范围。,11,应用准则对方法学性能的专用要求,血细胞分析和尿液有形成分分析：建立复检规则，并验证，假阴性5%；(5.5.1.3)出凝血检验项目，更换新批号试剂时，如试剂敏感度差异明显，应重新验证生物参考区间；试剂敏感度接近时，可使用5份健康人标本进行结果比对，以确认参考区间的适用性。(5.5.2) 免疫定性试验：应按照制造商的说明或定义定期评审临界值或阈值(CUT OFF值)。(5.5.5)如制造商无相关的说明或定义，可以选择以下方法之一验证：阴性来源：选择没有疾病的健康人和非讨论疾病患者的病人的新鲜血清共120份，分3-5批3-5天进行检测，计算X、s，CUT OFF验证值为：X+3s；阳性来源：选择弱阳性（CUT OFF 值20%）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，CUT OFF 值验证值为:X-3s。应定期（至少每6个月1次，每次至少5份临床样品）进行形态学检验人员的结果比对、考核并记录；应定期进行仪器法间白细胞分类计数正常标本的结果比对。,12,设备故障后的特别要求,设备发生故障后，应首先分析故障原因，如果设备故障可能影响了方法学性能。故障修复后，可通过以下合适的方式进行相关的检测、验证：（a）可校准的项目实施校准验证，必要时，实施校准；（b）质控物检测结果在允许范围内；（c）与其他仪器或方法比对；（d）以前检验过的样品再检验。如果设备故障影响了方法学性能，在设备修复、校准后，实验室可通过检测质控菌株或已知结果的样品的方式进行性能验证。,13,性能验证的基本要求,14,操作者应熟悉仪器； 操作者应熟悉评价方案； 在评价实验过程中，设备应经严格校准或检定，所评价方法或检测系统必须有室内质量控制； 所使用的标本应与临床标本有相似的基质，最好采用病人新鲜标本，避免基质效应； 所使用的标本应尽可能避免干扰物质（溶血、黄疸等）的存在； 所选择不同浓度的标本应尽量覆盖厂商声明的线性范围（线性、方法学比对时）并均匀分布； 当验证厂商声明的性能时，选择控制物的浓度水平应接近医学决定值及接近于厂商声明试验所具有的浓度。,现场评审内容,查阅体系文件（程序文件、SOP)：是否有对检验程序文件化；是否有方法学性能验证的实施步骤；有没有复检规则、有没有生物参考区间验证或评审的规定；有没有定期比对相关的规定；文件的描述是否与相关标准或法规相吻合等查阅性能验证报告：是否规范化；是否制定了合适的判断标准等；是否签字保存查血涂片、尿涂片复检情况、是否按照复检规则进行复检现场提问/演示现场试验：留样再测、仪器比对、人员比对、图谱考核等,15,CLSI-EP文件,EP5-A2：Evaluation of Precision Performance of Quantitative Measurement Methods; Approved Guideline-Second Edition.EP6-A：Evaluation of linearity of quantitative analytical methods: A Statistical Approach; Approved Guideline.EP7-A：Interference Testing in Clinical Chemistry; Approved Guideline.EP9-A2：Method comparison and bias estimation using patient samples; Approved Guideline-Second Edition.EP10-A: Preliminary evaluation of quantitative clinical laboratory methods.EP14-A2: Evaluation of matrix effects; Approved Guideline-Second Edition.EP15-A: User demonstration of performance for precision and accuracy; Approved Guideline.EP17-A: Protocols for determination of Limits of Detection and Limits of Quantitation; Approved Guideline.C28-A2: How to define and determine reference intervals in the clinical laboratory.,16,临床检验行业标准,CNAS-CL07：2011测量不确定度的要求CNAS-GL03：2006能力验证样品均匀性和稳定性评价指南CNAS-GL06：2006化学分析中不确定度的评估指南WS/T 228-2002 定量临床检验方法的初步评价WS/T 246-2005 白细胞分类计数参考方法WS/T 356-2011 基质效应与互通性评估指南WS/T 402-2012 临床实验室检验项目参考区间的制定WS/T 403-2012 临床生物化学检验常规项目分析质量指标WS/T 407-2012 医疗机构内定量检验结果的可比性验证指南WS/T 408-2012 临床化学设备线性评价指南WS/T 409-2013 临床检验方法总分析误差的确定WS/T 415-2013 无室间质量评价时实验室检测评估方法WS/T 420-2013 临床实验室对商品定量试剂盒分析性能的验证WS/T 492-2016 临床检验定量测定项目精密度与正确度性能验证,17,18,性能验证的内容,定量项目验证内容,19,精密度（Precision）验证（包括批内和总精密度）正确度（Trueness）验证分析测量范围（AMR）验证临床可报告范围（CRR）验证自动稀释（Auto-dilution）验证参考区间（Reference Interval）验证空白限（LOB）验证检出限（LOD）验证定量检测限（LOQ）验证污染携带（Carryover）验证方法学比对（Method Comparison）分析干扰（Interference）性能评价测量不确定度（Measurement Uncertainty）评定,精密度,20,精密度（precision）的完整词语为测量精密度（precision of measurement），定义为：在规定条件下，相互独立的检测结果间的一致程度。G/T 6379。精密度通常用与精密度相反的检测不精密度统计量表示，如标准差（s）和变异系数（CV），精密度越低，s或者CV越大。,21,精密度验证（CLSI EP15-A2）,验证材料及要求：质控品、已经检测过的病人标本或具有血清基质的定值材料。每个项目均需选择低值和高值两个浓度水平（至少2个水平）的验证材料进行验证。所用样本一定要稳定；其基体组成应尽可能相似于实际检测的病人标本；样品中的分析物含量应在该项目的医学决定水平附近。验证方案：对验证材料每天分析1批次，2个浓度，每个浓度重复测定3次，连续5天。离群值剔除：单次测量数据超出总均值4SD。数据统计分析与可接受标准： Within run SD 厂家声明or1/4TEaTotal run SD 厂家声明or1/3TEa,数据处理,22,正确度,测量正确度 measurement trueness无穷多次重复测量所得量值的平均值与一个参考量值间的一致程度。注1：测量正确度与测量系统误差有关，与随机测量误差无关。注2：“测量正确度”不能用“测量准确度”表示，反之亦然。注3：正确度通常用偏倚(bias)表示。注意与偏差的区别！,23,24,正确度验证,验证材料及要求：定值参考物质A 新鲜冰冻人血清或其他一些未掺杂成分的人体物质B 从能力对比试验中获得的参考物C 厂家提供的正确度确认物或质控物D 实验室室间质评物E 由第三方提供的已用一些不同方法定值的物质验证方案：选择适合该方法最易获得的PT/EQA材料。最少要求测定2个水平，但更多水平适合于充分评价整个测量范围。选择的水平应能代表该方法的最低和最高测量范围。使用前充分混匀，重复测定2次。数据统计分析与可接受标准：数据评估，用二之一的总误差设定可接受范围上限和下限范围。,正确度的判断,25,2022/11/21,26,27,28,仪器比对（CA125例子）,29,根据回归方程计算医学决定水平处35 U/ml的偏移为-11.08%（1/2TEa为12.5%），比对通过。,分析测量范围,30,分析测量范围（analytical measurement range，AMR）又称线性范围：使实验系统的最终分析结果为可接受的线性的浓度范围，此时非线性误差应低于允许误差。 （WS/T 420-2013. 临床实验室对商品定量试剂盒分析性能的验证）AMR 是对分析系统直接检测分析物浓度或活性范围能否覆盖生产商声明的确认。,L,H,0.8L+0.2H,1 2 3 4 5 6,0.6L+0.4H,0.4L+0.6H,0.2L+0.8H,分析测量范围,实验方法：收集厂商声明线性范围高限（H）和低限（L）附近的标本，将H和L按照以下比例稀释：,每份标本重复检测3次，计算均值和每个理论浓度偏差。将得到的均值和预测值作直线回归统计，得到直线回归方程y=bx+a，计算相关系数r。,判断标准：实测均值与预测值偏差小于10%，相关系数r0.95，b值在0.97-1.03范围内，认为厂家声明线性范围得到验证；否则，线性范围不被验证。,31,使用EXCELL进行数据处理,不通过，需查找原因，重新验证。,32,分析测量范围EP6A，WS/T 408-2012,本实验选取待验证线性范围高限附近和低限附近的样本进行混合，至少配制5个浓度。如果高浓度混合血清与低浓度混合血清的被测量浓度未知，可将每种混合血清编码，编码可代表每个血清相对浓度，具体见下图（以5个浓度为例）。,L,1L+3H,2L+2H,3L+1H,H,1 2 3 4 5,33,所有浓度样品应在一次运行中或几次间隔很短的运行中随机测定，每个浓度标本重复检测3次，所有标本检测应在2小时内完成，计算每个浓度均值 。离群值剔除： 对于重复测定的数据组，采用格拉布斯（Grubbs）法进行离群值检验。,34,以水平1为例进行离群值检验,将水平1从小到大排序，计算均值和标准差,计算 t1和 t2,根据显著水平和重复测定次数查表，如果t值大于临界值则相应可疑值为离群值,35,三次回归的标准误最小，所以三次回归曲线最适合本数据，对非线性系数b2、b3与0进行t检验，P0.05，验证的0.38-21.19范围是线性的。,y = b3 x3+ b2x2+ b1x+ a,进行多元回归分析（SPSS软件）,36,如果二次或者三次多项式b2、b3系数与0有统计学意义，即P0.05，需验证二次或者三次多项式与一次多项式预测值偏离，即系数非线性判断。,除去最低点，其余浓度非线性偏移可接受。,37,AMR & CRR,38,分析测量范围（AMR）：用没有作任何稀释、浓缩、或其他不属于常规检查步骤部分的预处理而直接测量样本的方法而得到的测试系统产生的结果范围，该结果位于最低的定量界限和最高线性界限之间。也叫做“直接可报告范围”或“线性范围”或“动态范围”。临床可报告范围：某种检测系统产生的结果范围在最低的定量界限和可计量结果的最高界限范围之间，包括样本的稀释或浓缩。临床可报告范围联同相关的稀释方案（稀释标准，稀释液，因子），必须在定量检测的标准操作规程（SOP）中指定。,临床可报告范围验证（CLSI EP15-A2/ EP17-A）,39,选择日常检测标本中接近分析测量范围上限（低于上限）的标本，可使用厂商推荐的稀释液，进行系列稀释或者浓缩。每个稀释浓度至少检测两次，计算均值。比较检测值和理论值，以R表示检测值与理论值的比值。判断标准：90%R110%为可接受限，超过可接收限的上一稀释或浓缩倍数为最大稀释或浓缩倍数。,实测值/预期值100%即为稀释回收率，最大稀释度得到验证。最大稀释度乘以AMR上限即为CRR的上限。,示例,40,Tips,41,生理盐水或水稀释有可能因基质差异影响到方法而使试验不准,参考区间,42,参考区间一般定义为中间95%区间，特定情况下，非对称定位的参考区间可能更适宜（肿瘤标志物）。参考区间可能会取决于原始样品种类和所用检验程序。,参考区间验证（CLSI C28-A3c）,43,验证材料及要求：接收实验室在检验服务的总体中抽取20个参考个体，比较小样本参考值和原始参考值之间的可比性。接收实验室的操作必须和原始参考值研究的分析前和分析中各因素的控制保持一致，20个参考个体应具有接收实验室健康人群的代表性，并满足排除和分组标准。验证方案：检测按要求收集的20份参考个体样本。数据统计分析与可接受标准：评估数据，超出待验证生物参考区间范围的个体数量小于等于1个，验证通过,44,定量检出限验证（CLSI EP17-A）,验证材料及要求：用厂家推荐的稀释液作为空白样本，并用此稀释液将已知浓度的低浓度样本（如低浓度定标液）稀释成近于厂家说明书检测低限的低浓度系列（5-10个浓度），作为分析灵敏度的实验样本。将每份稀释好的样本分成20-50份，冰冻保存。验证方案：系列稀释样本每天检测1次，推荐至少检测20天。数据统计分析与可接受标准：评估数据，计算每个浓度样本的CV值，CV值Target CV（通常是20%）的最低浓度即为LOQ。（一般作为临床可报告范围的低限）,45,携带交叉污染,验证材料及要求：对于一些较小样本携带即可造成污染的项目（共用样本针），实验室需要对样本的污染携带率进行评价。验证方案：取高浓度样本（H）和低浓度样本（L）各一份，将高浓度样本分成10杯，低浓度样本分成11杯，21份样本按顺序：L1 L2 L3 H1 H2 L4 H3 H4 L5 L6 L7 L8 H5 H6 L9 H7 H8 L10 H9 H10 L11连续测定。数据统计分析与可接受标准：携带污染 = High-Low的均值Low-Low的均值，携带污染 3 倍Low-Low的SD则验证通过。,46,47,测量不确定度的评估,1、什么是测量不确定度？例：ALT的结果为12012 U/L（ k=2 ，k为包含因子） 或ALT的结果为120 U/L10%（k=2 ）符号后面的数量就是测量不确定度12 U/L是绝对值，10%(U/L)是相对值测量不确定度又简称为不确定度，符号u不确定度定义:根据所用到的信息，表征赋予被测量量值分散性的非负参数。,48,含包含因子与不含包含因子的不确定度有什么区别？含包含因子的不确定度称为扩展不确定度，以U 表示，在报告测量结果时以U 形式报告，同时说明k。如U =12 U/L (k=2)不含包含因子的不确定度称为合成不确定度，以uc表示。uc k =U, 如uc =6 U/L测量不确定度的评估过程主要就是评定uc可以k =2，也可以k =3常规检验中一般k =2，代表测量结果95%的可信限,49,常规检验中不确定度分量不确定度评估方法：“自下而上” 与“自上而下”不精密度分量与偏移（偏倚）分量不精密度（imprecision）可用标准差（s）或变异系数（CV）表示偏移（bias）的不确定度分量通过特定方法求得,50,51,假设偏移的不确定度为0,52,精密度来源AACB推荐6个月可用“标准差（sRw）”或“变异系数（CVRw）”表示不精密度的量。根据定义，可直接用标准差表示不精密度的不确定度分量uimp= sRw 或%uimp= CVRw,（1）6个月内使用同一质控品直接计算sRw 或CVRw（2）6个月内使用了二个批号质控品计算CVRw平方和的根,53,偏移的来源（1）计算偏移（正确度验证）与参考物质（CRM）比较与参考测量程序（参考方法，RMP）比较与室间质量评价（EQA/PT）的靶值(target)比较（2）计算参考物质（或参考方法）的不确定度（3）计算参考物质（或参考方法）（在常规实验室）的不精密度（4）计算偏移的不确定度,54,55,定性项目及其他验证内容：,56,Cutoff值检测限分析特异性符合率诊断敏感性诊断特异性人员比对室间比对,2017最新检验行业标准,WS/T 494-2017 临床定性免疫检验重要常规项目分析质量要求,WS/T 505-2017 定性测定性能评价指南,57,58,应按照制造商的说明或定义定期评审cut-off值。如制造商无相关的说明或定义，可以选择以下方法之一验证：,1、阴性来源：选择60份健康人新鲜血清和60份目标标志物阴性而有其他免疫标志物阳性的患者新鲜血清，共120份，分3-5批3-5天进行检测，计算X、s，cut-off验证值为：X+3s； 2、阳性来源：选择弱阳性（cut-off值20%，应均匀分布）新鲜血清或质控血清共120份，分3-5批3-5天进行检测，计算X、s，cut-off值验证值为：X-3s。,Cutoff值验证,检出限值的验证,59,诊断特异性和灵敏度,60,阴阳性符合率,61,如果没有可用的诊断标准，那么需提供待评价试剂与某一已验证方法进行比较的结果，在这种情况下，则不能够计算敏感性和特异性，而是计算阳性符合率和阴性符合率。这种计算反映的并非方法的准确度，而是待评价试剂和已验证方法的一致性程度。,总符合率=(a+d)/(a+b+c+d)100%阳性符合率= a/(a+c) 100%阴性符合率= d/(b+d) 100% 需要特别说明的是，阳性符合率可以解释为已验证方法检测结果为阳性的标本中待评价试剂的阳性率，或待评价试剂检测结果为阳性的标本中已验证方法的阳性率，但是在本标准中，仅代表已验证方法检测结果为阳性的标本中待评价试剂的阳性率。,省中西案例（精密度）,62,省中西案例（重复性）,63,省中西案例（特异性）,64,省中西案例（灵敏度）,65,省中西案例（CUTOFF验证）,66,省中西案例（更换批号验证）,67,省中西案例（不同试剂比对）,68,省人民案例（符合性验证）,69,省人民案例（精密度验证）,70,省人民案例（检出限验证）,71,总结,72,为什么要进行性能验证？ 判断检测结果的可靠性；评价厂商的声明；为选择新方法提供依据 质量管理不断改进的必然趋势；各级行政检查的部署性能验证要做哪些内容？ 定量试验：正确度、精密度、可报告范围、（携带污染率） 定性试验：阴性符合率、阳性符合率、重复性、最低检出限等在哪些情况下需要进行性能验证？ 检测系统常规使用前；检测系统发生变更（如地点、试剂等） 设备故障维修后；定期验证性能验证增加的工作量有多少？ 每个项目增加：200300 Tests,方法学性能验证判断标准,检测系统不精密度要求以能力验证/室间质评评价界限作为允许总误差(TEa)，重复性精密度1/4TEa；中间（室内）精密度1/3TEa。 实验室内分析系统间不定期比对（如设备故障修复后）要求标本数n5，浓度应覆盖测量范围，包括医学决定水平，至少4份标本测量结果的偏差1/2TEa。实验室内分析系统间定期比对要求标本数n20，浓度应覆盖测量范围，包括医学决定水平，计算回归方程，计算在医学决定性水平下的系统误差（偏倚%），应1/2TEa。留样再测判断标准依据检测项目标本稳定性要求选取长期限标本，n5，覆盖测量范围，考虑医学决定水平，至少4份标本测量结果的偏差1/3TEa。 没有标准和室间质评要求时实验室间结果比对合格标准可依据制造商声明的性能标准而制定。,CNAS-CL38医学实验室质量和能力认可准则在临床化学领域的应用说明,73,74,谢 谢！,