循证医学(绪论-研究生)_课件.ppt

March,2013,循证医学（Evidence-based Medicine),March,2013,循证医学,概念：循证医学即遵循证据的科学，是指医师对患者的诊断和治疗必须基于当前可得到的最佳临床研究证据，结合医师个人经验和来自患者的第一手临床资料，并尊重患者的选择和意愿，三者缺一不可，从而保证患者得到当前最好的治疗效果。,March,2013,循证医学,当病人满怀虔诚走进医院的时候，手持一大摞检验单在医院里上下奔波，进行各种各样检查的时候，按“谨遵医嘱”打针输液，或把各种药物吞进肚中的时候，当心惊胆战地接过一大张医院分项收费汇总表的时候，不知你是否产生过这样的问题：医生为我们所做的这一切都是最好的吗？有效的吗？是有所值的吗?摘自-“健康报”2002.3,March,2013,当病人走进医院求诊的时候，你会,问诊物理检查化学检验治疗措施（药物；手术等）-干预相关建议,March,2013,你是否想过：你的方法、措施和建议是最好的吗？最有效的吗？最有价值的吗？大多数人会回答：我是按照教科书做的医学院的老师是这么教的有关文献是这么说的,March,2013,1989年一项震惊整个医学界的研究,Of 226 maneuvers in obstetrics&childbirth(在产科使用的226种方法中,临床试验或系统评价证明):20%were beneficial(有效:疗效大于副作用)30%were harmful or of doubtful value(有害或疗效可疑)50%had no RCT evidence available(缺乏随机试验证据)Iain Chalmers et al.Effective Care in Pregnancy and Childbirth.Oxford:Oxford University Press,1989,March,2013,March,2013,以前的研究怎么了？有什么问题？,由此带来的思考是：,-研究方法不科学，导致结果不真实；-研究结论不一致，导致用户无法选择；,March,2013,这些研究的重要启示,实践经验和理性推理是不完全可靠的医学干预，不管新旧，都应接受严格的临床评估有意识、积极和系统地采取措施，淘汰医学实践中无 效的干预措施，并防止新的无效措施引入医学实践所有医学实践的决策都应基于严格的研究证据之上,March,2013,内容,循证医学的产生循证医学的特点循证医学的发展循证医学实践EBM的问题,March,2013,一、EBM的产生,1、背景21世纪临床医学面临多种挑战 疾病谱改变：单因素疾病多因素疾病 RCT和SR成为判断疗效的金标准 医疗资源有限：呼吁成本-效果最优化 卫生资源的合理配置和高效使用 证据结论不一致：同一疾病同一干预措施 多个RCT 不同的结论怎样判效，如何选择,March,2013,一、EBM的产生,医疗模式转变：以疾病为中心，以病人为中心 终点指标代替中间指标 以人为本，质量至上 太多选择，难以选择：医生怎样循证决策 病人如何知情选择 医疗事故举证责任倒置：医师如何依法规范行医,循证保护自己 循证医学应运而生 解决新问题的新思路、新方法,March,2013,2.经典循证医学：一个循证实践的医学过程,强调医生对病人的诊断和治疗应根据：当前可得的最好临床证据 结合自己的临床技能和经验 尊重病人的选择和意愿结果是：医生和病人形成诊治联盟，病人获得当前最好的治疗效果,March,2013,经验医学和循证医学的异同,March,2013,循证临床决策模式,March,2013,3.广义循证观：一个管理理念上的飞跃,强调作任何事情都应该 以事实为根据 循证决策 不断补充新证据 与时俱进 后效评价实践效果 止于至善结果是：强调实事求是，提高了决策的科学性，注重决策质量，提高了决策的成本-效果,March,2013,4、循证医学的产生与随机对照试验的问世和临床研究方法学的发展密切相关,（1）公元前460-公元前370年，古希腊医师Hippocrates最早提出：不仅要依靠合理的理论，还要依靠综合推理的经验。并首次将观察性试验引入医学领域。（2）公元980-1037年，阿拉伯医师Avicenna进一步指出：药物应当在无并发症的病例中进行评价，并与药物的动物实验结果比较，进行重复性研究。（3）1061年，我国宋代本草图经中提出：通过人体试验验证人参效果。（4）1644年，我国清朝乾隆时期编著考证一书，用“考证”方法解释儒家理论，首次提出了循证思维。（5）1747年，苏格兰医师Lind首次对比研究了橘子、柠檬及其他干预治疗坏血病的疗效，与他同时代的研究人员创造性地将观察性试验、定量试验研究引入内科学和外科学。（6）1816年法国医师Hamilton首次报道了爱丁堡的一项大型对照试验，评价放血疗法的效果。这是迄今为止有关采用交替法产生对照组的最早记载之一。,March,2013,4、循证医学的产生与随机对照试验的问世和临床研究方法学的发展密切相关,（7）1898年，丹麦医师Fibiger通过半随机对照试验验证血清治疗白喉的效果。（8）1904年，丹麦医师Pearson研究了接种肠热病疫苗与生存率之间的相关关系，开创了将多个研究资料合并，进行统计学再分析的先例。（9）1907年，Goldberger鉴定伤寒菌尿症的文献，制定特定标准来选择、提取供分析的资料，而后进行统计学分析，成为Meta-分析的雏形。（10）1948年，英国医学研究委员会领导开展了世界上第一个临床随机对照试验（Randomized controlled trial,RCT），由英国著名统计学家Hill评估了链霉素治疗肺结核的疗效。该研究不仅在世界上首次令人信服地证实了链霉素治疗肺结核的卓越疗效，也是世界上首次进行的规范的RCT。（11）1976年，美国心理学家Glass首次提出Meta-分析（Meta-alalysis）一词及其统计学分析方法。（12）1982年，英国Chalmers提出了累计性Meta-分析概念，即将每一项新的随机试验结果累加到已知的针对某病某干预措施的随机临床试验Meta-分析结果中，从而为完成针对某一干预措施所有高质量RCT的系统评价提供了方法学支持。,March,2013,5、相关学科学术思想的发展，为循证医学的产生奠定了学术基础,始于1970年代的系统评价（Systematic Review,SR）为循证医学的产生提供了最好的证据,March,2013,6、循证医学产生的标志,Evidence-based medicine:A new approach to teaching the practice of medicineJAMA 1992,268:2420-2425-加拿大McMaster大学Gordon Guyatt领导的循证医学工作组（Evidence-based medicine Working Group）该文首次提出循证医学的概念，标志循证医学的诞生，表明一种新的医学实践模式正在兴起。,March,2013,1998.7.4 英国财经时报(Financial Times)认为循证医学是医学领域的又一伟大构想2001.9.9 纽约时报(The New York Times)循证医学当选为当年八十个震荡世界的伟大思想之一,是一场发生在病房里的革命2002.8.4 美国华盛顿邮报(Washington Post)将循证医学称为医学史上又一最杰出成就,March,2013,7、循证医学先驱人物,（）Archie Cochrane 英国医师主要著作及贡献：Archie Cochrane（1909-1988）,March,2013,1971年，在Effectiveness and Efficiency:Random Reflections on Health Services中明确提出：“由于资源终将有限，因此应该使用已被恰当证明有明显效果的医疗保健措施”，“应用随机对照试验证据之所以重要，是因为它比其他任何证据更为可靠。”-疗效与效益，健康服务中的随想,March,2013,1979年，进一步提出“应根据特定病种/疗法，将所有相关的RCT联合起来进行综合分析，并随着新的临床试验的出现不断更新，以便得出更为可靠的结论。”1987年，Cochrane等根据妊娠与分娩的RCT结果撰写的系统评价，肯定了糖皮质激素治疗有早产倾向的母亲有效，仅此一举，减少了欧洲新生儿死亡率的30-50%，从而成为RCT和SR方面的一个真正里程碑，并指出其他专业也应遵循这种方法。,March,2013,（）David Sackett(1934-)国际临床流行病学专家循证医学先驱Cochrane协作网首任主席（19931995）主要著作及贡献：,March,2013,1980年代初期，David Sackett 教授将临床流行病学的方法和原理用于指导临床实践，在McMaster大学率先对住院医师进行以“病人问题为中心的学习”（PBL）课程培训，探索基于临床问题的研究，以提高临床疗效，为循证医学的产生奠定了重要的方法学和人才基础。代表专著：1 Clinical Epidemiology:a basic science for clinical medicine 2 Evidence-based Medicine How to Practice and teach EBM3 Evidence-based medicine:What it is and what it isnt BMJ 1996,312:71-72,March,2013,（3）Iain Chalmers英国著名儿科医生循证医学专家英国Cochrane中心、国际Cochrane协作网的创始人,March,2013,Iain Chalmers60年代中期获得医师资格，在英国和加沙地区行医7年；70年代中期在伦敦卫生与热带医学院和经济学院进修，成为专职研究人员，特别关注卫生保健效果的评价；1978年-1992年创建国家围产流行病学中心，并任主任；1992-2002创建英国Cochrane中心，并任主任；1993年创建国际Cochrane协作网（Cochrane Collaboration,CC）；2003年-James Lind图书馆编辑；关注临床治疗的第三方评价,March,2013,二、循证医学的基本要素,证据的分类与分级 实践的四原则、五步法 多学科交叉，集成优势 基于问题，立足于用，以人为本,March,2013,“三要素”,March,2013,1、证据的分类与分级,March,2013,March,2013,March,2013,March,2013,March,2013,2、EBM实践四原则,基于问题的研究 遵循证据的决策 关注实践的结果 后效评价、止于至善,March,2013,March,2013,4、循证医学实践模式,有证查证用证 循证实践指南 循证证据手册 其他证据 无证创证用证 原始研究 二次研究,March,2013,March,2013,March,2013,三、循证医学的发展,1.关注主题的发展决策与管理WHO、UN、APEC科技部、卫生部、SFDA、计生委、中医药管理局教育改革世界医学教育最低要求、教育部、ICRAM实践指南 中国医师协会、中华医学会 临床指南、技术指南、药械指南 临床试验注册系统与报告规范 WHO CTR入口把关质量 CONSORT 系列出口把关质量,March,2013,1、概念的发展,早期循证医学的概念：循证医学的早期倡导者多是医学院临床流行病学的教授，他们的专业特征决定了他们对早期循证医学方向的把握，其用意在于呼吁提高对临床医生检索、阅读、理解和应用临床（流行病学）研究文献的意识和能力。,三、循证医学的发展,March,2013,难道过去医学实践不是遵循证据而行的吗？那么过去医学实践遵循的是什么？临床经验不是证据吗？循证医学中临床经验的作用是什么？如何将临床研究的平均结果用于个体病人的诊治？证据是决定病人诊治原则的唯一因素吗？基础研究证据在循证医学中的地位是什么？,对循证医学的讨论和批评,March,2013,重新定义循证医学,循证临床实践,循证医学是有意识地、明确地、审慎地利用现有最好的研究证据制定关于个体病人的诊治方案。实施循证医学意味着医生需综合参考研究证据、临床经验和病人的意见进行实践,（英国医学杂志，1996）,March,2013,循证医学 依据现有最好的证据进行医学实践的学问循证临床实践 针对个体的实践循证医疗卫生决策 针对群体的决策,March,2013,可实施循证医学的领域,医疗卫生立法医疗卫生政策的制订公共卫生策略的制订医疗卫生技术准入医疗卫生组织和管理医疗保险计划的制订,循证卫生决策,新药审批临床指南规范化的临床服务临床医生自发的尝试病人的选择医疗法律诉讼,March,2013,循证医学的最终目标,使用无效的防治措施既误害病人又浪费资源。循证医学将通过 促进物有所值的措施的利用 防止无效措施引入医学实践 淘汰现行使用的无效措施 限制使用昂贵低效的措施 从而不断增加医学实践中有效防治措施的比例，提高服务的质量和效益，有效利用宝贵的医疗卫生资源,March,2013,2.研究方法学的发展,March,2013,3.实践规范,循证临床实践指南：Clinical Practice Guideline Clinical pathway证据分级标准方法学手册循证决策循证实践与后效评价数据库建设与信息加工使用,March,2013,4.未来循证医学的五个发展方向,采用循证医学方法教育医学领导人，为制订指南和提供导向的人提供循证指导 继续撰写为临床医师提供循证指导的优秀、易读、实用的医学“教材”,March,2013,4.未来循证医学的五个发展方向,深刻理解行为改变策略，加强循证实践 研究临床决策与患者价值观一致的最佳方法 将循证原则包括SR和Meta分析用于全世界的卫生决策,March,2013,四、循证医学实践 临床医疗实践临床研究实践,March,2013,循证医学的临床实践基础,医生-发现问题，解决问题病人-充分理解，积极合作最佳证据-真实有效，重要适用医疗环境-设备支持，技术可靠,March,2013,经典证据,March,2013,March,2013,结论:皮质类固醇可有效降低新生儿死于早产并发症的危险，使早产儿死亡率下降3050 成效：1994年NIH制订官方政策，鼓励使用此法。美国每个婴儿可节省3000余美元，全国每年可节省15.7亿美元意义:Meta分析向人们展示了其在指导临床实践中的巨大作用，产生了持久而巨大的影响,March,2013,(一)临床医疗实践,循证治病的过程：1 提出问题：病人类型？治疗目的（结局）？治疗措施？2 寻找研究依据：Cochrane图书馆,Medline及其他资料库3 评价研究依据：结果和结论是否真实可 靠？4 将研究依据用于具体的病人,March,2013,1、提出问题,一60岁男性病人，CT证实为急性脑梗死，发病12小时后到达医院，无颅内高压及其他并发症。问题：这一急性脑梗死病人应该选用什么治疗方法来降低死亡和残疾的风险？,March,2013,中英急性脑卒中治疗实践调查,治疗药物 中国 英国甘油/甘露醇691中 药66 0阿斯匹林5439钙拮抗剂531低 右440蛇 毒300激 素191,March,2013,2、寻找科学依据,查询临床实践指南查询卫生技术评估报告查阅Cochrane系统评价若无，查阅非Cochrane系统评价/Meta-分析若无，查阅原始研究随机对照试验，特别是大规模的RCT若无，查询对照试验,March,2013,临床研究依据,治疗药物 中国 英国 依据依据来源甘油/甘露醇 69 1 不充分 Cochrane Lib中 药 66 0 不充分 Cochrane Lib阿斯匹林 54 39 充 分 Cochrane Lib钙拮抗剂 53 1 不充分 Cochrane Lib低 右 44 0 不充分 Cochrane Lib蛇 毒 30 0 不充分 Cochrane Lib,March,2013,3 评价证据,Cochrane 系统评价已经进行其他资料：应用临床流行病学的标准严格评价,March,2013,急性缺血性脑卒中的特异性治疗,有证据有效(使用)：常规使用:阿司匹林等抗血小板治疗（SR）选择性使用:3小时内静脉使用tPA（纤维蛋白溶酶原激活剂）,6小时内前尿激酶动脉溶栓（RCT,SR）有证据害大于利(停止)急性期使用抗凝剂有效或有害的证据均不足(待研究)：溶栓（超过3小时使用tPA，尿激酶）降纤（蛇毒酶制剂）神经保护剂其他,March,2013,“二十世纪人类最重大的发现就是发现了人类有多么无知”,March,2013,卒中：预防更加有效,研究证明：卒中是可预防的疾病以二级预防为例：抗血小板制剂：阿司匹林、氯吡格雷（SR）颈动脉内膜切除术：颈动脉狭窄70%(ECST)降血压：低盐饮食、药物（PROGRESS)戒烟(观察性研究）降脂：他汀类，舒降之等(HPS)雷米普利(HOPE)心源性脑栓塞的抗凝治疗(华法林等)(SR),March,2013,从证据到临床决策,原始临床研究(病因、诊断、治疗、预后等的各种)系统评价/Meta-分析、HTA临床实践指南(桥梁)医生的临床经验临床决策病人的需要病情是否有不能使用指南和证据的理由,March,2013,4、应用于具体的个体化病人,要考虑的问题：病人有无不适合使用证据的理由？(反指征)可行性？利大于害？不使用有关疗法有什么后果？价格承受能力病人的价值观和对疗效的期望怎样？,March,2013,4 应用于具体的个体化病人(续),该病人应：长期使用阿司匹林（A)进入卒中病房(A)对症、支持治疗(C)防治并发症(C)开始进行再发卒中的二级预防(A),March,2013,(二)临床研究实践,对尚无答案的临床问题：应进行临床研究、提供证据(高质量)1 提供系统评价证据 2 提供随机对照试验证据 3 提供中文临床研究证据库 4 提供临床实践指南,March,2013,国内循证医学发展,1 循证医学理念的介绍和普及：1996-现在 2 循证医学方法和技术的培训：1998-现在 3 纵深发展：解决临床问题是当前及未来的重点提供证据：进行当前可开展的最好的研究应用证椐：使用当前可得到的最佳证据以上两者的方法学研究 4 理论和方法的不断完善：长期任务,March,2013,提供高质量临床研究的要点,一、Ask a good question 提出一个重要而可回答的问题二、Answer it reliably 用可靠的方法去回答这个问题三、“可靠的方法”保证结果尽可能接近真实的方法(有足够的防止偏倚的措施),March,2013,1.提供系统评价证据,已完成：1)降纤酶(蛇毒酶)治疗急性脑梗死2)不同药物、剂量和途径的溶栓疗法治疗急性脑梗死3)抗凝治疗对脑卒中的二级预防4)甘露醇治疗急性脑卒中5)血肿抽吸治疗脑出血正在进行：6)针刺治疗卒中7)复方丹参治疗缺血性卒中8)银杏叶制剂治疗卒中,March,2013,降纤酶(蛇毒酶)治疗急性脑梗死,结果：共收集到全世界15个可能合格的研究，仅5个符合纳入标准，共计包括约2926例病人待发表的RCT共两个（欧洲、中国），包括约2600例病人降低死亡和残废的风险，出血有增加趋势但尚未达到统计学意义结论：有前途，仍不能得出最后结论,有待ESTAT试验和中国试验的发表，值得继续研究,March,2013,.提供随机对照试验(RCT)证据,针刺治疗急性卒中的RCT背景（立题依据）：针刺治疗脑卒中已有数百年至上千年的历史66%的中国医生常规使用，国外也有病人或亲属要求使用63%的中国医生相信针刺有效，36%不肯定，1%认为无效。已有的中国针灸研究结果尚难为世界所认可证据？正进行RCT的系统评价需要开展更多的RCT来提供证据,March,2013,中外针灸试验对比,阳性结果率：针灸试验：发达国家 50-60%国内 100%非针灸试验：发达国家70%国内 大于99%原因：可能主要为发表偏倚“使用这些国家的资料进行系统评价时要注意”,March,2013,急性缺血性卒中临床试验对比,国外多是阴性结果国内多是阳性结果(95%),March,2013,针刺治疗急性缺血性卒中RCT方案,目的：了解是否改善日常生活能力目标样本量：例随机方法：不透光的，系列编号的，密封的信封盲法判断疗效主要判效指标：ADL(Modified Rankin Scale and Barthel Index scores),SSS（Scandinavian Stroke Scale）,病死率随访时间：月资料分析：意向处理分析（ITT)统计指标：相对危险度(RR)及其可信区间(CI)结果发表：协作组名义（中国卒中针刺治疗研究组）,March,2013,.建立神经疾病中文证据库,目的：为政府卫生决策和临床决策提供中国的研究依据方法：循证医学协作者和志愿者参加建库工作按Cochrane协作网标准人工检索杂志和会议论文集从杂志创刊检索至当前将继续追踪查询及时更新,March,2013,4 循证制定治疗指南Evidence based guideline,基本步骤：归纳总结当前的最佳证据详细说明怎样应用证据于具体的病人好的治疗指南应该：全面分析评价了当前最佳证据应对每一条推荐意见标记基于何级别证据,March,2013,指南的强度:证据和推荐意见的级别,分级 证据类型推荐意见分级 Ia 多个RCT的系统评价AIb 至少一个RCTAII 至少一个设计很好的非随机对照试验B III 至少一个设计很好的无对照研究BIV 专家或权威的经验和意见C,March,2013,例：英国国家临床指南,急性缺血性脑卒中的治疗(推荐意见):a.阿司匹林：对排除了出血倾向者应尽快给予300mg/天(A)b.静脉给予tPA（组织纤维溶酶原激活剂）：限于发病3小时内，排除了出血倾向者，在有条件的医院(A)c.高血压、高血糖.的处理可根据当地情况决定(C),March,2013,五、循证医学常见问题,March,2013,1、循证医学否定临床经验吗？No，提倡循证医学并不意味着反对临床经验只有经验是不够的将证据用于个体病人的处理时需要结合经验,March,2013,2、循证医学不适用于个体病人的处理？,循证医学与个体化处理并不对立，证据是个体处理的参考依据之一个体化病人的处理究竟应该根据什么？根据经验(自己的、别人的？)？根据直觉？根据推理？(在动物实验的基础上？)根据情理？在没有证据证明上述根据错误或不存在更好证据的情况下可以,March,2013,每增加一例有效需要治疗的例数Number needed to treat,NNT,为防止一例有害事件的发生需要治疗的例数是绝对危险度差(RD)的倒数，例：试验组100人，死亡20人，20/100=20%对照组100人，死亡30人，30/100=30%RD=30%-20%=10%NNT=1/10%=10表示用试验措施每减少一例死亡需要治疗10个病人,March,2013,每治疗多少例病人可增加一例不良事件Number needed to harm,NNH,每治疗多少例病人可增加一例不良事件的发生是绝对危险度差(RD)的倒数试验组100人，出血30人，30/100=30%对照组100人，出血20人，20/100=20%RD=30%-20%=10%NNH=1/10%=10表示用试验措施每治疗10个病人可增加一例出血。,March,2013,NNT与个体病人的处理,临床试验回答多数病人的问题而非某一个病人例：阿司匹林治疗急性缺血性脑卒中NNT=77 即减少一例死亡或残废需治疗77例病人，76例是白治？为何不直接治疗那一例？问题是我们不知道哪一例会有效若副作用不大，价格不贵，就值得普遍使用（如阿司匹林）,March,2013,研究证据与个体的病人,研究的优先问题：病人：群体病人（一大类）:证据较多亚型（同大类中）：个体（同亚型中）：证据较少病种：常见病、多发病：证据较多少见病或少见亚型：证据较少，经验起重要作用,March,2013,证据与临床问题,据统计：第一线的临床医生平均每周会遇到60个需要回答的问题每一个病人可能同时存在多个临床问题需要回答证据优先解决的是最重要最关健的问题，对没有证据作为答案的问题，经验，常识、推理就起着主要的作用大量临床问题还没有答案，迫切需要更多的研究,March,2013,3、没有最佳证据存在时怎样作出临床决定？,证据总是滞后于需要，问题总是多于答案没有证据有效不等于有无效的证据应用当前最好的证据(如脑血管疾病防治的证据)，若当前尚无随机对照试验等高质量证据时，可依次参考级别较低的证据或经验处理病人(如神经科的少见病)。然而，一旦高级别证据发表，就应及时更新。可能有效但尚无可靠证据时，要考虑副作用和经济承受能力、及病人的选择等问题最好是积极开展或参加临床研究去提供证据,March,2013,4、循证医学等于大样本随机对照试验和Meta-分析(系统评价)吗？,No循证医学是科学的临床思维方法和临床决策方法循证医学提倡重视证据：生产证据：进行临床研究，提供当前可能提供的最佳证据使用证据：作出临床决策，使用当前可能得到的最佳证据大样本随机对照试验和Meta-分析/系统评价是证据中的最佳证据，但不是唯一的证据，也不等于循证医学,March,2013,大样本随机对照试验及其系统评价/Meta-分析的作用：,的确是治疗效果的最好证据(可使已知和未知的影响预后因素在两组得到平衡)，但不能解决所有问题具有明显效果的疗法不需要进行RCT，如胰岛素、青霉素等疗法。但卒中的疗法极少如此无可行性开展RCT时，一般对照研究、观察性研究、分析性研究循证医学的关键：是当前最好的证据,March,2013,5、大样本随机对照试验没有回答亚型病人的问题？,大样本试验纳入病人范围宽，推广性好，恰好包括了各种类型的病人大样本随机对照试验和Meta-分析/系统评价正好具有进行亚组分析的条件只要事先确定了假说，大样本可同时了解多个亚型病人的疗效,March,2013,6、临床应用性研究的创新性？什么是创新？提供新的知识回答以前没有回答的临床问题创造新的方法创新是在一定积累的基础上发生的,March,2013,从临床研究到临床实践,1 研究证据是影响临床决策的多种因素之一，但不是唯一因素，提供信息而不代替决策 2 随着临床研究的发展，证据在决策中占的比重将 越来越大 3 临床研究发展还不平衡，某些领域高质量证据很少 4 应正确理解和实践循证医学，避免极端化和绝对化（过分强调证据或过分强调个人经验）5 临床决策分析（clinical decision analysis)方法正在发展,March,2013,谢谢大家！,