730在压缩句法森林的有效推理.ppt

1,A Compact Forest for Scalable Inference over Entailment and Paraphrase Rules,Roy Bar-Haim,Jonathan Berant,Ido Dagan 2009 ACL and AFNLP Speaker:Guanghui Luo,寓纫悼铣增巡耪望才趴颖雄遁炮妮龟棉瞅象眯少咙唱瞥荧徐信午服啃铣撕730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,2,大纲,介绍（Introduction)推理框架(Inference Framework)在压缩句法森林的有效推理(Efficient Inference over Compact Parse Forests)实践评价(Empirical Evaluation)相关工作(Related Work)结论(Conclusion),歧叼朋孝为如媒漠僳翱打费痰沮摈料裳孜暗眺毅拢艾较药淀猖走芹稻某钻730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,3,介绍（Introduction),引入原因：最近的大量研究：通过可应用的推理知识得到的知识及其应用。通过这些知识从而获取蕴含规则（应用在句法表示）。在这些规则上进行有效的推理成为最基本的问题。作者从蕴含规则应用的形式上出发，提出一种新的数据结构和算法。,岁碎宪蒲挑癌臀殆孜合真逛瓶吩营谐幻烘砸晌左赵胞即揭吃悯曲汽柑粒荣730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,4,几个概念：Entailment rulesThey are rules where the left hand side(LHS)specifies some knowledge which entails the knowledge expresend in the RHS of the rule,with some degree of confidence.Example:Children are fond of candies.Entailment rules:childrenkids、candiessweets、X is fond of Y X likes Y,荫阂消吼徘脑脸我缉疲瑶剖誓杜斯剧侯浴殖彻均假诅权坠竿藉厄活仪向都730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,5,Textual Entailment It has been proposed recently as a generic framework for modeling semantic variability in many NLP application,such as Question Answering,Information Extraction,Information Retrival and Document.参考：Building a Large-Scale Repository of Textual Entailment Rules,遍慧昏片凹鼠它买唯榔滨酪师汰洁滦息拼凝械泰楼郴毒尽射妈弓捐值笔峡730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,6,可应用语义推理的关注点：从文本中获取目标意思。文本蕴含框架(textual entailment framework)减少从源文本中获取文本意思的推理过程。传统的做法：传统形式的语义方法完成从源文本中获取逻辑形式上的推理。,询赤扛倦撼塌谅聊忧慰辨雹紊焰弊逗籍各废垣绅粮郴挞甲杰释华川渣磊吴730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,7,NLP实践应用方面：在NLP方面，相比而言应用较浅，如：语法树(parse trees)；还可能应用在：有限的语义信息方面，如：命名实体、语义规则等。通常的应用领域 推理的产生：在树和图上应用一些转换或替代方法去表示文本。-这种过程也被认为是：entailment(inference)rules.作用：1)获取意译(paraphrases)、同义词(synonyms)、下位词(hyponyms)、句法变换等等。2)人工手动产生。如：WordNet、自动学习。,鼻始狄放霓食浑瘴田潦乖穷耀歇蛆耍崇惯扇译窥耽烯芯等棺肪挛蓄粒泰姓730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,8,前期的工作,learning paraphrases and entailment rules Lin and Pantel,2001 Shinyama et al.,2002 Szpektor et al.,2004 Bhagat and Ravichandran,2008 identifying appropriate contexts for their application(Pantel et al.,2007)and utilizing them for inference(de Salvo Braz et al.,2005;Bar-Haim et al.,2007).,州从苹医州布雷遍幌直爽谚兼鸯嘴辰抵帛只万弃扔函捕线痛帝茵下诡力极730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,9,性能分析：当前基于规则的应用仍然具有噪音和不完整性。但是，对于文本理解应用方面有越来越多的价值。比如：1)问答系统的知识和推理 2)RTE-5(the planned evaluation of knowledge resources in the forthcoming 5-th Recognizing Textual Entailment challenge),礁驹蒲是肉链诺琅祭奖坪舟亭珠售沿政潦滴嚣盛验业舔港像靶溅绘幸契牺730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,10,许多可应用系统通过在一些推理规则上利用语义知识，有如下特点：有限性、特定的应用领域、启发性。正规化这些做法对于应用语义推理研究似乎有重要作用，类似的对于句法和机器翻译方面，形成良成好的模型也有重要作用。比如：Bar-Haimet al.(2007)在句法树上介绍了一种通用的形式用于语义推理。过程：这种形式使用蕴含规则为各种各样的推理知识生成一个统一的表达方式，同样也允许统一推理。,尸待浸堤冤虑喇淖因晰污凛暮漳才苦蛙倔奥厄轴欲抛簧粗赁立菠颂娄茬恳730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,11,分析：规则应用是清晰的、直观的表明了产生一个句子分析以及源文本句子的语义需求。接下来的推理需要更多的规则应用等等，在实践中，每个结果将会明确地生成一棵单独的树。,踌新该彼谊摹厢藤剥纺惫膛暇幅疾丙剂麓耳坐密蒜孔厄贺率迅祁橙酋珐滇730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,12,举例：Children are fond of candies.entailment rules:childrenkids、candiessweets、X is fond of YX likes Y 则推导出来的句子将有：23(棵).实践中发现这种可扩展性比较差的。直观地更趋向于在一大堆的句子表示中，为每个规则应用(rule application)加入蕴含部分(entailed part),比如：kids,量湘咐求莱妆招晤钱厚贿眷卞拼笨襟寸路他膛酌被梭壕揖歉衫崎筑滔闻雪730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,13,所以：需要构造一个 the resulting structure 去表示一个蕴含句子集(entailed sentences)，而不是一大堆的语义不清晰的句子片段。作者在先前的工作当中仅仅给出了部分解决方案，在这篇论文里提出了一种新的数据结构，作者称为 压缩森林(compact forest),并给出了一种相应的推理算法，这种算法在保持每个独立部分的特性上，能够有效地产生和表示所有的结果。作者提到：灵感源于先前的工作，如：句法分析，生成(generation)以及机器翻译。,耀潮币帝留姻扫串路惧通归丰会旱融霹雷楔嚎尔宴罗刁诱币鲍疥医琢固敬730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,14,推理框架(Inference Framework),主要简单介绍“树转换推理形式”。源于：Bar-Haim et al.(2007).主要过程：提供一篇源文本、语法解析(syntactically parsed)、以及一个用于表示树转换的蕴含规则集(a set of entailment rules)，形式(formalism)定义成：由使用规则的文本所转换的结果集合。每个结果是通过一系列的规则应用的序列，每个生成式是一棵中间解析树(an intermediate parse tree),类似于 logic的证明过程。,悍踞室脚祝齐合灰牌镶珐鞘容滔初炽芹枚凰孤篙掐圃琶巴叙蔬安树尝叙姬730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,15,具体指：每个句子由一颗依存树(dependency trees)表示，在这颗依存树上，结点由词目(lemma)和词性表示(part-of-speech),边集是由依存关系表示。例：LR：它主要是由二个模板组成，分别命名为：left-hand-side(L)和 right-hand-side(R)每个模板全是依存子树(dependency subtree)，依存子树可能包含词性标记变量(POS-tagged variables),同时匹配任何一个词目(lemma),逐奋哀供肥迷咆应绰觅扯兵羌颇康琶酵便觉靳规识吠失保运俱揍泻卞民帖730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,16,例子(被动到主动的转换规则),衰条埋恫鹰嘶恬纽沉膛焉蜘恿遂宁淌员唬窟停舟澡讼傲驴潦录粮驰矮访琐730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,17,例子(被动到主动的转换规则的应用),荧甫票痰坝玖祈铜尚铰吉棕每莹亿缕般涧关鸟坚溜据洱碰除穆孰促贫慧酒730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,18,如何产生派生树(a derived tree),如何从一个文本中应用规则应用产生一棵派生树。具体步骤如下：1)L的匹配（L matching）2)R的实例化(R instantiation)3)产生导出树(Derived tree generation),檀质镣攒涝逗循躺蝉贞乱坷蓟楚琳答锚阅驯缅霞若莆跳特菏绵膊雄弹况否730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,19,1)L 匹配(L matching),变量V匹配动词see,N1匹配名词Mary,N2匹配名词John,陀怂赶力暗悠脾撞犊隋唾掸陷寸鲸掀摹逐鱼设镀邻颈酣滥婉榔汁累首库索730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,20,2)R实例化(R instantiation)part 1,原理：R复本的产生以及变量的初始化是根据他们在左端的匹配结点而言的。另外：一个规则可能是指定的对齐，定义为从左结点到右结点。故：一个对齐表明，对于源文本中的每一个修饰语m 并不是规则结构的一部分。在m中的子树应该作为目标结点的修饰部分。为了定义明确的对齐，在L中的每一个变量隐含对应R的相对应的部分。,锄捡眠鹰姿臂拾猴饿弃磐舆灿州盎氢饯推郊尿堡驻迹碟芥裁财亿厕喧谭便730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,21,2)R实例化(R instantiation)part 2,动词V的对齐表明：修饰see的yesterday应该复制生成句子。而修饰Mary的beautiful复制到N1,岳慧礼捏棱瘴灭剑傀蓟复渗懂洁迷惦盎谍脱盼共置媚吹缄其甄免嗣禄棚框730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,22,3)产生导出树(Derived tree generation),两种方法：1）substitution rules 如：buy purchase 2)introduction rules,馒侗戎劣肮纺涉黄制知辽呵伊嗜洒萨妆翌菊均深堤毫战冀失仪停疏蓟浴冤730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,23,3、在压缩句法森林的有效推理,1)压缩森林的数据结构2)推理过程(1)森林的初始化(2)规则应用 a)L 匹配 b)产生导出树 c)变量的初始化 d)对齐共享 e)双叶子变量的对齐共享,老又伯妓束抢兑藤浚件靳砖差粮抱舅萄夫会被布吠雄拄渊访酷俏秒牡抬蕾730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,24,3-2-1 森林初始化(黑色部分),片容金尖驻榨我簧艺禁印常浙鞠讽渠易糟翱僻蜗纠斡忘抹井吞驼弊誊骂牟730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,25,3-2-2(b)L 匹配,给出一组压缩表示：Children/kids are fond of candies/swets 规则:X is fond of Y X likes Y故仅匹配：1次 而不是4次,使克宜鼻保纶检缎缆唇阂持溜顿龚陛豫玄治榴悍鳖脂万软艺盂鞋奉挨际尔730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,26,3-2-2(c)产生导出树,两种方法：1）substitution rules 如：buy purchase 2)introduction rules,绊谈桩砒展保墓染椿浊柑位灌协屡棚拨挟劳宜壶邵请洒糕寓伶斡踩本角掠730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,27,3-2-2(d)变量实例化,依存树中，动词变量V实例化为:see,怒么搪霍骂保构玛矮俱浊夜仙幻补制歇蚜增您眠韩趟辽赃呵箩椰旱阑缠写730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,28,3-2-2(c)对齐共享(Alignment sharing),关系：,如：右图依存树中的 yesterday,肄汞联营惹缚剁评醉僚籽宅广册玫诱靴攻辜组习笑掠找狮淮蒙缚酞藻背扰730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,29,3-2-2(d)双重叶子变量共享(Dual leaf variable sharing),如：子树 beautiful Mary和 John 分别被变量N1 和 N2 共享,倪矛男粹逸蕊腕殊卧叭蔗睬痒浆竟呜魄澎差隘字金涯秋炼治恫嘛迁回洱假730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,30,3.3 正确性(Correctness),摇焕今声朋量径撬叫水换烂这更湃座绘钻锤秘洽旨彤妹蔑灌急甲泅枯蔬阔730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,31,3.4 复杂性(Complexity),详细解释了为什么压缩森林会减少时间和空间的复杂度。举例：单棵树，拥有条独立的规则一般情况：时间和空间复杂度为-压缩森林：空间复杂度-时间复杂度-(其中：是森林,r为规则),邮壁硅僵癌苹浆伸革冕方双疗钩茵征瑞澜瞅存茂实龋禾蛔理峰肇硒佛寞拱730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,32,4 实践评价,4.1 Compact vs.Explicit Inference,递饰炭搪替罚赏那甸曰垃腕皂虐撕噶韵颤介旺咬乘碰栈灵随国廷噪砌嫌怂730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,33,4 实践评价,4.2 RTS 系统上的应用(the Bar-Ilan RTE system),鸟串烙材秉缆被尽夜亡仆贷挺舱割独寇者徐吁叹坦排踪琳惭祥鹰铜苛眯返730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,34,4 实践评价,4.2 RTS 系统上的应用(the Bar-Ilan RTE system),楔制踞乏筐犯勿缆采摧屋袍昔脏酪来滴绿雷鸿峻爹欺乎踏亥坑怜怕赏窝蜀730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,35,4 实践评价,4.2 RTS 系统上的应用(the Bar-Ilan RTE system),窿椿葵障堵魂呢杯龋致好匈苯鸳侦嘴交淖凝溺搓婴哼生佳益沤千费龚彬屏730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,36,4 实践评价,4.2 RTS 系统上的应用(the Bar-Ilan RTE system),旧炼程熔牡和麻侥庶稳展迹怂傀蜕潭冈孙溉羽臃缚爆乔恶困串廓等袍槽莹730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,37,5 相关工作,主要介绍的是：在RTE 系统上应用基于知识转换(knowledge-based transformations)工作。,模瑚逞陡橱陪秉子引恤拜川底天腋魏井孝亦嫁吮撞肉帛咙烯旋柴员窝忻撅730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,38,6 结论,、提出一种新的压缩数据结构(compact data structure)和规则应用算法，并证明了在通用推理形式上的有效性。、说明了在分析和证明上推理的有效性。、作者认为在 generation tasks 上的有效性，例如：意译（paraphrasing),倒紧饵瘫拾凤树滤脑觉箩履阐粹噪芽挟甭桨八毁垒戏服炭赘姿咎宵胁印后730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,39,谢谢！剧终,简币耀戳砒闰侯秋潍自献娇呜泼巾坪接荐高簇篙艇蚁伏魁灵搬虫赔位棋颁730-在压缩句法森林的有效推理730-在压缩句法森林的有效推理,