人工智能导论第6章自然语言理解ppt课件.pptx
,自然语言理解,人工智能导论,星蓝海学习网,自然语言理解,语言是人类沟通交流的工具，是人类文明进步的成果，也是人们思维的载体，所以对于语言的理解和处理非常重要。在计算机领域，自然语言理解和处理就是让计算机理解并生成人类的语言，从而和人类平等流畅地沟通交流。,星蓝海学习网,人工智能概述,自然语言理解概述,自然语言理解过程的层次任务,自然语言理解系统的应用,自然语言理解未来与展望,星蓝海学习网,自然语言理解概述,星蓝海学习网,“微软小冰”新鲜出炉：美少女一枚，颜值逆天,机器读心术：自然语言处理,谷歌最前沿：人工智能唇读术,能听会说、善解人意的机器,案例引入,“知我心、懂我意”的女友“莎曼萨”,星蓝海学习网,查阅与思考,（1）查阅几个自然语言理解的应用实例。（2）观看电影Her，互相交流读后感。,星蓝海学习网,自然语言理解概述,自然语言理解是计算机科学领域与人工智能领域中的一个重要方向，研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言理解是一门融语言学、计算机科学、人工智能于一体的科学。由于自然语言是人类区别于其他动物的根本标志，没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。所以，自然语言理解被誉为人工智能皇冠上的明珠。,星蓝海学习网,自然语言理解概念,自然语言处理(Natural Language Processing，简写N LP)是使用自然语言同计算机进行通讯的技术, 因为处理自然语言的关键是要让计算机“理解”自然语言,所以自然语言处理又叫做自然语言理解(Natural Language Understanding，简写NLU )。,自然语言处理(Natural Language Processing，简写N LP)是使用自然语言同计算机进行通讯的技术, 因为处理自然语言的关键是要让计算机“理解”自然语言,所以自然语言处理又叫做自然语言理解(Natural Language Understanding，简写NLU )。,星蓝海学习网,自然语言理解概念,自然语言处理由两个主要的技术领域构成：自然语言理解和自然语言生成。自然语言理解：帮助机器更好地理解人的语言，包括基础的词法、句法等语义理解，以及需求、篇章、情感层面的高层理解。自然语言生成：帮助机器生成人能够理解的语言，比如文本生成、自动文摘等。,星蓝海学习网,自然语言理解的发展,NLP的发展历史非常之久，计算机发明之后，就有以机器翻译为开端做早期的NLP尝试，但早期做得不是很成功。直到上个世纪八十年代，大部分自然语言处理系统还是基于人工规则的方式，使用规则引擎或者规则系统来做问答、翻译等功能。,星蓝海学习网,自然语言理解的发展,星蓝海学习网,自然语言理解的难点,本质原因是语言本身的复杂性。自然语言尤其是智能语音交互中的自然语言，有以下几个难点：语言的多样性语言的歧义性3. 语言的鲁棒性4. 语言的知识依赖5. 语言的上下文,星蓝海学习网,自然语言理解的研究范围,星蓝海学习网,自然语言理解过程的层次任务,星蓝海学习网,自然语言理解过程的层次任务,语言的分析和理解过程也是一个层次化的过程，通常把这一过程分为四个层次：词法分析、句法分析、语义分析、信息抽取和顶层任务。如果收到的是语音流，那么在上述四个层次之前还应该加上一个语音分析层。顶层任务就是直接面向用户，能提供如机器翻译、对话机器人这样的产品化服务。,星蓝海学习网,语音分析,在有声语言中，最小可独立的声音单元是音素，音素是一个或一组音，能够与其它音素相区别。如sin和min中分别有/s和/m这两个不同的音素，而tin 、stin 和 bit中的音素/t是同一个音素，对应了一组有差异的音。语音分析则是根据间位规则，从语音流中区分出一个个独立的音素，再根据间位形态规则找出一个个音节及其对应的词素或词。,星蓝海学习网,词法分析,词法分析的主要目的是找出词汇的各个词素，从中获得语言学信息。词法分析的主要是包括：分词、词性还原和词性标注。1.分词2. 新词发现3. 词性还原4.词性标注,星蓝海学习网,句法分析,句法分析就是对句子或短语的结构进行分析，以确定构成句子的各个词、短语之间的相互关系及各自在在句子中的作用等，并将这些关系用一种层次结构加以表达。这种层次结构可反映从属关系、直接成分关系或是语法功能关系。 句法分析主要有两种方法：成分句法分析和依存句法分析。,星蓝海学习网,成分句法分析,句法分析树示例,星蓝海学习网,依存句法分析,依存句法分析示例,星蓝海学习网,语义分析,语义分析就是通过分析找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。1.词义消歧2.语义角色标注3.抽象语义表示,星蓝海学习网,信息提取,信息提取是指利用算法从文本中提取显性或隐性信息的过程。使用算法系统的输出在不同的实现中是不同的，但是通常提取的数据和其中的关系都保存在关系数据库中。早期的方法包括使用简单的信息分类、模式匹配和语法方法来创建基于规则的方法。目前的信息检索系统使用各种监督和非监督的机器学习算法。通常提取的信息包括命名实体和关系、事件及其参与者、时间信息和事实元组。,星蓝海学习网,信息提取,01,02,03,04,05,06,命名实体识别,实体消歧,术语抽取,共指消解,事件抽取,关系提取,星蓝海学习网,顶层任务,机器翻译,信息检索,问答系统,对话系统,面向用户能够提供自然语言处理的一些系统产品。采用很多自然语言处理技术，搭建一个综合性的系统，为用户服务。,星蓝海学习网,自然语言理解系统的应用,星蓝海学习网,自然语言理解系统的应用,神经机器翻译,智能人机交互,机器阅读理解,机器创作,谱曲,星蓝海学习网,学习思考,（1）查阅相关文献资料，定义 “自然语言理解”。（2）查阅相关文献资料，简述自然语言理解的应用价值。（3）说出自然语言理解过程的主要任务,星蓝海学习网,自然语言理解未来与展望,星蓝海学习网,自然语言理解未来与展望,延伸阅读,十年之后NLP的进步会给人类生活带来哪些改变？,星蓝海学习网,查阅与思考,（1）查阅相关文献资料， 设想一下未来十年自然语言理解的发展前景。（2）未来的自然语言理解将会怎样改变我们的生活？,星蓝海学习网,自然语言理解未来与展望,随着大数据技术的不断发展，大规模语料样本数据以惊人的数量不断积累以及自然语言处理在深度学习方面的不断深耕，自然语言处理技术发展将很快进入10万小时数据样本训练阶段，将覆盖千差万别的用户口音差异、多领域歧义语料数据以及复杂的语法规则。如果考虑环境变化的影响，未来训练语料量可能会突破100万小时。未来，基于统计学的语义分析方法研究将会继续深化，会随着大规模语料样本数据的不断积累以及大数据挖掘技术、深度模型算法的不断发展呈现质的飞跃。,星蓝海学习网,自然语言理解未来与展望,问答和阅读理解的进步会使得搜索引擎更加精准。 2语音识别和神经机器翻译会使得口语机器翻译会完全实用。由于用户画像的精准和实时性的提高，推动信息服务和广告更加自然、 友好和个性化。聊天、问答和对话技术提高，推动自然语言会话达到实用。,星蓝海学习网,自然语言理解未来与展望,由于对话技术和知识图谱的进步，使得智能客服与人工客服更加完美结 合，从而大大提高客服效率。由于自然语言生成技术的进步，使得自动写诗、作曲、自动生成新闻甚至小说会流行起来。人机对话的进步推动语音助手、物联网、智能硬件、智能家居的普及。 NLP 在金融、法律、教育、医疗等垂直领域得到广泛应用。,星蓝海学习网,THINKS,人工智能导论,星蓝海学习网,
