汉字习得的自组织模型.ppt

汉字习得的自组织模型A Self-Organizing Connectionist Model of Character Acquisition in Chinese,邢红兵,特点：联结主义理论的见解 更加注重人脑的学习机制和知识存储，具有较强的生物有效性，在计算机模拟研究上也有了很大的发展，特别是最近几年，很多研究者已经注意到语言材料在计算机模拟研究中的直接应用，比如在表征上采用了一些基于语言数据库的统计方法，能够对大量的词语进行表征。,语言习得理论,20世纪前半叶，儿童语言学习的研究主要是行为主义（behaviorism），行为主义心理学（Behavioristic Psychology）是美国心理学家J.B.Watson创立的，行为主义理论认为儿童的语言获得主要是模仿成人，经过操作条件性刺激（operant conditioning）及强化（reinforcement）来获得语言，代表人物是美国的Skinner，他认为语言的习得纯粹是学习一套行为习惯，行为主义的语言习得理论否定人脑的认知结构的现实性。,语言习得理论,20世纪60年代，Chomsky语言学理论的建立。语言天赋论（语言先天论）、强调语言习得的内在机制。breaked(语言中没有)，反驳行为主义。泛化的过程。认为学习的过程是两个过程起作用：规则学习、联想学习,联结主义机制 U-型学习效应浮现特征（emergent ptoperties）蜂窝的形状为例。六边形 从模型的表现来看，模型获得了U-型学习效应，但是并没有对规则进行表述。这是联结主义的证据。,联结主义理论1.联结主义理论的产生,模块化理论人脑是处理符号系统(symbolsystem)的机器(Newell，1980)。模块理论的原始假设早在18世纪就由FranzGall提出了。但那时的假设强调人的性格特征与脑骨骼的外型特征的关系，因而缺乏科学根据。现代心理学对模块理论表述的最完备的莫过于Jerry Fodor(1983)。Fodor认为人脑的认知系统是由许许多多的模块组成的。这些模块有的负责语法，有的负责视觉，有的负责听觉，任务专一(domain-specific)而且互相独立（autonomous）。模块理论的线性次序，及其分明的层次，对认知科学家具有极强的吸引力。但是，近十几年来它也受到了强烈的挑战。对其挑战的主力军当属联结主义了。有力证据来自病人。,联结主义理论1.联结主义理论的产生,联结主义理论在形成的初期就和模块化理论针锋相对，比如Rumelhart和 McClelland（1981）提出的“交互作用模型”（interactive activation），这个模型假设语言的加工过程不仅包含自下而上的加工过程，也包含自上而下（top-down process）的过程。而且这两种过程可以在同一时间互相作用，其中最著名的就是Rumelhart和 McClelland所举的“词优效应”（word-superiority effect）的例子，就是自上而下的加工过程的很好的证明。,联结主义理论2.联结主义理论的特征,按照Rumelhart，McClelland，和PDP Group(1986)的PDP(Parallel Distributed Processing)理论，联结主义有以下两个基本特征。（1）首先，在知识的表征(representation)方面，它强调分布表征(distributed representation)。分布表征与传统认知理论对知识的表征有很大的不同。上面我们提到，传统认知理论将人脑看作是符号处理系统，因而它采用的是方位表征法(localist representation)。这种表征的基本特点是一个信息加工的单位(或单元)只表达一个概念(例如语素，字，或词)，而一个概念也只由一个单位来表达。这样，表达单位不能进一步分解为更小的单位，因为它与概念间有清楚的一对一的关系，而每个单元本身并不能有效地表达一个信息。,联结主义理论2.联结主义理论的特征,分布表征与此不同:它强调一个概念由多个单元互相作用的关系来表达。例如，英文大写字母F和E之间的不同在于后者多了一横。照方位表征法，F和E是分别由两个不同的单元来表达的。照分布表征法，F和E可以由多个同样的单元来表达，所不同的某些单元在表达E时被激活，但在表达F时被抑制。这样一来，我们如果仅看这些个别的单元，它们既不表达F，也不表达E。F和E的知识是由多个单元之间激活的关系来表达的。,联结主义理论2.联结主义理论的特征,（2）联结主义区别传统认知理论的第二个基本特征在于它对知识学习的看法。心理语言学家一直以来认为学习语言就是一个学习规则的过程。这种观点，由前所述，与乔姆斯基的语言学理论是密不可分的。联结主义则认为，乔氏理论提供了有效的规则系统描述语言本身，但这系统不能描述学习的过程。由于联结主义采用分布表征，它认为知识学习的过程就是学习分布表征的过程。学习是经过调节单元与单元之间的关系来完成的；而调节单元与单元之间的关系又是经过改变单元与单元之间的权值(weight)来完成的。权值是表达单元与单元之间联结的强度。权值数越高，单元之间的联结就越强。一旦联结网络中相应的单元都由适当的权值联系好了，知识的表达和学习的过程也就完成了。如果我们已经学会了F这个字，学习E时只需要将最下部分的单元激活并给予高强度权值，将其与网络中其它单元联结起来，我们便学会了E。,联结主义理论2.联结主义理论的特征,总之，联结主义理论与传统的认知理论有很大区别。它所运用的基本概念都与人脑的生物机制有一定程度上的对应关系，例如单元对应于神经元，单元的联接对应于神经元的联接，权值对应于联接强度，激活与抑制对应于神经元间电生理活动的方式。如何能够利用单元，联接，权值，激活与抑制这些概念去更好地解释传统认知理论中的重大问题乃是联结主义理论成功的关健。联结主义在词汇识别研究方面的主要理论是：词汇识别包括音、形、义三种编码的计算，每种编码都采用分布表征的方法，不同的激活对象被编码为不同的激活模式。加工由多层网络完成，不同层次和相同层次之间有着兴奋性和抑制性联结，联结的权重通过网络的学习获得。,主要的神经网络模型,最早的神经网络模型应该是由McCulloch and Pitts（1943）在分析神经元的特点基础上提出的神经元的数学模型“MP模型”，神经元的活动满足“全或无（all-or-none）”的方式，神经元之间的联系方式只有兴奋性和抑制性突触联系两种；神经元的物理组织不会随时间的改变而改变。感知器（Perceptron）模型是1957年由Rosenblatt设计完成的，这是人工神经网络研究真正走向工程的开始，掀起了研究神经网络的高潮。模型由阈值神经单元组成，实质就是一个连续的可调的MP神经网络。Hopfield网络是最典型的反馈网络模型，它是目前人们研究的最多的模型之一。Hopfield网络是由相同的神经元构成的单层、并且不具学习功能的自联想网络。它需要对称联结。这个网络习以完成制约优化和联想记忆等功能。Hopfield模型开拓了神经网络用于联想记忆和优化计算的新途径。,主要的神经网络模型,1986年Rumelhart和McCelland为首的科学家出版的Parallel Distributed Processing一书中，完整地提出了误差逆传播学习算法，并被广泛接受，这就是著名的反向传播（Back-Propagation）模型。反向传播模型也叫多层感知网络模型，它具有三层或三层以上的阶层型神经网络。典型的多层感知网络是三层、前馈的阶层网络，即：输入层、隐含层（也称中间层）、输出层，相邻层之间的各神经元实现全联结，即下一层的每一个神经元与上一层的每个神经元都实现全联结，而且每层各神经元之间无联结。学习规则是一种由教师示教的方式进行学习。首先由教师对每一种输入模式设定一个期望输出值。然后对网络输入实际的学习记忆模式，并由输入层经中间层向输出层传播（称为“模式顺传播”）。实际输出与期望输出的差即是误差。按照误差平方最小这一规则，由输出层往中间层逐层修正联结权值，此过程称为“误差逆传播”。随着“模式顺传播”和“误差逆传播”过程的交替反复进行，网络的实际输出逐渐向各自所对应的期望输出逼近，网络对输入模式的响应的正确率也不断上升。通过此学习过程，确定下来各层间的联结权值之后就可以工作了。,1.2.4 自组织模型,1.2.4.1 概念依据大脑对信号处理的特点，TKohonen提出了一种神经网络模型自组织特征映射模型（SOFM：SelfOrganizing Feature Map），“自组织特征映射模型”是典型的自组织系统，因而也有人称其为“自组织模型”（SOM:Self-Organizing Map）。由输入层（模拟视网膜神经元）和竞争层（模拟大脑皮层神经元，也叫输出层）构成的两层网络。两层之间的各神经元实现双向全连接，网络中没有隐含层。自组织的过程实际上就是一种无指导的学习。它通过自身训练，自动对输入模式进行分类。基于自组织的人工神经网络模型主要包括“Hebbian学习”，“竞争网络”和“ART网络”。本研究主要基于“Hebbian学习”，“竞争网络”。,1.2.4 自组织模型,1.2.4.2 基于“自组织模型”的语言模型最早采用自组织模型研究语言的是Ritter and Kohonen(1989)野生食肉动物（比如老虎、狮子、狼）和鸟类（比如鹰、猫头鹰和鹅等）在映射图上被分别组织在不同的区域，形成不同的组；在同一组中，相同的动物更加靠近。Miikkulainen（1993,1997）的研究在利用SOFM模型研究自然语言处理领域起到重要的作用。他提出了一个关于记忆和自然语言处理的综合模型，在这个模型中，在不同的信息层次中协同工作的多个SOFM互相连接，其中的一个分支模型DISLEX，就是词汇加工的模型（下文详述），Miikkulainen（1997）成功的模仿了正常人和障碍的内部词典的加工过程，他通过损伤的SOFM，模拟了阅读困难（比如将“dog”读成“sheep”），他还模拟了浅表性阅读困难，（比如将“ball”读成“doll”）。,4 小学语文教材形声字的统计研究,方法：录入五套教材，生成字表，并统计频度，包括各教材、各册数、各年级等的频度。对全部汉字进行标注，包括：基本数据：主要有汉字字形、汉字字音、声旁字形、声旁读音等；声旁类型：是指声旁读音与整字读音之间的关系，主要包括：（1）整字读音与声旁读音完全相同；（2）整字与声旁的音调不同；（3）整字与声旁的韵母相同；（4）整字与声旁的声母相同；（5）整字与声旁读音完全不同；（6）非形声字；（7）整字或声旁是多音字；（8）涉及古字，不易评定的关系；声旁一致性、声旁是字、声旁位置、声旁位置是否固定、频度、非形声字等：,4 小学语文教材形声字的统计研究,五套教材的字种数和总字数表,总字数变化图,新字数变化图,新形声字在新字中的比例,累计数和新字数,形声字的使用,形声字的表音特点 形声字的规则性和年级,形声字的表音特点 形声字的规则性和频度,形声字的表音特点 形声字的一致性,形声字的表音特点 不同年级不同频级一致字的比例,5.2 汉字的表征 5.2.1 汉字字形的表征,5.模型的建造 DISLEX,5.2 汉字的表征 5.2.1 汉字字形的表征,笔画形状,5.2 汉字的表征 5.2.1 汉字字形的表征,部件,部件结构,部件的笔画关系,5.2 汉字的表征 5.2.1 汉字字形的表征,部件,部件构字位置,5.2 汉字的表征 5.2.1 汉字字形的表征,部件,部件的视觉特征：共有36个维度，每个维度分别有10个以下的特征值,汉字部件排列方式例字表,部件的排列,5.2 汉字的表征 5.2.1 汉字字音的表征,6.模拟研究 模拟1 五年级模型命名不熟悉形声字的策略,方法训练材料：训练字是五年级及五年级以前学习过的形声字；训练的形声字中包含该家族已经学习过的全部形声字；训练字的家族成员数数在4到10之间。按照这样的条件，我们按照23%的比例随机抽取家族成员数从4到10的形声字家族，平均家族成员数是5.64，形声字282个，共50个家族。模型的训练：对这些形声字的字形、字音进行表征后，将模型训练300次，训练完成以后，模型基本学会了形声字的读音。,6.模拟研究 模拟1 五年级模型命名不熟悉形声字的策略,结果与分析,6.模拟研究 模拟1 五年级模型命名不熟悉形声字的声旁线索,结果与分析,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,方法 模型的构造：一年级形声字模型；三年级形声字模型；五年级形声字模型，每个子模型独立运行，独立测试。每个模型的输入、输出网图中的单元数分别是4040=1600个。表征：字形字音声旁读音,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,训练：训练材料的抽取,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,模型的训练次数：,模型实际学习次数=字的使用次数模型的训练期 字的使用次数是指汉字在训练期以前出现的次数总和。在前期的模拟研究中，我们发现经过350个训练期以后，模型基本学会了汉字读音，模型也比较稳定。因此，我们在训练模型时，字的使用次数高于18的，我们只选择18，也就是说字的使用次数大于等于18的，模型只学习360次。,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（一）：形声字类型对三个年级读音正确率的影响,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（二）频度对三个年级读音正确率的影响,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（三）形声字类型与熟悉性对读音正确率的影响,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（四）：错误类型分析,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（五）：频度、年级与命名策略,6.模拟研究 模拟2 模型命名形声字的规则性效应及其发展,结果和分析（五）：频度、年级与命名策略,6.模拟研究 模拟3 模型命名形声字的一致性效应及其发展,综合讨论（一）：语言材料库的建设及其在模型中的应用,淡化规则、强调语言材料语料库在模拟中的应用 句法语义特征（Farkas&Li,2001，Li&Farkas，2001；Li&Farkas,2002）频度、分布等特征（还没有应用）,综合讨论（二）：汉字的字形和字音的表征,语音表征汉字字形表征汉字形声字表征 汉字字形表征的目的不仅仅是起到区别字形的作用，也不仅仅是字形的相似性问题，除了区别性和相似性以外，更重要的是如何通过表征的方法，使得模型获取和字形相关的知识，并能够在此基础上运用知识。,综合讨论（三）：模型的知识获得和知识输出,模型获取知识模型测试是模型输出知识的过程,7.4 进一步的研究,模型的训练方法和测试手段 训练更多的模型；对同一个模型用不同材料进行测试；形声字的进一步研究,字义的表征 富有挑战性的是汉字字义，我们将尝试研究。阅读障碍模拟 增加噪音，损伤通路、减少特征信息等方法。语言材料的进一步建设 分词研究、扩大语料的数量。,结论,8.1 小学语文教材中，使用了3200个左右的常用字，其中形声字占有很高的比例，形声字中规则字随着年级的升高而逐渐增加，规则字和频度有交互作用，一致字也随着年级的升高而逐渐增加，一致字和频度也有交互作用。8.2 汉字的笔画、部件、结构等特征的表征方式在汉字习得过程的计算机模拟中占有很重要的地位，汉字字形的表征不仅需要进行人工分析也需要进行数据库的统计分析，汉字的形声字的字形表征还应该包括声旁的读音特征。8.3 计算机模拟研究的重要目的是能够让模型获得知识和输出知识，本研究构建的模型是通过分布表征和模型的训练两种方法来建构知识，测试的过程是模型输出知识的过程。8.4 本研究构建的模型命名形声字的时候，采用了和小学生相同的声旁策略、类比策略等声旁相关策略，并且显示了类似于小学生的规则性效应和一致性效应，说明自组织模型适合语言习得包括汉字习得研究。8.5 用真实语言材料构建的的模型在规则性和一致性上都表现出和儿童类似的特点及其发展趋势，进一步证实了语言材料的统计规律和儿童语言习得的结果有很高的相关性。,training,testing,Emergent Lexical Structures,Representation of Chinese Characters,