语言文字学对数学的应用.ppt

语言文字学对数学的应用,文学院 王 宁,前言,中国传统的汉字学称作“小学”，是为了解读古代经典服务的应用性比较强的一门学科。书法兴起后，人们开始关注书写问题，只是用文学的词语来描写字体与书体的风格，鉴赏书家的艺术。信息时代汉字成为传播信息的最重要的工具，汉字学必须成为一门科学。汉字科学需要数学的思维，或者换句话说，没有数学，汉字学不可能成为科学。语言和文字都是符号系统，但是语言文字不是纯数理性的符号，语音不是只有物理性，它是诉诸人的感觉的心理反映；汉字也不是几何图形，它携带意义，而意义不但来自人的心理认知，还具有社会性。人文科学是科学，但是与自然科学还是有区别的。在这种情况下，语言文字学如何运用数学走向真正的科学？能够这样做吗？怎么做才能不损伤它的人文性？,已经做了和还没有做的事情,其实，很多事已经做了。比如：汉字进入计算机，要解决输入和输出的问题。周有光先生牵头研制的拼音方案，解决了用音码输入的问题。但是，音码的最大问题是重码，选择适用字的几率太高，影响速度，浪费眼神。词输录也解决不了这个问题。Renshi这两个音节就有14个词和固定短语。研制形码，减少重码，关键是计算。又比如：汉语是词根语，字与词没有形式上的差别，自然语言进入计算机以后，句子消歧的任务很大，解决的关键也是计算。,简繁字转换中的问题,齣-出，“齣”是不组词的自由语素。齣，专用做量词。前面有数词和指代词，但“出来”的“出”前面也有有量词“一”和极个别其他量词的时候：一出去就不回来 太阳一出来天就亮了 六出祁山,“齣”仅用做“戏”的量词，但“戏”字经常不出，或与“齣”的距离不定：演了一齣好戏 这是一齣人人都喜欢看的戏 看了一齣又一齣车夫在外面等散戏。一齣是一齣 三勝問李會民：“您這給我唱的是哪一齣？”,要计算它的鉴别字有哪些也就是之出现在“齣”字句不出现在“出”字句的字是否有？有多少？是什么？例如“唱”“戏剧”等。这些字离“齣”有多远？如果鉴别字不足够或距离太远，就不能用语境鉴别法。,周有光：覆盖率递减律,字种数 增加字数 合计字数 覆盖率 1000 1000 90.000%1000 1400 2400 99.000%2400 1400 3800 99.900%3800 1400 5200 99.990%5200 1400 6600 99.999%,语委平衡语料库覆盖率动态数据图(王晓明制作),国家语委平衡语料库覆盖率统计,增加字数 参入字数 覆盖语料比例 247 60.13406215 120 387 70.49867898 210 597 80.13647103 438 1035 90.040728361788 2823 99.032498441822 4645 99.906531511629 6274 99.990718941560 7834 99.99904482语料库不重复总字数8288,国家语委现代汉语平衡语料库:不重复用字8288个,达到临界点后的字量为2879-2975个北京语言大学动态流通语料库:不重复用字7697字,达到临界点的字量为2522-2614个科学普及综合语料库:不重复用字量5992字,达到极值点的字量为2818-2890个由此可以看出,在不同数量的语料库里,大约有将近3000字是常用的。不同语料库所用的字有所不同，将三个语料库在临界点范围内的字合并，去除重合字，得到并集，共计3169个汉字。这个数据说明，常用字的实际字量，应当在3200左右。,规范汉字表一级字确定的基本方法,将三个基础语料库在极值点范围内的字合并，去除重合字，得到合集，共计3169个汉字。因语料库的语料都有一定局限，为满足教育基本用字的实际需要，并保持大家已经习惯了的3500常用字的常数，通过与老3500常用字、台湾中研院简体平衡语料库的前3500高频字、语文教材前3500高频字比对，补充到3500字。,二级字选定的基本方法,首先从三个基础语料语料库中，分别选取其覆盖率小于99.99%的字集，去除重合字，得到合集6598字。从这个字集中减去进入一级字表的3500字，再排除异体字、非字部件等，余下的字为2885字。3500+2885=6385字，6385可能是一般社会通用字的下限。为防止因语料库的局限而形成的遗漏现象，再对这个字集进行一定的补充，补收115字。补充的原则是：尽量缩小与原7000通用字的距离；尽量满足现代汉语常用词的用字；尽量考虑与台湾通用字缩小距离。,数学思维在语言文字基础理论建设中的运用,基础理论要解决基本规律问题。哪些是规律？哪些是个性？在人文科学里是必须分清的。规律可以形成规范，而规范不能限制个性。初学入门必须有规范，一旦成熟就要在规范中突出个性。汉字是记录汉语的符号，形、音、义、用、码是现代汉字的五大属性。汉字先有了自己的记录语言的实用价值，才进入艺术的大门，形成书法，有了审美的价值。因此，研究汉字的第一个角度应当是汉字科学，第二个角度才是汉字艺术学或汉字美学。书写的汉字学是连接汉字科学与汉字艺术的纽带。,左右结构汉字避就空间比例1,笔画 7：17；3：17；3：17；17：5 空间 7：12；3：7；3：6.6;17：18.2 4：6；3：7；3：7；4.5：5.5笔画 3：17;3：3;3：3;3：2 空间 3：6.2;3：3.5;3：3.2;3：3.5 3.5：6.5;5:5;5：5;5：5笔画 3：2;3：2；5：2；5：2 空间 1.2：2；0.5：2；1：2；1.7：2 3.5：6.5；3：7；3.5：6.5；4.5：5.5笔画 3：2；3：3；3：3；3：3 空间 3：6.7；3：7.1；3：6.5；3：7.4 3：7；3：7；3：7；3：7,左右结构汉字避就空间比例2,笔画 12：3；9：3；6：4：3；3：9 空间 6：3；3.9：3；5.2：3；3：4.1 6.5：3.5；6：4；6：4；4：6 笔画 14：4；9：4；8：4 空间 4.7：4；4.8：4；4.8：4 5.5：4.5；5.5：4.5；5.5：4.5笔画 4：4；3：3；3：3 空间 4：4.9；3：6；3：4 4.5：5.5；3：7；4.5：5.5,左右结构汉字避就空间比例3,5：5；5：5；5：5；4.5：5.5 4.5：5.5；4.5：5.5；5：5；4.5：5.5,左右结构汉字部件避就空间比例的规律,汉字笔画对占有空间的影响，只有在增加到一定范围内，才起作用。左右结构汉字部件避就的规则是：左避右的比例，大于右避左的比例，汉字整体的空间分配时右大左小。两边部件的构图模式，是决定避让微观尺度的关键：侈与敛、放与围、纵与横。确立书写自然美化的幅度,量化与汉字史研究,汉字史不是单个汉字发展变化的简单相加，而是由汉字构形系统的总体发展决定的。汉字在乱与整、冗与简的矛盾斗争中发展。量化是科学汉字史必要的手段之一。,汉字构形分析,纯粹依形分析 颖,完全依理分析 颖,禾,匕,页,匕,禾,页,靡,腐,关,拆分顺序的变化所引起的结果,多出977个不成字（正篆没有的）过渡部件部件关系呈交叉状态,把过渡部件减少到最少部件关系除8、7两级以外，均呈包容关系,1级2级 3级呈交叉关系,8级7级超出20个，7级6级 超出105+20个=125个,理论上的说明,说文解字小篆是经许慎整理过的理想化的汉字构形系统，它的编制规则反映了汉字表意的特点。汉字是以形义统一的原则构成系统，必须加入意义的因素,系统才有规律,才能保持字与字之间远近不一的、相互包容的关系。,东汉许慎构建的汉字系统,说文用不到总体3%（2.7%)的基础构件层层搭建出一个严密的构形系统。大多数正篆都是由2个直接构件以义音结合的方式组成，这两个直接构件又是由2-6个基础构件组成。,甲骨文与小篆的属性比较,第一，从1380个已释甲骨文中，归纳出标准形位(基础部件)412个，但它的形位变体就有3498个，非字形位的比例也大大高于小篆。小篆中归纳出的形位(基础部件)是422个，但他的构字总量却是9431个（大徐本实际字数）。这充分说明，与小篆相比，甲骨文字形不固定，形位的构字率很低。,第二，在甲骨文的构形模式中，形声字只占21强，纯会意字不足10个，占7%，而独体象形、合体象形字却高达734个，占到72，这就说明，甲骨文的部件参构时的功能以表形为主体。直接与语言挂钩的表音、表义功能尚未得到充分的发挥。第三，甲骨文的结构过程87.5%都是平面组合，层次组合只有12.5%，比例相当低。这又进一步说明了，甲骨文不但部件的功能以表形为主导，而且结构的方式也是图形式的。,对语言文字合理量化的特点,不是任何数字都有用，在人文现象研究中，也不是越精确越有用。量化一旦违背了人文性，就掩盖了很多事实，把人文现象简单化，不再有余地去探讨个性，也没有了是非和评价。现象重复出现才有规律在内（个人风格和社会现实）。现象持续出现才可以利用来说明问题（动态临时态和稳态）。要有足够的事实才能显示规律。人文科学的统计一般应当积累精确的个体数据，采用定类、定级、定域（限）的方法通过定量来定性。,请 批 评 指 正！,