让聋人更好的融入和谐社会.ppt

从千手观音到手语机译初探,让聋人更好的融入和谐社会,灵感来源,曾经一夜之间红遍大江南北的舞蹈节目千手观音震撼了无数人的心灵，梦幻般的完美艺术表现力深深的感染了我，当得知他们是一群失聪的聋人时，更加敬佩他们，因此也开始关注聋人。,灵感来源,偶然的机会认识了辽师大张宁生教授，从张教授那儿了解到聋人的一些现状，聋人学习第二语言汉语的难点，而且这些难点正是计算语言学在手语中的应用。,通过学习计算语言学，认识了俞士汶教授，从俞老师那儿得到现代汉语语法信息词典、语义词典和短语结构库，有这些作为手语翻译的基础，加上俞老师的鼓励，才有了现在的一点儿初步性的成果。,灵感来源,我国聋人现状,中国有2000多万聋人，聋人就业安置率低，不足百分之一残疾人联合会解决不了聋人的就业、学习、医疗等方面的基本利益，得不到应有的社会保障聋人的收入较低，很多聋人不得不靠不正当的手段谋生，给社会造成了一定的负面影响聋人教育不够发达，总体素质较低是不争的事实社会的不公正造成了，残疾人心理的扭曲聋人家庭的负担较重，生活水平相对较低,我国聋人现状,社会对聋人文化宣传不够，造成了聋人成为一个相对封闭的圈子，很多听人不愿与聋人进行交流。由于沟通不畅，一些聋人不愿与听人进行交流，不能很好的融入社会手语翻译人才紧缺，甚至一些特殊教育学校的老师都不能打一手很好的手语。即使学好手语也不能有很好的经济收入。,我国聋人现状,各地聋人之间相互沟通较少，造成了同是聋人却看不懂对方的手语年龄较大的聋人很大一部分没有好好上学，没能学好汉语中国手语的普及率太低，如果大家都会手语，那么聋人一定愿意走出去，融入和谐社会千手观音表明聋人并不比听人差，聋人并不弱智，反而聋人也有聋人的优势，我们不希望聋人只有艺术这一条出路,手语简介,手语是“人们在聋人环境中使用手的指式、动作、位置和朝向，配合面部表情、按照一定的语法规则来表达特定意思的交际工具”手语分为文法手语和自然手语，文法手语为汉语的语序，是大多数听人使用，而聋人不愿接受，特别是没有文化基础的聋人看不懂，不被聋人广泛接受。自然手语是聋人生活中自然习得的一种语言，手语由手势表情口型动作等组成。各个地方有各个地方的手语，各地的手语语法基本相似，也有很多手语词汇是相同的，总体上各地的手语有较大的差别,手语简介,手语一门不成熟的语言，没有完善的语法系统，有些语言学家根据语言的语音属性认为手语是符号，而非语言；而聋教育专家、特殊教育工作者和听障人本身根据手语的语言属性认为手语同样是语言，它是语言的一个分支，是一种特殊的语言形式。视觉语言非线性，具有较强空间性方向性，经常把一些有方向属性的词的方向语义和动作语义结合起来，用一个带有方向手势来表达。,中国手语与中国手语,中国手语是中国聋人使用的语言，是中国聋人的母语，严格的来说，是指自然手语，而非文法手语中国手语是一本学习中国手语的工具书，中国手语中有6000左右常用手语词汇汉语常有词汇有几万个，但这并不能表明手语的表现力低于汉语。中国手语的词汇也并非只有6000个，一个手势在不同的环境中可能有不同的意义，而且各地不统一的手语词汇还有很多目前已经有很多人在做手语词典，但愿能开发出一部覆盖率较高的手语工具书,ReadHelper阅读小助手,我的手语是初学，为了不误导大家，这里先介绍一下我的小软件ReadHelper，接下来我将用让他来替我给大家演示手语词汇。分词功能词性标注功能词典功能,手语的结构特点,指物本身就是手语：例：头、鼻、耳、嘴.描写或解释形状的手语：例：香蕉、橘子、柚子.代表某一动作的手语：例：跑、来、去、洗、看书.指东西或某一事物的某一部份的手语：例：鸭、鸟、房、牛、狗、羊.指与东西本身有关的手语：例：想、记得、聪明.,手语的结构特点,文字手语：例：人、工、主、王、日、月.模仿或象征的手语：例：写、床、冷、热.方向手语：例：告诉你、爱你、问他.反方向表示相反词的手语：例：进步、退步、知道、不知道、会、不会.英文手语：例：（厕所）、博士、硕士.,手语的结构特点,名字手语。打不出来的手语就直接用食指写出指文字：例：一枚硬币的“枚”.,聋人学习汉语的难点（1）,分词歧义：他 说 的 确实 在理 他 说 的确 实在 理 网球拍 卖完了 网球 拍卖 完了,聋人学习汉语的难点（2）,词性歧义：请保管好您的贵重物品 贵重物品放这里保管丢不了 陈醋还是山西的地道 这个地道曾是抗战时的功臣,聋人学习汉语的难点（3）,句法歧义：咬死了猎人的狗 咬死了猎人的狗跑了 老虎咬死了猎人的狗 小张和小李的妹妹结婚了 小张和小李的妹妹昨天结婚了 小张和小李两个人的妹妹都结婚了,从汉语到手语翻译实现方法,分词词性标注句法分析对应手语规则剪除多余成分获取单词的视频视频脑袋对位视频合成平滑处理,原文,唐老师：我是新班主任，姓唐。你们叫什么名字？田 亮：我叫田亮。张 红：我叫张红。唐老师：你们今年多大啦？田 亮：16岁。张 红：我1 8岁。唐老师：你们家在哪里？田 亮：在扬州，离学校很近。张 红：我家最远，在南京。唐老师：班里共有多少学生？田 亮：18个。唐老师：有几位男生，几位女生？张 红：7位男生，1 1位女生。唐老师：谁是班长啊？张 红：马强。唐老师：班里共有多少共青团员呢？田 亮：18个。唐老师：我知道了，谢谢你们。,分词结果,唐/老师/：/我/是/新/班主任/，/姓/唐/。/你们/叫/什么/名字/？/田/亮/：/我/叫/田亮/。/张/红/：/我/叫/张红/。/唐/老师/：/你们/今年/多/大/啦/？/田/亮/：/16/岁/。/张/红/：/我/1/8/岁/。/唐/老师/：/你们/家/在/哪里/？/田/亮/：/在/扬州/，/离/学校/很/近/。/张/红/：/我/家/最/远/，/在/南京/。/唐/老师/：/班/里/共/有/多少/学生/？/田/亮/：/18/个/。/唐/老师/：/有/几/位/男/生/，/几/位/女生/？/？/张/红/：/7/位/男/生/，/1/1/位/女/生/。/唐/老师/：/谁/是/班长/啊/？/张/红/：/马强/。/唐/老师/：/班/里/共/有/多少/共青团员/呢/？/田/亮/：/18/个/。/唐/老师/：/我/知道/了/，/谢谢/你们/。/,分词技术简介,中科院的ICTCLAS分词技术海量科技的分词技术开源的盘古分词组件,词性标注,唐老师/n：/w 我/r 是/v 新/a 班主任/n，/w 姓/v 唐/n。/w 你们/r 叫/v 什么/r 名字/n？/w 田亮/n：/w 我/r 叫/v 田亮/n。/w 张红/n：/w 我/r 叫/v 张红/n。/w 唐老师/n：/w 你们/r 今年/t 多/m 大/a 啦/y？/w 田亮/n：/w 16/m 岁/q。/w 张红/n：/w 我/r 18/m 岁/q。/w 唐老师/n：/w 你们/r 家/n 在/p 哪里/r？/w 田亮/n：/w 在/p 扬州/n，/w 离/v 学校/n 很/d 近/a。/w 张红/n：/w 我/r 家/n 最/d 远/a，/w 在/p 南京/n。/w 唐老师/n：/w 班里/s 共有/v 多少/m 学生/n？/w 田亮/n：/w 18/m 个/q。/w 唐老师/n：/w 有/v 几/m 位/q 男生/n，/w 几/m 位/q 女生/n？/w 张红/n：/w 7/m 位/q 男生/n，/w 11/m 位/q 女生/n。/w 唐老师/n：/w 谁/r 是/v 班长/n 啊/y？/w 张红/n：/w 马强/n。/w 唐老师/n：/w 班里/s 共有/v 多少/r 共青团员/n 呢/n？/w 田亮/n：/w 18/m 个/q。/w 唐老师/n：/w 我/r 知道/v 了/u，/w 谢谢/v 你们/r。/w,句法分析技术简介,自顶向下自底向上左角开始上下文无关句法分析上下文有关句法分析PCFG算法,句法分析结果,S(DJ(NP(r(我)+VP(VC(v(是)+NP(AP(a(新)+NP(n(班主任)+w(，)S(DJ(VP(VC(v(姓)+NP(n(王)+w(。)S(DJ(NP(r(你们)+VP(VC(v(叫)+NP(NP(r(什么)+NP(n(名字)+w(？)S(DJ(NP(r(我)+VP(VC(v(叫)+NP(n(田亮)+w(。)S(DJ(NP(r(我)+VP(VC(v(叫)+NP(n(张红)+w(。)S(DJ(DJ(NP(r(你们)+AP(t(今年)+AP(m(多)+AP(a(大)+y(啦)+w(？)S(DJ(MQ(m(16)+q(岁)+w(。)S(DJ(NP(r(我)+MQ(m(18)+q(岁)+w(。)S(DJ(NP(NP(r(你们)+NP(n(家)+PP(p(在)+NP(r(哪里)+w(？)S(DJ(PP(p(在)+NP(n(郑州)+w(，)S(DJ(AP(PP(p(离)+NP(n(学校)+AP(d(很)+AP(a(近)+w(。)S(DJ(NP(NP(r(我)+NP(n(家)+AP(d(最)+AP(a(远)+w(，)S(DJ(PP(p(在)+NP(n(南京)+w(。)S(DJ(s(班里)+VP(VC(v(共有)+NP(m(多少)+NP(n(学生)+w(？)S(DJ(MQ(m(18)+q(个)+w(。)S(DJ(VC(v(有)+DJ(MQ(m(几)+q(位)+NP(n(男生)+w(，)S(DJ(MQ(m(几)+q(位)+NP(n(女生)+w(？)S(DJ(MQ(m(7)+q(位)+NP(n(男生)+w(，)S(DJ(MQ(m(11)+q(位)+NP(n(女生)+w(。)S(DJ(DJ(NP(r(谁)+VP(VC(v(是)+NP(n(班长)+y(啊)+w(？)S(NP(n(马强)+w(。)S(DJ(DJ(s(班里)+VP(VC(v(共有)+NP(NP(r(多少)+NP(n(共青团员)+y(呢)+w(？)S(DJ(MQ(m(18)+q(个)+w(。)S(DJ(NP(r(我)+VP(VC(v(知道)+u(了)+w(。)S(DJ(VP(VC(v(谢谢)+NP(r(你们)+w(。),基于语法信息消歧,现代汉语语法信息词典简介现代汉语短语结构知识库简介以“vn”为例，设vi是不及物动词，va是体宾动词。1“vin”只能是定中结构(如：工作技巧、作战方案)2“van”就可能组成两种不同结构的短语。若在动词库中“是否可直接修饰名词”为否那么只能构成述宾结构(如“骑自行车、采取措施”)否则可能是述宾结构（如：驾驶汽车），也可能是定中结构（如：驾驶技巧）,基于概率消歧,隐马尔科夫模型内部概率和外部概率向内算法和向外算法语料库和机器学习,句法分析结果（规则不准确，只用来演示）,S(DJ(NP(r(我)+VP(VC(v(是)+NP(AP(a(新)+NP(n(班主任)+w(，)S(DJ(VP(VC(v(姓)+NP(n(王)+w(。)S(DJ(NP(r(你们)+VP(VC(v(叫)+NP(NP(r(什么)+NP(n(名字)+w(？)S(DJ(NP(r(我)+VP(VC(v(叫)+NP(n(田亮)+w(。)S(DJ(NP(r(我)+VP(VC(v(叫)+NP(n(张红)+w(。)S(DJ(DJ(NP(r(你们)+AP(t(今年)+AP(m(多)+AP(a(大)+y(啦)+w(？)S(DJ(MQ(m(16)+q(岁)+w(。)S(DJ(NP(r(我)+MQ(m(18)+q(岁)+w(。)S(DJ(NP(NP(r(你们)+NP(n(家)+PP(p(在)+NP(r(哪里)+w(？)S(DJ(PP(p(在)+NP(n(郑州)+w(，)S(DJ(AP(PP(p(离)+NP(n(学校)+AP(d(很)+AP(a(近)+w(。)S(DJ(NP(NP(r(我)+NP(n(家)+AP(d(最)+AP(a(远)+w(，)S(DJ(PP(p(在)+NP(n(南京)+w(。)S(DJ(s(班里)+VP(VC(v(共有)+NP(m(多少)+NP(n(学生)+w(？)S(DJ(MQ(m(18)+q(个)+w(。)S(DJ(VC(v(有)+DJ(MQ(m(几)+q(位)+NP(n(男生)+w(，)S(DJ(MQ(m(几)+q(位)+NP(n(女生)+w(？)S(DJ(MQ(m(7)+q(位)+NP(n(男生)+w(，)S(DJ(MQ(m(11)+q(位)+NP(n(女生)+w(。)S(DJ(DJ(NP(r(谁)+VP(VC(v(是)+NP(n(班长)+y(啊)+w(？)S(NP(n(马强)+w(。)S(DJ(DJ(s(班里)+VP(VC(v(共有)+NP(NP(r(多少)+NP(n(共青团员)+y(呢)+w(？)S(DJ(MQ(m(18)+q(个)+w(。)S(DJ(NP(r(我)+VP(VC(v(知道)+u(了)+w(。)S(DJ(VP(VC(v(谢谢)+NP(r(你们)+w(。),句法分析的句树图,手语汉语对比(仅供参考),1.你问我的老家吗？1.你/问/老家/我(疑问表情)理由：定中关系定语后置，“我的老家”变为“老家/我”，省略定语中的助词的，由于宾语带定语，动宾关系不再宾语前置 2.他就是老队长呀？2.他/就/是/队长/老(疑问表情)理由：定中关系定语后置，“老队长”变为“队长/老”，主系表结构不做句子成分位置调整 3.你真要带我走？3.你/带/我/走/真要(疑问表情)理由：真要 强调意愿后置,手语汉语的对比(仅供参考),4.这是谁的钢笔？4.(指钢笔)谁(疑问表情)4.钢笔/谁(疑问表情)理由：疑问词后置，指示代词和被指代的词放一起，重复，省略一个，代词+“是”的系表结构省略“是”5.语法学的研究对象是什么？5.语法/x/的/对象/研究/什么(疑问表情)理由：疑问词后置，动宾改为宾动，研究对象变为“对象/研究”，“对象”有修饰成分“研究”不再前置,6.你们车间有多少人？6.车间/你们/人/多少(疑问表情)理由：疑问词后置，定中结构定语后置，车间/你们，处所+有+宾语结构省略“有”7.你家是余粮户还是缺粮户？7.粮食/你/家/剩余/缺(疑问表情)理由：选择问句，备选项中相同部分是中心词放句首，备选项中不同部分作为选项并列在句尾，强调疑问是让选择的，备选项前的部分通常可以做中心词的定语，转移到中心词后,手语汉语的对比(仅供参考),手语汉语的对比(仅供参考),8.这个月月大月小？8.月/这/大/小(疑问表情)理由：同7说明 9.你说的象话吗？9.说/你/象话(疑问表情)理由：聋人对“说”和“话”的表达我不太明白，所以这句转写的没有根据，而且像话也没有对应的手语词，忘各位老师给予提示,手语汉语的对比(仅供参考),10.他怎么不知道？10.他/不知道/怎么(疑问表情)理由：疑问词后置11.他们做得到，难道我们就做不到吗？11.他们/能，我们/不能(疑问表情)理由：做得到和做不到是能愿动词后置,手语汉语的对比(仅供参考),12.谁是我们的敌人？谁是我们的朋友？这个问题是革命的首要问题。12.敌人/我们/谁？朋友/我们/谁？问题/这/是/问题/首先/革命。理由：主系表结构不变，但主语为疑问词是，疑问词移到句尾的规则优先，这时系词在句首省略,手语汉语的对比(仅供参考),13.真正的铜墙铁壁是什么？是群众，是干百万真心实意拥护革命的群众。13.墙壁/铜/铁/真/什么？是/群众，群众/干百万/真心实意/革命/拥护。理由：铜墙铁壁为定中关系，定语后置，“是群众”中的“是”我认为在这里表强调不能省略后半句“是千百万真心实意用户革命的群众”更加强调，但是由于手语句子不宜过长，故“是”要省略掉，多重定语都后置，拥护革命动宾关系宾语前置。,获取单个词视频,学校,新,近,脑袋对位,视频合成,根据句子语义关系，调整每个单词间的时间间隔例如：他沉默了很久根据标点符号调整单词时间间隔例如：马上就走根据语义调整单词的播放速度例如：很久、很久、很久以前,平滑处理并播放,视频识别技术识别手的位置计算前词结束和后词开始的手的位置差前后词间补充手中间位置的平滑帧最终得到人性化的手语视频并播放出来,手语机译中的若干瓶颈问题,1 手语识别和语音识别 2 歧义的消解 3 手语的不成熟性 4 手语语法的没有成熟可靠的理论 5 手语的空间性 6 手语的简洁性 7 手语的情景性 8 手语的表情、口型、动作幅度、动作方向,技术前瞻,手语识别和语音识别水平不断的提高 计算语言学的发展提高了计算机对汉语的理解力 手语语言学的进步 三维动画在的发展，表情、动作幅度、动作速度等都可以用三维模型演示出来。,真诚的希望更多的人参与,计算机编程水平也很业余计算语言学更是知之甚少手语也是初学手语翻译项目恰好是个跨多个看起来不相干的学科的项目，我的各方面资源和能力都很有限北大是全国乃至全世界性的高等学府，师资力量雄厚，各方面资源丰富，希望有兴趣的朋友可以和我一起努力，为帮助残疾人尽一点绵薄之力！,展望,电视机旁边放一个手语伴侣，电视上说的话，通过声音文字识别成文字，由文字翻译为手语视频，看电视不再是聋人的障碍聋人能够和听人能够无障碍的交流，聋人去医院不再需要人陪，聋人再也不怕出门迷路，聋童能够和健听的孩子一起读书学习，和谐社会必将更加和谐！,感谢,感谢在座的各位专家老师和同学关注感谢北大计算语言所给我这次交流的机会感谢俞士汶教授在计算语言学方面给我的帮助和鼓励感谢辽师大张宁生教授在聋人学习方面给我灵感、启发和鼓励感谢教育在线论坛里的未曾谋面的特教专家和老师给予手语方面的支持。,自我介绍,张红光 河南新乡人 2001毕业于河南南阳理工学院 艺术设计系 平面艺术设计专业 大专学历 2001年毕业后来北京，2002年4月28开始做CCTV.com设计师 2005年离开，开始创业北京泰得互通主营B/S构架软件开发和网站设计开发。爱好广泛 绘画（油画 雕塑 素描 速写）动漫（Flash二维动画、3D MAX三维动画）体育（乒乓球 篮球）计算机编程（Flash、Javascript、C#、VB）以及由编程和动画结合起来的Flash Action编程MAXScript编程。最近又增加了一个爱好手语。,