智能语音应用开发工作手册汇总项目1--11自动语音识别：让机器人能听懂---焦点畅谈：定制康养智能机器人.docx

项目一自动语音识别：让机器人能听懂一、项目目标：学习完本项目后，将自己掌握情况填入表L7,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表L7项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解自动语音识别的概念。(2)了解自动语音识别的应用。(3)了解自动语音识别的发展历程。(4)熟悉自动语音识别的技术现状和发展趋势。(5)理解自动语音识别的原理。(6)理解自动语音识别的评估指标。(7)能够编写程序，调用自动语音识别接口，实现自动语音输入。(8)能够对语音识别效果进行评估。二、项目分析通过学习自动语音识别相关知识，调用百度Al开放平台的自动语音识别能力，实现智能语音输入功能，请结合分析将项目具体实践步骤(简化)填入图1.25横线处：图1.25项目分析步骤图二、知识抽测1 .看图L26连线并简单概括其含义WHHnHnW - IOlllABC狭义自动语音识别广义自动语音识别二图1.262 .计算下面语音识别结果的字错误率值。语音：昨天比今天天气好很多文本:昨个比今个温度好WER=三、任务一创建应用在学之前，了解的百度账号都有什么功能？学习完任务一后，又发现了哪些功能？用绘画的方式描述下“我眼中的百度账号”，填入到表1.8中。表1.8我眼中的百度账号学之前的百度账号学之后的百度账号四、任务二智能语音输入对于语音识别的步骤进行排序填入。中，将具体步骤引用函数进行连线，并解释函数作用。五、任务三语音识别评估将下列短文录制成音频，计算出字错误率及句错误率。音频资料：扁担长，板凳宽，板凳没有扁担长，扁担没有板凳宽。扁担要绑在板凳上,板凳偏不让扁担绑在板凳上。识别结果为字错误率：WER=100X二/%=句错误率SER = 100 ×存在期的句子个数总的句子个数项目2语音合成:让虚拟机器人能说话一、项目目标：学习完本项目后，将自己掌握情况填入表2-8,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表2-8项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解语音合成的概念。(2)了解语音合成的应用。(3)理解语音合成的工作原理。(4)理解语音合成的评价指标。(5)能够编写程序，调用语音合成接口，实现文本转语音。(6)能够对语音合成效果进行评分。二、项目分析通过语音合成相关知识的学习与辨析，调用百度Al开放平台的自动语音合成能力，实现智能语音输入合成，请结合分析将项目具体实践步骤(简化)填入图2.11横线处：图2.11项目分析步骤图六、知识抽测如图2.12所示，请同学们结合语音合成图及概念，发挥想象，用画的方式表示出来。ABC图2.12语音合成图示七、任务一创建应用APIKey和SeCretKey是调用百度Al开放平台接口的重要信息，在了解其含义后，请用便于自己理解的方式描述二者作用（文字、绘画、标记等方式不限），填入到表2-9中。表2-9我眼中的百度账号APIKeySecretKey八、任务二小说在线合成如图2.13所示，在。中挑选出项目一、项目二均调用的库函数，将其写入到横线中，并解释说明其含义。九、任务三利用MOS评分完成四类真人发声朗诵参数的选择将下列短文录制成音频（原音频），利用Al平台进行语音识别并生成文字资料，再利用语音合成，生成真人发音音频（现音频），对比原音频与现音频之间的区别。音频资料：扁担长，板凳宽，板凳没有扁担长，扁担没有板凳宽。扁担要绑在板凳上,板凳偏不让扁担绑在板凳上。项目三让虚拟机器人能识人十、项目目标：学习完本项目后，将自己掌握情况填入表38,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表3-8项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解声纹识别的概念。(2)了解声纹识别的类型。(3)了解声纹识别的工作原理。(4)理解声纹识别的评估指标。(5)能够编写程序，调用声纹识别接口，实现声纹识别。二、项目分析通过学习声纹识别相关知识，调用NeUHUb京东人工智能开放平台的声纹识别能力，实现智能识别门禁系统功能，请结合分析将项目具体实践步骤(简化)填入图3.15横线处：图3.15项目三分析步骤图十一、知识抽测3 .看下图3.16填写属于声纹识别哪种类型？是主人声音吗？记录主人声音记录用户声音是谨的声音？图3.164 .声纹识别系统一般由预处理、特征提取、模型训练和对比分类识别等几部分组成。请完成图3.17空缺部分。图 3.17十二、任务一创建应用本次学习使用的是NeuHub京东人工智能开放平台，大家找一找京东Al开放平台都开放了哪些语音技术能力？并填写在下表中3.9中。表3.9京东Al平台开放语音技术十三、任务二智能门禁系统对于智能门禁系统的步骤进行排序填入。中，将具体步骤引用函数进行连线，并解释函数作用。十四、使用Al（或变声器）声音注册和使用录制音频验证识别结果如何？将结果记录在下表3.10中。表3.10智能门禁验证结果表验证次数AI+AIAI+录音录音+AI12345项目4语音唤醒：让端侧机器人苏醒一、项目目标：学习完本项目后，将自己掌握情况填入表4.4,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表4.4项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解语音唤醒的定义。(2)了解语音唤醒的应用。(3)了解语音唤醒技术的发展阶段。(4)理解语音唤醒的评价指标。(5)能够利用开放Al平台获取唤醒词资源。(6)能够部署SDK实现语音唤醒。二、项目分析通过学习语音唤醒的相关知识，调用国内Al开放平台实现语音唤醒，请结合分析将项目具体实践步骤(简化)填入图4.29横线处：项目分析图4.29项目分析步骤图三、知识抽测下面是语音唤醒的概念，请同学们用绘画的方式描述一下对语音唤醒的理解。语音唤醒，也称为语音关键词检测，作用是在连续的语音流中实时的检测到一组特定的关键词的技术过程，而特定的关键词称为唤醒词。四、任务一注册/登录讯飞开放平台在前面项目我们使用了百度Al开放平台，今天注册并使用了讯飞开放平台，那么两种平台的功能有怎样的体会呢？请将使用后的感受写入表4.50表4.5使用后的感受百度Al开放平台讯飞开放平台五、任务二评估语音唤醒词质量如图4.30所示使用唤醒词测试工具，测试出C）中评分最高的三个唤醒词，写在横线处。在学习完APl与SDK后，请根据自己理解写出二者区别。APISDK七、任务四部署SDK实现语音唤醒使用图4.30中榜一的唤醒词进行20次测试，计算该唤醒词的错误接受率、错误拒绝率。错误接受率FAR =错误拒绝率FRR原本错误却被接受唤醒的样本数wo%所有原本错误输入的样本数X0原本正确却被拒绝唤醒的样本数XI。=所有原本正确输入的样本数项目五让端侧机器人能比十五、项目目标：学习完本项目后，将自己掌握情况填入表5-6,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表5-6项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解文本相似度的概念。(2)了解文本相似度的计算方法。(3)了解文本相似度的应用。(4)能够编写程序，调用文本相似度接口，实现智能客服智能问答。二、项目分析通过学习文本相令I度相关知识，调用百度Al开放平台的自动语音识别和短文本相似度能力，实现智能客服智能回答，请结合分析将项目具体实践步骤(筒化)填入图5.8横线处：图58项目五分析步骤图十六、知识抽测5 .结合所学理论知识完成下面5.7表格表5.7三种计算方法优缺点对比计算方法优点缺点基于字符串基于语料库基于世界知识6 .文本相似度在各种产品应用场景中都有普及，并且都已经取得的很好的效果。常见应用有、十七、任务一创建应用本次项目需要使用两个应用自动语音识别和短文本相似度，请将使用的APIKey和SecretKey填入到表5-8中。表5-8应用APIKey和SecretKeyAPIKeySecretKey自动语音识别短文本相似度十八、任务二语音识别对于语音识别和短文本相似度的步骤进行排序填入。中，将具体步骤引用函数进行连线,并解释函数作用。十九、任务三智能客服答案搜索结合自己设置的场景，设置智能问答数据库，填写在下表5-9中。表5-9智能问答数据库问题答案二十、任务四智能客服系统测试运行代码与智能客服系统对话，将对话的结果记录在表5.10中表5-10对话结果表问题智能客服系统答案正确答案是否一致项目六语音翻译：让端侧机器人会议二H、项目目标：学习完本项目后，将自己掌握情况填入表6.1,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表6.1项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解语音翻译基本原理。(2)了解语音翻译面临的主要挑战。(3)了解语音翻译的发展历程。(4)掌握语言翻译的评价方法。(5)能够理解翻译程序中函数的作用。(6)能够对语音翻译效果进行评估。二、项目分析通过学习机器翻译相关知识，借助百度Al开放平台进行语音识别，同时借助百度Al开放平台实现文本翻译技术进行语音翻译，最终实现机器翻译，请结合分析将项目具体实践步骤(简化)填入图6.1横线处：二十二、知识抽测7 .级联语音翻译系统是由五部分组成，将空白处补全。源语言音频一一源语言文本一一目标语言文本8 .使用BLEU测评标准对翻译出来的机器译文与人工译文计算1-gram的匹配度。机器译文Itisanicedaytoday人工译文：Todayisaniceday;Pl=二十三、任务一创建应用在学之前，了解语音翻译包括哪两个应用？用截图的方式展示这两个应用通过使用百度Al开放平台的API接口打开后的结果。将这两个应用名称及创建应用结果填入到表6.2中。表6.2创建应用应用1：_应用2:二十四、任务二编写语音识别程序对于编写语音识别的步骤进行排序填入。中，将步骤与右侧的相关描述进行连线。创建接口客户端导入requests、AipSpeechsmy_record函数配置基础环境需要asr、SPeeCh.recognition等函数或方法定义音频读取函数利用pip命令安装baidu-aip模块导入库函数需要用到Al云服务应用参数AppID等定义语音识别函数需要用到OPerI、read函数或方法二十五、任务三编写文本翻译程序文本翻译使用POST的访问方式，以下代码的功能是实现调用POST请求获取翻译的结果。请将以下代码进行补全。r=.post(,.)result=r.()print(result)二十六、任务四测试语音翻译程序对前面完成的语音翻译功能的代码进行测试。并将两次测试结果填写在表6.3中表6.3语音翻译测试结果表语音输入机器译文人工译文12项目七情感分析：让端侧机器人有情二十七、项目目标：学习完本项目后，将自己掌握情况填入表7-1,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表7-1项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解什么是情感分析的定义及分类。(2)了解表情情感分析。(3)了解语音情感分析。(4)了解文本情感分析。(5)能够熟练使用Al平台的情感分析功能。(6)能够通过程序逻辑搭建情感分析系统二、项目分析通过学习情感分析相关知识，调用百度Al开放平台，对输入语音的识别和对其情感进行分析，请结合分析将项目具体实践步骤(筒化)填入图7.1横线处：图7.1项目七分析步骤图二十八、知识抽测9 .语音情感识别特征提取有哪些种类？10 .文本情感分析有哪些方法？二十九、任务一创建应用在学之前，猜想情感分析在百度Al平台的哪个模块？请简述语音技术与自然语言处理之间的关系。三十、任务二编写语音情感分析程序将语音情感分析的步骤进行排序填入。中，将对应操作与步骤连线。创建接口客户端策苛调用函数透辑配置环境定义音皴读取函数定义语音识别函数定义情感分析函数导入函数任务三测试语音情感分析程序获取百度AI云服务应用参数安装baidu-aip模块import AipNlp. AipSpeechdef sentiment(text):def recognition(audio_name):内嵌多分支条件结构def get_file_contenl(IiIePath):对输入的语音进行情感分析利用编写的语音情感分析程序，对表7-2中的内容，分别以文字和语音两种形式，对其进行逐项情感分析，记录分析结果。表72语音情感分析例句序号内容语音情感分析结果文本情感分析结果I坡关不过家乡美.最浓不过故乡情2中国历史性消除了贫困，农村贫困人口实现了脱贫。3空气不好时，我的心情就会不好。4C919翱翔蓝天，体现了国家的意志和人民的希望。5中国人有力量,能做到“逢山开路，遇水架桥”。项目八让端侧机器人能想三十二、项目目标：学习完本项目后，将自己掌握情况填入表8-1,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围l-5表8-1项目目标自测表项目目标目标难度评估是否掌握（自评）(1)了解文本自动摘要的概念。(2)了解文本自动摘要的分类。(3)了解文本自动摘要的主要方法。(4)了解文本自动摘要的评价指标。(5)掌握文本自动摘要函数的使用方法。(6)能够调用Al平台能力实现语音自动摘要。二、项目分析通过学习文本自动摘要的相关知识，调用百度Al开放平台，通过语音识别和自然语言处理能力，实现对文本和语音的自动识别。请结合分析将项目具体实践步骤(简化)填入图8.1横线处：图8.1项目八分析步骤图三十三、知识抽测请使用TF-IDF统计方法，根据四大名著中西游记师徒四者在该书中的出现次数,评估他们在西游记中的重要程度，并将相关内容填写到表82中。表8.2西游记主角TF-IDF统计名字出现次数重要程度(越多越重要)唐僧1200孙悟空3000猪八戒1000沙和尚800三、任务一创建应用在任务一实施之前，你了解到可以调用百度Al开放平台上的哪两类接口来完成文本自动摘要？完任务一实施后，请将利用相应接口创建的应用进行截图，粘贴到表81中。截图中要能够展示相应应用的关键信息。，填入到表8-3中。表8-3创建应用截图接口1：_接口2:四、任务二编写文本自动摘要程序请将编写文本自动摘要程序的步骤排序填入左侧的O中，然后将右侧的函数或第三方库的功能进行简单介绍，最后将其与编写文本自动摘要程序的步骤进行连线。定义音频读取函数导入 baidu-aip 库：编写调研函数逻辑定义语音识别函数配置基础环境导入 AipSpeech 库：open ()函数 asr方法 用到了哪些分支、循环结构：创建接口客户端获取百度Al云服务应用AppID.APIKey、SecretKey:五、任务三测试文本自动摘要程序以2023年国务院政府工作报告文本为自动摘要提取对象，记录相关数据到表8.4,并提出优化摘要的建议。表8.4自动摘要提取测试记录表自动摘要识别对象类型摘要长度只要是否能够概括核心大意优化建议项目九地址识别：让端侧机器人能写三十四、项目目标：学习完本项目后，将自己掌握情况填入表9-1,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围l-5o表9-1项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解命名实体识别的概念(2)了解中文命名实体识别的发展。(3)熟悉中文命名实体识别的应用场景。(4)掌握中文命名实体识别的评价方法。(5)能够理解中文命名实体识别程序逻辑。(6)掌握中文命名实体识别接口的调用方法二、项目分析通过学习地址识别相关知识，调用百度Al开放平台，对输入语音的识别和对其情感进行分析，请结合分析将项目具体实践步骤(简化)填入图9.1横线处：图9.1项目九分析步骤图三十五、知识抽测1 .判断对错。命名实体识别的任务是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。而地址识别是在命名实体识别的基础上的实际应用。2.请判断下图属于哪种实体标注方法输入序列希捷机械硬盘ST4OOOOVXO13输出序列BEBEBEOOOOOOOOOOOO图9.23 .请画出中文命名实体识别的方法发展过程。4 .请简述选择Fl值作为调和标准的原因。三十六、任务一创建应用判断地址识别属于百度Al平台的哪个模块，并回顾APIKey.SecretKey分别的作用。三十七、任务二地址信息识别import AipSpeech, AipNIp将地址识别分析的步骤进行排序填入O中，将对应操作与步骤连线。程序入口，串联函数defgct_file_content(filePath):设定参数.创建客户端三十八、任务三结果分析1将下列5条不同类型的地址数据，通过运行程序，分别对5条地址数据进行提取,将结果填写在9-2表格中。张小九北京市大兴区天籁小区13451121145内蒙古自治区兴安盟科右中旗彩虹小区15601324455刘五15611145245白帆河南省项城市家园小区8号楼5单元101深圳市宝安区腾飞小区15462234869戴九天津市东丽区武安小区李十1458678954718917894561四川省成都市午后小区表9.2地址识别性能评价表地址提取结果精确度召回率Fl值项目10漫谈对话：让智能机器人对话一、项目目标：学习完本项目后，将自己掌握情况填入表10.9,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围1-5。表10.9项目目标自测表项目目标目标难度评估是否掌握(自评)(1)了解智能对话机器人的概念(2)了解非任务型智能对话机器人的概念(3)了解非任务型智能对话机器人的架构(4)了解非任务型智能对话机器人开源系统(5)掌握青云客机器人APl接口调用方法(6)掌握思知机器人APl接口调用方法(7)掌握对话机器人的自我对话方法二、项目分析通过学习智能对话机器人的相关理论知识，调用国内Al开放平台实现对话机器人的自我对话，请结合分析将项目具体实践步骤(简化)填入图10.19横线处：项目分析J步骤3:图10.19项目分析步骤图四、任务一搭建青云客对话机器人系统三、知识抽测下面是著名的图灵实验，假如让你做设计实验者，你会如何设计问题？填入下面方框中。 图灵实验：一种确定计算机是否会思考的实验。一个人向计算机发问，另一个不知情的人试 图从回答中区分是人还是计算机.如果计算机没有被辨认出，则实验成功。在完成青云客机器人后，根据图灵测试内容，同组进行图灵测试，记录到表10.10。表10.10使用青云客机器人进行图灵测试结果问题青云客机器人同组组员五、任务二搭建思知对话机器人系统在完成思知机器人后，根据图灵测试内容，同组进行图灵测试，记录到表10.11中。表Icm使用思知机器人进行图灵测试结果问题思知机器人同组组员八、任务三实现机器人间对话使用图灵测试，测试机器人间的对话，将结果记录在表IQI2中。表ICm机器人间对话测试结果青云客机器人思知机器人项目11焦点畅谈：定制康养智能机器人三十九、项目目标：学习完本项目后，将自己掌握情况填入表1-7,并对相应项目目标进行难度评估，评估方法：为相应项目目标后的进行涂色，难度系数范围l-5o表1-7项目目标自测表项目目标目标难度评估是否掌握（自评）(1)了解任务型智能对话机器人的概念(2)了解任务型智能对话机器人的架构(3)了解智能对话机器人的关键技术(4)熟悉智能对话机器人开源系统(5)了解任务型智能对话机器人的评价方法(6)了解智能对话机器人的未来发展(7)掌握UNlT搭建康养智能对话机器人二、项目分析项目分析通过学习智能对话机器人的原理、架构、关键技术和评估指标等，使用百度UNIT平台搭建康养智能对话机器人。请结合分析将项目具体实践步骤(简化)填入图ILl横线处：图11.1项目11分析步骤图四十、知识抽测请同学们用思维导图的方式，在下框中画出对话策略优缺点Ooooo四十一、任务一定义对话系统对于定义对话系统的步骤进行排序填入。中抽取对话流程确定系统目标梳理业务要素及知识库确定场景边界撰写故事线四十二、任务二UNIT开发者认证根据开发者认证所需信息，整理归类下列开发者认证相关信息：智能家居政府医疗接待机器人百度Al开发者大会交通百度大脑Al开发平台官网智能客服线上课程要求每一列上的相应信息都有一个共同的特质，并将信息填到表11-2中。表11-3同质开发者信息九宫格四十三、任务三创建对话技能在项目1中，了解的百度账号的功能，在本想中，了解了UNrr账号认证，用绘图的方式描述下“我眼中的UNlT对话技能创建与配置”，填入到表11-3中。表11-3我眼中的UNlT对话技能创建与配置四十四、任务四创建问答技巧以下是创建问答技巧的相关步骤，请将左边的步骤与右边的关键点进行连线。步骤关键点问答数据集技能配置创建FAQ问答技能表格问答技能创建对话式文档对话技能我的技能创建表格问答技能采集信息四十五、任务五搭建对话系统根据对话系统搭建流程，回顾百度UNIT平台还提供哪些效果验证机器人对话效果，才能使对话机器人更好地工作。请在下面的圆环中填入相关模式，越多越好。四十六、任务六机器人发布与验证将使用API的方式将机器人部署到生产环境中，需要用到多种函数，请同学们从左边大圈中筛出部署所需函数，并填到右侧方块中。Requestsjsourlecodefetchjokencv2Ixmlurlooen