计算机新技术深度学习.ppt
《计算机新技术深度学习.ppt》由会员分享,可在线阅读,更多相关《计算机新技术深度学习.ppt(103页珍藏版)》请在三一办公上搜索。
1、计算机新技术概论 之深度学习技术Deep Learning,主要内容,4.深度学习的应用,3.深度学习的典型模型与方法,1.百度大脑中的深度学习,2.深度学习简介,5.深度学习的意义与展望,百度大脑,百度打造最大计算机大脑,baidueye,Baidueye宣传片,百度“慧眼识花”宣传片,“百度识图”app与中国科学研究院专家的花卉识别准确率进行PK,百度大脑百度识图,人脸搜索,百度大脑图片搜索,相似图像搜索:,百度大脑百度魔图,单日最高上载9000张图片,在IOS APP排名榜总榜排名第一长达3周之久。,百度大脑OCR文字识别,百度大脑百度翻译,打开百度翻译App实物翻译功能,对着物体拍张照
2、,就能迅速识别并翻译成英文。,百度大脑拍照实物搜索,百度大脑百度钱包,百度全新研发出“拍照付”功能,将植入“百度钱包”,成为接棒“二维码”的移动支付方式。目前“拍照付”在平面广告类的识别率高达90。,百度大脑广告搜索,百度大脑广告搜索,百度大脑,OCR识别,图像识别,人脸识别,语音识别,助力大数据应用推理预测,图像搜索和网页搜索,百度大脑,百度大脑,百度创始人李彦宏对外披露,百度目前正在推进一个名为“百度大脑”的项目,利用计算机技术模拟人脑,已经可以做到2-3岁孩子的智力水平。,百度大脑的定义:从功能上来定义可以说它是以大规模机器学习和深度学习为基础的人工智能在搜索引擎中的应用,旨在优化搜索业
3、务和提升用户体验。,百度大脑,能做什么提高语音识别、图像搜索准确率,助力大数据应用推理预测等;怎么做模仿人类大脑的神经网络,通过多层次的网络模型结构认知事物;前景几何 人工智能技术得到全世界互联网巨头青睐,成为衡量科技创新能力的重要标志。,深 度 学 习,深度学习简介,深度学习:一种基于无监督特征学习和特征层次结构的学习方法。定义:,为什么要自动学习特征,良好的特征表达,对最终算法的准确性起了非常关键的作用;识别系统主要的计算和测试工作耗时主要集中在特征提取部分;特征的样式目前一般都是人工设计的,靠人工提取特征,而深度学习中特征是自动学习的。,传统的模式识别方法:,为什么要自动学习特征,机器学
4、习中,获得好的特征是识别成功的关键目前存在大量人工设计的特征,不同研究对象特征不同,特征具有多样性,如:SIFT,HOG,LBP等手工选取特征费时费力,需要启发式专业知识,很大程度上靠经验和运气是否能自动地学习特征?,连续,平行,连接,拐角,物体部件:,他们对于人工而言是十分困难的,那么如何学习呢?,为什么要自动学习特征,中层特征中层信号,“Tokens”from Vision by D.Marr:,为什么要自动学习特征,一般而言,特征越多,给出信息就越多,识别准确性会得到提升;但特征多,计算复杂度增加,探索的空间大,可以用来训练的数据在每个特征上就会稀疏。结论:不一定特征越多越好!需要有多少
5、个特征,需要学习确定。,为什么要采用层次网络结构,人脑视觉机理1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制。发现了一种被称为“方向选择性细胞的神经元细胞,当瞳孔发现了眼前的物体的边缘,而且这个边缘指向某个方向时,这种神经元细胞就会活跃。,为什么要采用层次网络结构,人脑视觉机理人的视觉系统的信息处理是分级的高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图抽象层面越高,存在的可能猜测就越少,就越利于分类,为什么要采用层次网络结构,Speech,Image,特征的逐层提取,为什么要采用层次网络结构
6、,视觉的层次性属性学习,类别作为属性的一种组合映射,图像特征,类别标签,属性,为什么要采用层次网络结构,特征表示的粒度具有结构性(或者语义)的高层特征对于分类更有意义,为什么要采用层次网络结构,初级(浅层)特征表示,高层特征或图像,往往是由一些基本结构(浅层特征)组成的,为什么要采用层次网络结构,结构性特征表示,深度学习,2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在科学上发表论文提出深度学习主要观点:1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过“逐层初
7、始化”(layer-wise pre-training)来有效克服,逐层初始化可通过无监督学习实现的。,深度学习,2013年4月,麻省理工学院技术评论杂志将深度学习列为2013年十大突破性技术之首。,深度学习,本质:通过构建多隐层的模型和海量训练数据(可为无标签数据),来学习更有用的特征,从而最终提升分类或预测的准确性。“深度模型”是手段,“特征学习”是目的。与浅层学习区别:1)强调了模型结构的深度,通常有5-10多层的隐层节点;2)明确突出了特征学习的重要性,通过逐层特征变换,将样本在原空间的特征表示变换到一个新特征空间,从而使分类或预测更加容易。与人工规则构造特征的方法相比,利用大数据来学
8、习特征,更能够刻画数据的丰富内在信息。,深度学习,好处:可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示。,深度学习 vs 浅层神经网络,神经网络:人工提取特征,深度学习:从原始特征出发自动学习高级特征组合,深度学习 vs 浅层神经网络,相同点:二者均采用分层结构,系统包括输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接,每一层可以看作是一个logistic 回归模型。不同点:神经网络:采用BP算法调整参数,即采用迭代算法来训练整个网络。随机设定初值,计算当前网络的输出,然后根据当前输出和样本真实标签之间的差去改变
9、前面各层的参数,直到收敛;深度学习:采用逐层训练机制。采用该机制的原因在于如果采用BP机制,对于一个deep network(7层以上),残差传播到最前面的层将变得很小,出现所谓的gradient diffusion(梯度扩散)。,深度学习的训练过程,第一步:采用自下而上的无监督学习1)逐层构建单层神经元。2)每层采用wake-sleep算法进行调优。每次仅调整一层,逐层调整。这个过程可以看作是一个feature learning的过程,是和传统神经网络区别最大的部分。,深度学习的训练过程,wake-sleep算法:1)wake阶段:认知过程,通过下层的输入特征(Input)和向上的认知(En
10、coder)权重产生每一层的抽象表示(Code),再通过当前的生成(Decoder)权重产生一个重建信息(Reconstruction),计算输入特征和重建信息残差,使用梯度下降修改层间的下行生成(Decoder)权重。也就是“如果现实跟我想象的不一样,改变我的生成权重使得我想象的东西变得与现实一样”。2)sleep阶段:生成过程,通过上层概念(Code)和向下的生成(Decoder)权重,生成下层的状态,再利用认知(Encoder)权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差,利用梯度下降修改层间向上的认知(Encoder)权重。也就是“如果梦中的景象不是我脑中的相应概念,改变
11、我的认知权重使得这种景象在我看来就是这个概念”。,深度学习训练过程,Encoder,Decoder,Input Image,Class label,Features,Encoder,Decoder,Features,Encoder,Decoder,AutoEncoder:,深度学习的训练过程,第二步:自顶向下的监督学习 这一步是在第一步学习获得各层参数进的基础上,在最顶的编码层添加一个分类器(例如罗杰斯特回归、SVM等),而后通过带标签数据的监督学习,利用梯度下降法去微调整个网络参数。深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化,深度学习模型是通过无监督学习
12、输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。,一个简单的深度神经网络,一个简单的深度神经网络,前向传播和反馈传播过程:,一个简单的深度神经网络,前向传播和反馈传播过程:,深度学习的典型模型及方法,深度学习的典型模型及方法,自动编码器(AutoEncoder)稀疏自动编码器(Sparse AutoEncoder)降噪自动编码器(Denoising AutoEncoders)深度限制玻尔兹曼机(Deep Restricted Boltzmann Machine)深度置信网络(Deep Belief Networks)卷积神经网络(Convolutional Neura
13、l Networks),深度学习的典型模型及方法,Encoder,Decoder,Input(Image/Features),Output Features,Feed-back/generative/top-downpath,Feed-forward/bottom-up path,自动编码器(AutoEncoder),深度学习的典型模型及方法,(Wx),(WTz),(Binary)Input x,(Binary)Features z,Encoder filters WSigmoid function(.),Decoder filters WTSigmoid function(.),自动编码器(
14、AutoEncoder),深度学习的典型模型及方法,稀疏自动编码器(Sparse AutoEncoder),限制每次得到的表达code尽量稀疏,限制每次得到的表达code尽量稀疏,深度学习的典型模型及方法,稀疏自动编码器(Sparse AutoEncoder),Filters,Features,Sparse Coding,Input Patch,深度学习的典型模型及方法,(Wx),Dz,Input Patch x,Sparse Features z,Encoder filters WSigmoid function(.),Decoder filters D,L1 Sparsity,Traini
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算机 新技术 深度 学习
链接地址:https://www.31ppt.com/p-6376296.html