生成式对抗网络GAN课件.ppt
《生成式对抗网络GAN课件.ppt》由会员分享,可在线阅读,更多相关《生成式对抗网络GAN课件.ppt(14页珍藏版)》请在三一办公上搜索。
1、Generative Adversarial Network (GAN)生成对抗式网络,非监督学习及GAN,非监督学习:训练集没有标注,学习的结果是数据的隐含规律,表现形式可以使数据按相似性分组、数据的分布、数据分量间的关联规则,最主要的是探讨非监督学习中的聚类问题。GAN 是Ian Goodfellow在2014年的经典之作,在许多地方作为非监督深度学习的代表作给予推广。GAN解决了非监督学习中的著名问题:给定一批样本,训练一个系统,能够生成(generate)类似的新样本。,GAN之前的非监督学习,直白的想法是,根据训练集估计样本分布p(x)。之后对p(x)进行采样,可以生成“和训练集类似
2、”的新样本。对于低维样本,可以使用简单的,只有少量参数的概率模型(例如高斯)拟合p(x),但高维样本(例如图像)就不好办了。,RBM(Restricted Boltzmann Machine):构造一个无向图,图的能量和节点取值的概率有指数关系。利用训练集设定图中节点和边的系数,用来表述样本中单个元素和相连元素的关系。,DBN(Deep Belief Networks):用单个RBM和若干有向层构成网络。,计算复杂,GAN,对抗网络:使用两个网络互相竞争,称之为对抗式(adversarial)结构,随机向量,随机取样,生成器G:通过一个参数化概率生成模型(通常用深度神经网络进行参数化)进行概率
3、分布的逆变换采样,得到一个生成的概率分布。,判别器D:给定样本,判断(通常也是深度卷积神经网络)这个样本来自真实数据还是伪造数据。,GAN损失函数,这个Loss其实就是交叉熵。对于判别器D,它的任务是最小化 -L(G,D) ,即 如果采用零和博弈,生成器G的目标是最小化L(G,D),而实际操作发现零和博弈训练效果并不好,G的目标一般采用最小化 或 一般来说,更新D是,G是固定的;更新G时,D是固定的。,GAN缺点,在原始GAN的(近似)最优判别器下,第一种生成器loss面临梯度消失问题,第二种生成器loss面临优化目标荒谬、梯度不稳定、对多样性与准确性惩罚不平衡导致缺乏多样性的问题。原始GAN
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 生成 对抗 网络 GAN 课件
链接地址:https://www.31ppt.com/p-1488856.html