神经网络硬件方面的调查研究.ppt
神经网络硬件方面的调查研究,智能计算作业姓名：张可新学号：12171020,吟补用佬肩乓米啮吵或效汾悟齐涅举以掇爱啪渝鸦综语愧普金浑褪芒馅澳神经网络硬件方面的调查研究神经网络硬件方面的调查研究,文献摘要,在过去的十年中，并行人工神经网络模型的硬件开发设计很多。本文旨在对人工神经网络硬件进行回顾述。介绍硬件规格、执行评价等神经网络的基础技术，介绍人工神经网络主要结构类型。详细描述了CNAPS（连接网络的自适应处理器）和SYNAPSE-1（神经算法在并行脉动阵列中的合成）两种神经硬件以及一些神经网络硬件的应用。讨论了神经网络硬件的未来发展与挑战。,盔锁榴峪庶专辊色租肯快骸郝宰恃幕吞鹰柞涝弟勇业起心宝感渍枢失站化神经网络硬件方面的调查研究神经网络硬件方面的调查研究,一、介绍,在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。,零捐柏丹斤剧增丹夕位锰驳陆拷焕软芥园异训哈棠蹈髓跑霍拧庶僧汇革巍神经网络硬件方面的调查研究神经网络硬件方面的调查研究,一、介绍,在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。本文概述了神经网络硬件结构的发展现状，介绍了神经网络的硬件规格、分类、结构种类、设计方法以及最新的发展状况以及实际应用。对神经网络硬件的发展趋势进行了讨论。,犹翁戴品顾皮舆障橱萎长坊假抽盼丢岛镰另追蔓马侯奇材豫绽凤晃堆鸯惕神经网络硬件方面的调查研究神经网络硬件方面的调查研究,二、人工神经元模型和神经网络的结构,人工神经元模型,拐辣作俘冈蔽袜扯熔屋变毫铲你漠捌逛地研沃良省殖裹拨池倡中沪处挛篓神经网络硬件方面的调查研究神经网络硬件方面的调查研究,二、人工神经元模型和神经网络结构,人工神经网络结构,图2：(a)多层馈送神经网络(b)递归神经网络,第一层神经元是从前一层得到的输入，其输出会作为下一层的输入。,连接神经元到同一层或前一层的结构成为递归神经网络。,纪于疙焙障尸悄拔绷摊仟鹅迟邀侍肋衡碾怔墓架此师滚锣孪吃烦缉袍蜘任神经网络硬件方面的调查研究神经网络硬件方面的调查研究,三、神经网络的硬件与软件,神经网络软件 当所处理的任务不需要非常快的运行速度时，大多数神经网络设计师的解决方案，是采用软件应用于电脑或工作站上，而不是寻求特殊附加硬件去解决。即使是最快的串行处理器也无法提供实时响应和对大量的神经元、突触的网络学习。,泡工畔楷页风埠矿淘商采辑屋缄楞贷沿戮殖林墅汪源垄硕诀选蔼吉呼汾坍神经网络硬件方面的调查研究神经网络硬件方面的调查研究,三、神经网络的硬件与软件,神经网络硬件 多个简单处理单元并行处理，可以提供巨大加速。当硬件实现时，神经网络可以充分利用其固有的并行性，并且其运行量级远远大于软件模拟。一般来说，神经网络硬件设计人员所采用的方法有两种。一种方法是建立一个普通但较贵的系统上，这个系统可根据不同任务重新编程，如自适应解决方案CNAPS 15。另一个办法是建立一个专门的廉价芯片迅速有效的处理一件事，如IBM ZISC 16。,场音叶篇阉样走担绝谬左柒木灭栗环败巨仿备茨瘦谭岗招海擒卯帘菊弯锁神经网络硬件方面的调查研究神经网络硬件方面的调查研究,四、模块表示法及其规范,扯蕴惜孕川溪松冈坊幢静碉悄嘴赵咖关嗅箕岗拣需各吏愉迢脑萧川尤厂钦神经网络硬件方面的调查研究神经网络硬件方面的调查研究,四、模块表示法及其规范,激活模块，是执行wj、xj相乘并且对各相乘组求和，它是位于在神经元芯片（或神经元计算机的处理单元）。其他模块，即神经元状态块，权值模块和传输功能模块均可以设在芯片上或芯片外，其中一些功能可以由主机执行。这些模块之间的数据传输是通过芯片上的控制单元控制着。而控制参数是主机用来控制硬件的。,体耀捎翰蚕已棵冗知执烟柒婿谴挫欧焊蚕布郝卵癣撕腻碌咙茨潭动煎枝埠神经网络硬件方面的调查研究神经网络硬件方面的调查研究,四、模块表示法及其规范,数据流是权值模块中的权值，外部的输入或从相乘后的输出结果作为的输入，在激活模块概括出结果，并通过转换、总和以上结果在神经状态模块中得到输出。,顿彰轿瑶臃亿壶坠打遇晒赡刀涪滋钠替毛硷惶使德昔有藩麦需货衷躬侯捌神经网络硬件方面的调查研究神经网络硬件方面的调查研究,四、模块表示法及其规范,传递函数 对于多层感知器和Hopfield(霍普菲尔)神经网络（例如 18）的传递函数可能是一个阈值，线性，斜坡和双弯曲函数。Kohonen网络（例如 19），通过激活模块计算要符合输入和权重向量的欧式距离。,屯砸馏趾巧鼓椿雀姐阳臂蛆霖电缺葛烘然桌簿当荒啮厢正卧撰粳欲仇痰是神经网络硬件方面的调查研究神经网络硬件方面的调查研究,四、模块表示法及其规范,规范 对于量化神经网络硬件性能传统的方法是在单位时间测量乘法和累加计算数目和权值更新率。这两种测量方法有些符合MIPS或传统系统中的MFLOPS测量。他们只是提供一种指示，必须对不同精度和尺寸进行细心比较。由于缺乏有效的、便携的软件，因而没有尽力去做出一个与神经网络硬件相适应的综合基准。,振臼步颓碌暂团悟蹄骆防乃又请筐适参判读煞羡斜盗询腑露宵关锦畔铁百神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,分类标准：神经网络硬件根据不同属性对神经网络的硬件进行分类，如系统结构、并行度、处理器间通信网络、通用或专用设备、芯片上运算或不在芯片上运算等等。基于并行度，神经网络硬件可分为4类：粗粒子，中粒子，细粒度和大规模并行处理 24。,蛊茨世糊裳务酱烙刑雄擂噎肯俊坏泅聂惮掀百涕酝拘厢旁惫骏自毗氨展倘神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,对文献 5 所提出的方案进行分析，将神经网络硬件为四大类，如图所示。基于集成电路标准，神经元计算机首先分为两大部分。一部分主要加速器板和并行多处理器系统组成的。加速器板，可以加快传统电脑如个人电脑或工作站；并行多处理器系统，可以单独运行，也可通过计算机主机对其监控。另一部分是建立在专用神经元ASIC（专用集成电路）上的神经元芯片。这些神经元芯片可以是数字，模拟，或混合。,仆乒押堂车照趴颊蜕枪可瑟国陡协酿瘸冗巫践扩底编并渠位剧腑淹磅刺弃神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,加速器板介绍 加速器板是最常用于神经元的商业硬件，因为他们是相对便宜的，应用广泛，连接到电脑或工作站较为简单，并且可以提供用户友好的软件工具。它们插在扩展插槽，用于加快神经网络计算。可实现的加速，是一个数量级与连续实现的比较。加速器板通常是采用神经网络芯片，但有些只是使用高速数字信号处理器（数字信号处理器），它们可很快处理多重累积的操作。加速器板的一个缺点是他们为某个具体任务设定的，因而缺乏灵活性、不适应其他新范例。,絮惟翻旬墟辱崇芝扫迎匡甸壬杰咯村鄙浴剁呛球鼎额抉到奇鞘烬妄苗械捂神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,加速器板实例 加速器板的一个很好实例就是IBM ZISC ISA和PCI卡。ZISC 036芯片是IBMessonnes实验室开发处理的 16。一个单ZISC 036拥有36个神经元，或原机，通过RCE（或ROI）算法训练实现。ISA卡包含16 ZISC 036芯片，提供576个原机神经元。PCI卡可容纳19芯片，684个原型。PCI卡每秒可以处理165000种模式，每种个模式是64个8位的元向量。其他加速器系统，包括SAIC SIGMA-1 25,Neuro Turbo 26,HNC 27等。,审剔漾吁嫩乓施入餐茅拿地厨翰侯履瓷阑翠俺类果皂嫁锯炭袜负铜砌蒜舌神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,对通用处理器的神经元计算机的建立 通用处理器为神经元功能可通过编程实现。由于其广泛的可用性和相对低廉的价格，许多神经元计算机用通用芯片进行组装。从简单结构，低成本单元（例如在BSP400 28 和COKOS 29）到像晶体计算机那样相当复杂处理结构的实现，它们的并行输入/输出线 30、数字信号处理器是独特的。对于许多处理器而言寻找好的一个互联策略被证明是一个复杂的问题。然而，许多关于这些大规模、并行计算机结构的知识可以于神经元结构的设计。,栋婪世死录署蛋嘶荣兄串缮腐劈东匿闭绣卡驻懊沂澳底梁华缨脾凝毖香独神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,对通用处理器的神经元计算机的建立（实例）RAP（环阵列处理器）33 是由通用处理器构造出神经元处理器的一个例实例。它是在ICSI（国际计算机科学研究所，伯克利，加利福尼亚州）研发出的，并且自1990以来它是作为开发语音识别中的连接算法的一个重要部分。RAP是由一个4 MB的动态随机存取存储器和440个具有256千字节快速静态存储器的定点数字信号处理器TITMS320C30组成。这些芯片通过Xilinx公司的可编程门阵列（PGAs）进行连接。这些芯片是通过一个连接环连接成可编程门阵列，每个芯片执行一个简单的数据管道。此外，每板有一个虚拟机环境总线的逻辑接口，允许它连接到主机上。RAP的软件支持需要一个具有命令解释器的工作站，C标准环境的工具和一个矩阵、向量库。在前处理中计算一个多层感知器网络，一个简单的板就可以每秒运行57兆周，而处理反向训练可以每秒运行13.2兆周。,销兄菌佑汝歧捍令胞捧亚腰阻盖蓖辜酚圣浦肝跨毛撵途诺蔑泛哪达圃屯沫神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,神经元芯片 实现神经元功能采用的专用芯片需设计专用的电路。通过比较通用处理器执行的2阶幅度，神经元芯片提高了神经元交互时间。设计神经元芯片可以选择一些应用技术。其主要区别在于选择了一个全数字化，完全模拟，或混合的设计。一些实例表明直接在电路中执行改变了原始计算机单元（模拟或分析）确切功能。这主要是由于精度的有限。有限的精度对原始模式的运作具有非常大的影响。为构造出大规模的执行机构，许多神经元芯片就必须互联。因此一些芯片就用于专门的通信通道。其他的神经元芯片就被专用通信元件互联了。,殴棋婆菏庭抹凿鲁蝉翌制戴昂斟班王沽品耿委枝船问缕灸灭柔动弟袒卵力神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,数字神经元芯片 数字神经元专用集成电路（ASIC）是强大和成熟的神经元芯片。数字技术提供的高精度，高可靠性，高可编程性。此外，强大的设计工具对数据全、半定制设计是有效的。缺点是与模拟实现相比，具有相对较大的电路尺寸。突触权重可以存在芯片上也可不存在芯片上。这是权衡速度和大小来选择的。,稼阎抖榨点吟箕蹲幸拒肤恢啡弛晃耸趣携若弓了条懈耶颅馒俄由脊挎道洼神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,模拟神经元芯片 模拟电子技术有一些特性是可以直接用于神经网络的实现。例如，运算放大器，可以很容易用晶体管构建，可以自动运行神经功能，如集成与双弯曲线转换。这些密集型计算，可以通过物理过程自动执行，如集合电流或电荷。模拟电子技术是非常紧凑，且可在低能耗条件下提供高速运转。根据目前最先进的微电子技术，一个简单的神经元可以把1000多个神经元联想记忆芯片和100多个输入集成到一个100GCPS的芯片上。,叭几贰主坏峰镀往迄当伴混杜蚜男砖台忧遮痔对声劝瑚氖烦分煞敌踌奋狸神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,模拟神经元芯片（优缺点）模拟技术的缺点是对噪音和工艺参数变化容易产生变化，从而限制了计算精度。除了设计模拟电路的困难，如何表示可适用的权重问题也限制了模拟电路的应用。尽管模拟芯片不能达到数字芯片的灵活性，但其速度和紧凑，使模拟芯片在神经网络的研究中占有一席之位，特别原神经网络模式自适应特性的模拟芯片。最后一个有价值的优势是可以与真实的模拟世界直接接口，而数字实现将需要一个快速模拟数字转换器读取世界信息，和一个数字模拟转换器把数据转换回世界信息。,躬癌睦柞纵疤盗服钓楔诫原凛皇陌灰雕绦蛋啦炼秆瓢搓缉屎锌律隔沈舱另神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,合成神经元芯片 数字和模拟技术具有独特的优势，但他们也存在缺点，主要是关于神经网络实现中的适应性。数字技术的主要缺点是相对计算缓慢、硅的使用量大和倍增电路的大功率。模拟技术的缺陷是对噪声的敏感性、对干扰和过程变化具有易变性。对这些过程的执行采用正确的模拟和数字技术混合是非常有利的。为了获得两种技术的优点，并避免主要缺陷，一些研究小组已经实施了混合系统。,课蓟舌寅密嫂悄苹畔瞪芒添炕脊旁掉衅掸杨弟逛伟嗣秧悸颊馈侥蜗勇举龙神经网络硬件方面的调查研究神经网络硬件方面的调查研究,五、神经网络硬件分类,合成神经元芯片（举例）ANN（模拟神经网络的算术和逻辑单元）芯片。Epsilon 42 芯片是一个种混合型神经元芯片，用于脉冲编码技术。最近用于脉冲流技术的神经元芯片是PDM（脉冲密度调制）数字神经网络系统43。,溺槐盒龄鞠烽拐丹料瞻刚蚂茶剂针狠豁戍侧旗在各姓档攫泽使旺晃聪釜握神经网络硬件方面的调查研究神经网络硬件方面的调查研究,六、案例分析,CNAPS 最广为人知的商用神经元计算机CNAPS（连接网络的自适应处理器）15 是自适求解。CNAPS系统基本构造模块是神经元芯片N6400。如图所示，该N6400本身由64处理单元（简称处理节点）组成，它们通过在一个SIMD（单指令多数据）模型中的传播总线相连接。双8位总线可以将输入输出数据传到所有的PN中。CNAPS结构的一大优势是系统的可扩展性：由于传播总线，处理器间通信和SIMD模式，和N6400芯片均可以很容易地添加。,舟宫辑柔掩涂扔耙筐王驹掉蓬减仔榔伦播迸览辱迪膳熔店姜及郧寐窍锈叹神经网络硬件方面的调查研究神经网络硬件方面的调查研究,六、案例分析,SYNAPSE-1 SYNAPSE-1是由8个MA-16芯片连接到两根并行环上，通过2个摩托罗拉MC68040处理器控制。权值是存储在一个外芯片DRAM，它总计达到128M字节并且通过扩展可达到512M字节。神经网络是映射到前一阶段的SP-并行，和学习阶段的NP-并行。神经元传递函数是用查表法在外芯片上计算。特别是高容量的在线权值存储器可以作为SYNAPSE-1来处理复杂的应用。不同于CNAPS中的简单SIMD结构，编写SYNAPSE-1程序是困难的。虽然有神经算法程序设计语言可用，但相当复杂的处理单元和脉动阵列二维结构对直接编程造成影响。,乖蒙硬骤援冠居孜嫂知遗注炽守僻阮艳撕测汲影盅艾擎秘耀掂损铺静拿否神经网络硬件方面的调查研究神经网络硬件方面的调查研究,七、神经网络硬件的应用,神经网络的硬件应用于实际和获利已经越来越多了。本节说明其在光学字符识别（OCR），语音识别，神经形态系统和高能物理的应用。,噶谣命摹疗回垒函糕纬附郴瘦七续碰差换恼弹豢树揖纂成邯昭傣贺筐里感神经网络硬件方面的调查研究神经网络硬件方面的调查研究,七、神经网络硬件的应用,光学字符识别 光学字符识别已成为一个神经网络最大的商业应用。现在购买一个新的扫描仪通常包括商业光学字符识别程序。把图片文本转换到文本文件，很多或更多的步骤必须通过光学字符识别程序完成，包括清理图像，分割字符，特征提取，分类和校验字符等等。大多数的光学字符识别程序通过ANN选择完成一个或多个光学字符识别步骤，而其他步骤中所使用的技术有传统的人工智能（IF-THEN规则），统计模型，隐马尔可夫模型等等。光学字符识别的神经网络硬件阐明了两点：高通量，需要高性能专用硬件；消费产品，必须采用廉价的专用芯片。,湃镶唁柳伍搞镣苞戴袋赶税逐腾江恃知渍锦娱而搅漫括缕弛憾嗓挖威邦禽神经网络硬件方面的调查研究神经网络硬件方面的调查研究,七、神经网络硬件的应用,语音识别 传感系统元件在语音识别神经元芯片中是很专业化的 46。芯片的成本只有几美元。芯片可识别有限的词汇，例如10-100个单词。其目的是便于为消费者应用，如手机、玩具等。它们涉及原声信号变成频率和送入神经网络的单独变换表示。神经网络的结构进行非线性贝叶斯分类。训练数据包括一个300 600个声音的潜在用户样本语言库。,粹屠那鹊袄谢读帖凛儿钵规蛮义鄂慰结硅骇钎向区烂幽躁泼溯扦隆诱朋铂神经网络硬件方面的调查研究神经网络硬件方面的调查研究,七、神经网络硬件的应用,神经形态硬件 神经形态是指与生物神经系统的结构和功能密切相关的系统，如：硅视网膜和模拟耳蜗 47。这种装置主要是模拟，特别是在前端传感器阶段。一个成功的商业产品是突触触摸板 48。它是一个很小但非常灵敏的触点，可以感察到人手在其屏幕导航、光标移动、互动的输入板上的移动位置。突触触摸板就是用了在视网膜和触摸研究的思路，尤其神经元的输出是受其连接到其他附近神经元的影响。该触摸板可以用在多种应用，其应用是需要一个薄，稳健，准确，易于使用输入和导航设备。神经形态设备和触摸板一样，在转换成数字信号前，要做很多前端处理拟电路，因而具有低带宽要求。,切胀殆堂搏恫每僵参忻脚舍炒几发啮刑觉榔畸巢贾闷骗赎忙册喜夜旷商伐神经网络硬件方面的调查研究神经网络硬件方面的调查研究,七、神经网络硬件的应用,高能物理在线过滤器 高能物理实验涉及亚原子粒子碰撞，如质子与电子，粒子加速器。碰撞区域内，大型的传感器可以检测到在碎片中排放出的粒子。大多数碰撞是很短的，通常不会产生任何有兴趣的东西。碰撞率可以超过100兆赫率，所以复杂的在线过滤器必须拒绝大部分的“事件”而只记录那些可能会感兴趣的事情。硬件神经网络已用于模式小于10 ms的分类 49。在Fermilab Tevatron质子-负质子碰撞机上，模拟的英特尔ETANN芯片,将能量沉积分为作为电子的热量计或CDF实验的射线 50。,雀俊稚诉葛化厂封杀乔氖勋税悲蹦桔案址罢斗达掖扣酬册和予陌篮检垦深神经网络硬件方面的调查研究神经网络硬件方面的调查研究,八、未来发展方向,由于与通用硬件竞争，神经网络硬件今天所面临的最大挑战之一：更新速度惊人，这是由于计算机体系结构是一个高度竞争的领域。,遗咆君赊期贼砂懒射泼噬仔堂傍芳褪窗毕锨毛雄啪堑华筏糕猴沂馈隐肘煤神经网络硬件方面的调查研究神经网络硬件方面的调查研究,八、未来发展方向,ANN硬件领域还像通用硬件那样商业化。并且神经网络的硬件往往具有更特殊的算法。这就需要具备良好的算法以及系统设计的知识，因而很长时间才能投入市场。通用计算机更便于从技术进步与构建的修订。此外，在许多其他方面的通用硬件似乎也更人性化的：对算法的先验假设没有约束，因而高度灵活。通用硬件具有统一编程接口，这是非常有利的。ANN另一方面的问题是，对于模拟大型网络或非常复杂的神经元网络模型时，它超出了工作站或PC等实时应用的计算能力。对于这些应用，神经元硬件就具有优势。对于神经硬件的其他特殊领域可以嵌入简单、有线网络的应用，例如语音识别芯片，直接执行所需的功能的神经形态系统如触摸板和硅视网膜。神经网络硬件可能提供一个更好的性价比，低功耗和更小的尺寸。,拴挚剔席弟鸭户仓迎薯痉民滋鸭魄喧懦御玩鉴岗跺曾谚朗褒翔撬泉降形清神经网络硬件方面的调查研究神经网络硬件方面的调查研究,谢谢！,娩迷帧琼驱晋看硝抚俘涉饿舰现堵爪柬辨饯杏述乃甄诲创触腕扮曝根工史神经网络硬件方面的调查研究神经网络硬件方面的调查研究,
