2023-2024年中国人工智能计算力发展评估报告-IDC.docx

《2023-2024年中国人工智能计算力发展评估报告-IDC.docx》由会员分享，可在线阅读，更多相关《2023-2024年中国人工智能计算力发展评估报告-IDC.docx（47页珍藏版）》请在三一办公上搜索。

1、号IDC浪潮信息2023-2024年中国人工智能计算力发展评估报告目录第一章人工智能发展迈入新阶段041.1全球：生成式人工智能兴起，产业步入关键转折点051.2中国：人工智能产业加速创新，机遇与挑战并存10第二章人工看能算力及应用142.1芯片：满足多场景高质量应用需求152.2服务器：高算力和高能效受到持续关注162.3算法和模型：加速模型迭代以探索行业实践1924Al软件基础设施：加速大模型的应用落地202.5边缘智能：以广泛的部署推进智能的延伸222.6绿色算力：基于液冷服务器构建可持续发展数据中心232.7人工智能算力服务和云：根据算力需求优化服务模式252.8应用：企业积极投入以满

2、足大模型时代的应用需求26第三通中国人工智能计算力发展评估343.1行业排名353.2地域排名39第四章行动建披444.1对行业用户的建议454.2对技术供应商的建议46IDC观点2023年是人工看能发展的猫要转折年，企业正加速从业务数字化迈向业务看能化.大模型的突破和生成式人工智能的兴起为企业实现产品/流程的革新提供先进生产工具，引领企业和产业迈入智能创新的新阶段。对于企业人而言，其将不再局限于思考“如何在产品/流程中增加智能化能力，而需要更多关注“如何使用人工智能实现产品/流程的革新”。大模型和生成式人工智能的发展将引发计算范式之变、产业动置之变，以及真力服务格局之变。未来几年，构建和调优

3、生成式人工智能基础模型以满足应用需求，将为整个基础设施市场带来改变和发展机遇。从计算范式角度而言，人工智能算力基础设施将持续向高性能、高互联等方向演进以更高的计算能力和链接速度加速实现大规模参数和数据集的训练和调优；不断提升算力泛在性，推进人工智能在云-边一端的覆盖，满足无处不在的智能化需求；通过优化计算架构、算法和软件栈，支持多元异构算力的协同，构建软硬件生态，加速计算技术的发展和创新。从产业动量角度而言，基础模型技术的突破为人工智能产业的发展增加活力，催生新的玩家和投资机会，基础模型的持续迭代、调优、场景适配和部署、落地等对基础设施层、模型层、平台层和应用层提出新的需求，带来新的服务模式，

4、降低人工智能技术的应用门槛，通过微调等方法实现与下游任务的适配，加速人工智能基础设施软件的开发、部署和应用，为用户和行业提供更多创新应用。从算力服务角度而言，传统算力资源虚拟化共享复用的机制难以满足大模型时代企业对于集群式的高性能算力需求，生成式人工智能将加速企业更多地使用人工智能就绪的数据中心设施和人工智能服务器群，供应商需要具备提供定制化的、优化的基础设施服务能力，满足单个用户对训练和推理资源的独占式、大规模、长时间使用的诉求，并缩短部署时间、提高对数据和输出的控制，满足应用场景的需求，帮助企业实现成本优化。3从感知智能到生成式智能，人工看能算力需求快速增长。大模型和生成式人工智能的发展显

5、著拉动了人工智能服务器市场的增长。IDC预计，全球人工智能硬件市场（服务器）规模将从2022年的195亿美元增长到2026年的347亿美元，五年年复合增长率达17.3%;在中国，预计2023年中国人工智能服务器市场规模将达到91亿美元，同比增长82.5%,2027年将达到134亿美元，五年年复合增长率达21.8讹从算力规模而言，预计到2027年通用算力规模将达到117.3EFL0PS,智能算力规模达1117.4EFL0PS;2022-2027年期间，预计中国智能算力规模年复合增长率达33.9%,同期通用算力规模年复合增长率为16.6%。中国市场对智能算力供给能力的街标准将加速演变，未来应用为导

6、向、系统设计为楂心将是算力升级的主要路径。中国市场对于算力供给能力的评估指标将从硬件性能向应用效果转变，企业在获得算力服务的过程中，会增加对于诸如单位时间可处理Token数量、可靠性、时延、训练时间和资金成本、数据集质量等指标的关注。技术提供商需要以应用为导向，系统为核心，构建算力基础设施，提高算力利用率，提升诸如卡间互联、多节点间互联等水平，通过灵活可扩展的集群满足市场的需求。中国应持续提升基础大模型研发能力，通过逐步完善的人工锂能工程化工具，加速应用落地。目前，受政策支持、算力水平提升、数据资源庞大以及科研实力增强等利好因素的推动，中国在基础大模型方面取得一定成绩，但仍需加大在基础性技术方

7、面的原创性突破，夯实底层模型和算法能力。在实践中，企业需要根据具体的任务和模型设计来决定参数量的大小，技术提供商需要从硬件、软件、算法、数据服务等多个维度入手，结合行业特点进行框架、模型、数据的垂直整合，提升大模型的准确性和可用性。基于液冷服务器构建绿色数据中心，推进人工智能算力可持续发展。人工智能算力的不断提升加速对能耗问题的关注。从数据中心机柜功耗上来说，传统数据中心每机架功耗一般在3-1Okw之间，而每台GPU服务器的功率可高达50kW,对于数据中心操作员和规划人员来说，需要依据计算需求对资源进行合理规划和分配，积极探索采用液冷等先进冷却方法，满足实现可持续发展提出的要求。IDC预计，2

8、0222027年，中国液冷服务器市场年复合增长率将达到54.7%,2027年市场规模将达到89亿美元。目前，中国的人工智能技术正加速迈入全面应用时代。人工智能领域持续追求对技术的创新及增进，注重类人化和诸如机器学习、深度学习等技术的推进，以更好地处理现实生产、生活场景中的复杂问题。大模型和生成式人工智能的落地，也给各行业带来新的赋能。IDC认为，知识管理、对话式应用、销售和营销、代码生成等是企业应用生成式人工智能的主要领域；在特定业务部门或职能部门（营销、销售、采购等），生产力场景和垂直行业场景也有广泛的应用价值。未来，伴随特定领域行业大模型多模态大模型、小样本学习、语音识别、计算机视觉等技术

9、的突破，生成式人工智能的功能将实现持续进步，为企业带来新的能力。人工看能加速实现在行业和城市的渗透。2023年，人工智能行业应用渗透度排名前五的行业依次为互联网、电信、政府、金融和制造。互联网行业依旧是人工智能技术应用和研发的主力军；在电信行业，云上人工智能能力的加速发展，进一步优化服务，支持电信网络的优化和智能化建设。在城市人工智能算力排行中，北京、杭州、深圳依然稳居城市排名前三位；其中，北京在大模型领域表现突出，聚集了大批大模型企业，推出诸多具有代表性的大模型及应用产品。此外，中国其他地区依然保持着对人工智能产业的热忱，正持续加大在相关领域的投资，不断推进人工智能产业的发展。04第一章人工

10、智能发展迈入新阶段1.1 全球：生成式人工智能兴起，产业步入关键转折点1.2 中国：人工智能产业加速创新，机遇与挑战并存1.1全球:生成式人工智能兴起，产业步入关键转折点生成式人工智能和大模型将加速世界向能化时代的迈进2023年，人工看能实现了破I式的发展.人工智能聊天机器人ChaIGPT、Al编程工具GiIHUbCoPiloI和图像生成系统SlabIeDiffUSion等生成式人工智能(GenerativeAl,Gen-Al)应用和工具产品的出现，为文本创建、图像生成、代码生成以及研发流程等工作带来全新的智能体验，极大提升生产力，提高生产水平。生成式人工智能应用的出现离不开大模型的支持。大模

11、型是基于海量参数进行自监督学习的预训练模型，凭借更强的学习能力、更高的精准度以及更强的泛化能力，正在成为人工智能技术发展的焦点。世界正在加速向智能化创新迈进.大模型及生成式人工智能的发展意味着人工智能正在从完成如图像识别,语音识别等特定任务，迈向拟人类智能水平，具备自主学习、判断和创造等能力。对于企业人而言，其将不再局限于思考“如何在产品/流程中增加智能化能力”，而需要更多关注“如何使用人工智能实现产品/流程的革新”。基于海量数据训练和模型调优，人工智能大模型具有更精准的执行能力和更强大的场景可迁移性，为人工智能在诸如元宇宙城市治理、医疗健康科学研究等综合复杂性场景中的广泛应用，提供更好的方案

12、。IDC调研发现，全球企业普遍关注并探索对生成式人工智能的布局，全球超八成被访企业已经开始展开相关实践行动，探索适用的落地场Ih2023年，超过四分之一的企业已IS对生成式人工传技术进行了大资金投.B1全球企业对生成式人工他的态度行业胤”场景ChetGPT文生BBx三三Utx三Ex全球景，但还没存在技术或模型构建上初步测试和概念验证.但还没有确智能方面进行了大量资金投入，在进行投资定支出计划训螃和应用大模型：方面i制定了支出计划从应用场景来看，IDC认为，知识管理、对话式应用、销售和营销、代码生成等是全球企业应用生成式人工智能的主要场景。其中，知识管理有望成为最有应用价值的生成人工智能用例，通

13、过人工智能手段，企业可实现对文本、图像和视频等知识内容的高效分析和管理，降低劳动密集型投入。图2成式人工能具价值应用场景设计全球北美地区(NA)知识管理对话式应用代码生成销售和普销欧洲、中东和非洲地区(EMEA) 亚太地区(AP)来源：1DC.2023目前，各国都在加强对大模型和生成式人工智能的布局和支持，以推动人工智能技术的快速发展和应用：美国持续推进各界在人工智能领域的快速发展，鼓励企业及科研机构积极创新，形成以科技巨头为引领的发展格局。通过推动基础研究和应用研究的发展，美国在基础大模型研发和生成式人工智能应用方面建立起优势，打造了现象级生成式人工智能产品，并将生成式人工智能技术广泛应用于

14、行业领域和业务场景。2023年，白宫更新发布了国家人工智能研发战略计划,鼓励在控制安全风险的前提下，持续探索创新人工智能应用，促进研发投资，鼓励人才培养和产业合作。欧洲地区受到石油和天然气价格上涨、高通货膨胀、人员和技能短缺，以及供应链中断等因索影响，更重视技术对降本增效的积极推动作用，因而对智能化技术的关注较高。但欧洲地区整体对人工智能尤其是生成式人工智能在安全、隐私等方面的顾虑较多，故当前优先推动相关领域法律法规的建设和实施。2023年，欧盟批准人工智能法案，对涉及大量数据训练的人工智能系统提出了透明度和风险评估要求；欧盟还加强对人工智能伦理道德的监管，保护数据隐私和数据安全，加强对生成式

15、人工智能的监管和审查，持续对自动驾驶系统、教育、移民和就业决策系统中的人工智能应用影响力进行评估。在亚太地区，中国、印度、新加坡、韩国、日本等国家积极制定国家人工智能战略，推进各项超大型生成式人工智能相关方案的落地。韩国政府重视人工智能基础设施和环境的发展，推动人工智能在各个领域的应用；日本政府通过加大投入和政策支持，推动生成式人工智能的研究和应用，并决定向企业提供资金补助，推进高算力基础设施的建设；在中国，政府加大了对生成式人工智能研究的支持力度，企业和科研机构也加速推动生成式人工智能的研究和应用，加速研究人工智能与实体经济、社会治理、民生服务等领域深度融合，促进技术的广泛应用和产业化发展；

16、中国人工智能的发展在东南亚部分国家也逐步形成溢出效应，带动该地域相应产业的发展。生成式人工智能和大模 型将引发计算范式之变、 产业动之变、It力服 务格局之变计算范式之变，复杂的模型和大规模的训练需要大规模的高算力支持，这不仅需要消耗大量计算资源，而且对算力的速度、精度、性能也提出更高要求。基于持续演进的算力架构，不断满足基础大模型训练和推理应用过程中对计算、网络和存储的需求，以优质算力加速模型开发，通过提升算力泛在性满足无处不在的智能化需求，构建开放融合的软硬件生态，从而全面赋能智能创新。高计算性能：市场对于更高性能的高端协处理器服务器，尤其是GPU服务器的需求将进一步提升，以满足大量高算力

17、计算任务需求；高互联：生成式人工智能工作负载也时连接人工智能服务器集群的网络结构提出更高的要求，推动网络架构的变革，以更好实现快速互联，加速模型的训练、调优和推理；算力泛在性：人工智能算力还应提升其覆盖规模，以支持智能在终端、边缘、数据中心等位置的广覆盖，实现生成式人工智能推理能力在边缘终端等位置的部署和应用；多元化：应用场景多样性、硬件性能瓶颈、降低成本和提高能效需求等因素促使底层基础设施呈现多元化发展趋势，加强系统接口、互联协议、管理规范等方面的开放兼容显得很有必要。通过优化软件和硬件的协同，构建软硬件生态，方能加速计算技术的发展和创新。产业动之变：当前的模型市场中存在各式各样的模型类型，

18、覆盖语言、图像音频、音乐、代码、视频、3D、生物分子结构和行业特定模型等诸多领域，形成开源与专有模型并存的局面，这为企业的业务智能化发展提供基石：在创作相关的产业，大模型可重构工作方式，为创作方式提供诸多可能性，可自动生成文本、语音、视频等内容，还能激发创作灵感，节省时间和精力，提高创作效率；在自动驾驶领域，大模型可以辅助汽车和机器人更好地理解环境，做出智能决策；在零售领域，大模型可以从历史数据中学习用户的兴趣，提供定制推荐服务；在医疗领域，大模型可以通过对大量药物化合物进行分子模拟和预测，加速药物研发过程；在金融领域，大模型可以帮助金融机构更有效地进行风险评估和欺诈检测。基础模型的发展正在成

19、为促进整个人工智能产业保持活力的重要驱动因素。以模型为核心的变革性技术将带来丰富的市场机会，算力和数据支持、训练和调优、部署和应用等需求招促进人工智能产业的迅速发展。算法、应用、服务等诸多产业变量将成为创新的加速器，在算力生态链上的各个环节（包含基础设施层、模型层、人工智能平台层、人工智能应用层和服务层）催生出新的玩家、初创企业和投资机会：基础设施层：庞大且多样的市场应用将向算力供给提出更分化的需求，从芯片互联技术、存储到基础设施软件，均需实现与市场需求的匹配，以满足不同应用场景,部署环境以及成本和性能的要求；模型层和平台层：从基础大模型的研发、训练和调优，到行业化、场景化落地，各个环节都会创

20、造出新的玩家和新的商业机会，通过将算力、模型、框架、基础设施软件平台等诸多能力调优，为行业需求提供匹配的解决方案，并在大模型赋能下，通过微调(FinetUning)等方法实现与下游任务的适配，在满足诸如“数据不出域”等行业特殊要求的前提下，落地大模型能力；应用层：目前产品和服务以覆盖客户关系管理、知识管理、语音合成、生产力工具、图像设计、写作等领域为主，未来新玩家将持续入场，不断拓展生成式人工智能应用场景，面向金融、医疗、交通、科研、制造、自动驾驶等垂直领域提供更优的数据处理、训练和推理解决方案，以实现跨领域、智能化、个性化、可持续化的发展。产业链间的不同参与者通过合作和创新，可共同推动大模型

21、技术的发展和应用，促进整个产业生态的繁荣和发展。曲生成式人工耀生态价值翘谱数据管理和分析模型层.西歌逾幽舜IJI练彳辿!嬷大庭(彳利归狙或专蜀理)新眦三ffltt基础设施层人工智能基础设施硬件宓片存储旗服务器翔算力服务之变：生成式人工智能有望重构算力服务模式和市场格局。鉴于基础大模型的本地训练成本不菲，企业将更多地使用人工智能就绪的数据中心设施和生成式人工智能服务器集群，从而缩短部署时间，降低设施的长期投资成本。为算力服务市场带来新机会的同时，由于企业业所需的算力服务质量和模式将会在大模型时代发生改变，也将为算力服务供应商带来新的挑战：从基础设施层面来说，传统计算基础设施难以满足大模型时代对于

22、算力、存储和网络的高性能需求，因此算力服务商需要从芯片、处理器、存储、网络、数据库、云原生架构等维度，对算力基础设施进行全面升级，满足用户在超大加速环境中对快速扩展的需求，提供可用、易用、高效的资源供给服务；其次，人工智能算力需求会改变基础架构的算力调度和组合的方式。传统算力资源虚拟化共享复用的机制难以满足企业在大模型时代对于高性能集群式的算力的需求。在算力服务交付的过程中，供应商需要能够提供定制化的基础设施服务能力，满足单个用户对训练和推理资源的独占式、大规模、长时间使用的诉求，同时帮助用户实现成本控制；算力服务商有必要基于软件栈提高模型训练效率，提高硬件利用率。除了硬件资源的提供，算力服务

23、商还可基于用户需求对算法进行优化和改进，提高算法效率和准确性，通过“模型即服务”的方式，降低使用人工智能技术的门槛和成本，促进部署和应用.总之，市场对于算力服务需求的改变，将对算力服务商的商业模式和管理模式提出全新要求，生成式人工智能有望重构算力服务市场格局。在这个过程中，将会涌现更符合市场需求的算力供给方式，帮助企业应对算力需求，基于共享的基础设施，优化服务器利用率，获得更高的能效优势。1.2中国:人工智能产业加速创新，机遇与挑战并存从企业京度而育，中国企业对生成式人工智能的接受度普遍较高。据IDC调研，67%的中国企生成式人工看能背景下，业已经开始探索生成式人工智能在企业内的应用机会或已经

24、开始进行相关资金投入。中国人工锂能市场展现出极高活力图4中国企业对生成式人T智融蟠度C目前什么都没做正在做一些应用场景的初步探索将在2023年投资生成式AI技术弼：IDC2023据调研，中国企业尤其认可生成式人工智能在加速决策提高效率、优化用户和员工体蕤等维度带来的价值，并将在未来三年持续提高投入力度，超过七成企业增幅达到20%-40%；但与此同时，企业需要直面计算,存储等资源短缺,行业大模型可用性待提升以及投入成本高等问睡带来的压力。图5中国企业对生成式人工智能的态度您认为果用生成式人工,能给企业带来何种价值？砌：IDcam您认为贵公司在部生成式AI应用的时候有些挑战？未来3年，费公司在生成

25、式Al的投入增是多少？会：IDC.2023从技术厂商角度而杳，目前，国内诸多互联网巨头、科技企业及研究机构纷纷宣布在生成式人工智能的领域进行产业布局，国产大模型进入集中发布期，已拉开“百模大战”的序幕，通用类大模型（含语言类、视觉类和多模态大模型等）、任务大模型（含代码生成和生命科学等）以及行业大模型持续拓展应用领域，深化场景落地，不断探索商业价值，解决科研难题，助力产业升级。据公开信息，截至2023年10月，中国累计发布两百余个大模型，发布地主要集中在北京，其中以科研院所和互联网企业为开发主力军。随着新算法、新应用的提出，人工智能产业生态呈现出高度活力，丰富的应用场景和潜在行业用例，将对大模

26、型迭代和调优、行业和场景适配以及应用软件功能设计提出新的需求。当下中国大模型技术已经在自然语言处理、机器视觉和多模态等领域具备高度活力；面向未来，中国应持续关注基础大模型等基础性技术的原创性突破，以获得国际竞争力。可以预测，大模型应用将带来诸多产业化变革，因此，夯实底层模型和算法能力，对未来人工智能原生应用的质量和生态竞争力将起到决定性作用。从政策角度而言，中国人工智能相关法规体系的完善与技术发展保持同频，政府将持续加强监督，疏导市场健康成长。2023年7月，中华人民共和国国家互联网信息办公室通过了生成式人工智能服务管理暂行办法.进一步明确生成式人工智能服务的指导方针，新法规已于2023年8月

27、15日生效，将为实现发展与安全之间的平衡提供重要参考。中国算力市场在摸索中 蓬勃发展生成式人工锂能对中国人工智能蜃务器市场的发展带来了明显的拉动作用.丰富的应用场景和对技术创新迭代的热忱，让中国市场对于人工智能服务器的关注度和需求量均明显增长。IDC数据显示，2023年上半年，中国人工智能服务器市场规模达到30亿美元，同比增长55.4%,为评估中国算力规模发展现状和趋势，本报告基于【DC中国加速计算服务器半年度市场跟踪报告及智能加速卡半精度(FP16)相当运算能力数据，测算了中国智能算力规模。结果显示，2022年中国智能算力规模达259.9每秒百亿亿次浮点运算(EFLOPS),2023年将达到

28、111.1EFLOpS,预计到2027年将达到1117.4EFLOPS(I此外，本报告基于IDC中国服务器市场季度跟踪报告及CPU双精度(FP64)运算能力数据，测算了中国通用算力规模。2022年中国通用算力规模达54.5EFLOPS,预计到2027年通用算力规模将达到1173EFLOPSo2022-2027年期间，中国智能算力规模年复合增长率达33.9$,同期通用算力规模年复合增长率为16.6%.图6中国用算力提模及畏潮.2020-2027梆：IDC.2023图7中国智能算力规模及预测，2020-2027大模型的发展提升了智能算力的需求，中国的人工智能算力平台将呈现多元化发展趋势，整体市场也

29、将充满机遇。同时，针对国内市场面临单芯片算力的瓶颈问题，以系统化思维构建算力基础设施平台，保障算力调度，优化大模型研发效率，成为破局之法和发展趋势。这也将加速中国市场对智能算力供给能力衡量标准的演变：用户对算力供给能力的评估指标将从对基础设施硬件性能的关注，迁移以及扩展至与应用需求和结果相关的维度上，如单位时间可处理Token的数量可靠性、时延、训练时间和资金成本、数据集质量等。对于技术提供商而言，他们需要构建以应用为导向、系统为核心的算力供给能力，提高算力利用率，提升诸如卡间互联、多节点间互联等水平，支持灵活稳定扩展和弹性容错，积极打造通用的人工智能软件和硬件平台，以先进的系统性能力满足市场

30、的应用需求。适度超前部署算力资源, 重点关注普惠和绿色在中国，政府积极加大投资和支持，推动人工智能技术和应用的发展.在此背景下，算力基础设施建设成为一个重要环节，被纳入国家新基建范畴。在适度超前的指导思想下，国家正加大对人工智能算力基础设施的投资。目前，互联网企业、电信运营商，以及各级政府均积极投入到智算中心的建设之中。据不完全统计，截至2023年8月，全国已有超过30个城市建设智算中心，总建设规模超过200亿。与此同时，人工智能、尤其是生成式人工智能，对能源消耗提出了更高要求，这让绿色节能成为先进技术落地的重要关注点。模型训练或人工智能应用程序开发以及应用阶段，即文本/聊天、图像或视频大量生

31、成阶段，都会消耗大量能量，产生大量热量。从数据中心机柜功耗上来说，GPU服务器每台机架的功率可高达50kW,这将与传统数据中心每机架7kW功耗的行业平均水平形成鲜明对比。数据中心原有供电网络需要升级改造，以匹配生成式人工智能对基础设施的需求。zfrJ=弟一早人工智能算力及应用2.1 芯片：满足多场景高质应用需求2.2 服务器：高算力和高能效受到持续关注2.3 算法和模型：加速模型迭代以探索行业实践2.4 Al软件基础设施：加速大模型的应用落地2.5 边缘智能：以广泛的部署推进智能的延伸2.6 绿色算力：基于液冷服务器构建可持续发展数据中心2.7 人工智能算力服务和云：根据算力需求优化服务模式2

32、.8 应用：企业积极投入以满足大模型时代的应用需求2.1 芯片：满足多场景高质量应用需求人工智能芯片广泛应用于人工智能领域的各个方面，其所具备的高性能等特性可更好地支持复杂的算法，满足实时处理需求。通过硬件能力和软件能力的紧密结合，人工智能芯片具备自我学习和自适应计算能力，可以根据场景进行优化和调整，以更好地适应应用需求。除主流大型芯片制造商外，全球还有大批创业公司专注于人工智能芯片技术的研发和应用。与此同时，全球一些大型互联网科技企业，特别是规模庞大的云服务提供商，也在人工智能芯片领域投入大量资源进行自研，并与相关产业链上的企业进行合作，加速自身在人工智能芯片领域的能力提升，满足其对硬件的定

33、制化需求，并降低成本。从技术发展视角来也,异构计算仍然是芯片发展趋势之一.异构计算通过在单一系统中利用不同类型的处理器（如CPU、GPU、ASIC.FPG,NPU等）协同工作，执行特定任务，以优化性能和效率，更高效地利用不同类型的计算资源，满足不同的计算需求，比如，通过发挥GPU并行处理能力，可以提高模型，尤其是大模型的训练速度和效率；在数据预处理、模型调优等阶段，可以使用CPU进行计算和决策，或在控制和协调计算资源（如GPU、FPGA等）的工作过程中使用CPU,以确保计算过程的顺利进行；此外，可通过使用FPGA进行推理加速，从而飕型实现在边缘设备的部署，以开展更快速的实时推理工作。IDC调查

34、研究显示，截至2023年10月，中国市场普遍认为“CPU+GPLT的异构方式是人工智能异构计算的主要组合形式。BB8人工智健训和推理工作负或选用的计IuR构推理训练来源11DC.2023在中国，芯片市场机遇与挑战并存.算力需求的提升给本土芯片厂商的发展提供了较大的空间，带来新的机遇。IDC预计，2023年中国人工智能芯片出货量将达到133.5万片，同比增长22.5%0持缥升级：大模型发展等利好因素为中国人工智能芯片企业提供了良好的发展机遇，推动其在芯片设计、算法优化、生产制造等方面不断升级，加速创新研发，持续提升产品性能进步。多元细分：人工智能大模型应用呈多样化趋势发展，这就需要不同类型的芯片

35、满足场景需求,除了CPU、GPU等传统的计算芯片外，国内芯片市场也在向更细分、更专业化的方向发展。政策支持：中国政府出台了一系列措施，鼓励和支持人工智能芯片研发和产业发展，包括资金支持、税收优惠、科研机构合作、人才激励等。各地区可根据自身需求和特点采取措施。这些政策措施为芯片产业的发展提供了良好的环境和条件，将有效促进中国人工智能芯片产业的快速发展，提升竞争力。但与此同时，中国芯片产业发展也面临着一些挑战，其中以技术突破、人才培养、知识产权保护等是方面的问题尤为突出。以封装技术为例，3D封装等技术的出现意味着高端芯片赛道上的竞争无须再仅围绕摩尔定律下的晶体管工艺能力展开，而是可以从新的角度切入

36、，达成电路密度提升的目标，进而实现性能的升级，封装工艺突破正在成为中国芯片制造的新课题；此外，芯片产业发展不仅依赖硬件能力，还需要构建与硬件匹配的软件生态，包括操作系统、中间件和工具链等，当下诸多本土芯片技术储备和生态能力仍围绕小模型时代的识别式人工智能展开，难以匹配大模型和生成式人工智能发展所需的软件生态、模型框架、性能需求，因此本土人工智能芯片仍需在发展继承和竞争中成长。未来，中国人工智能芯片产业需要进一步加强技术研发和创新，加强生态体系建设，培养更多高素质高技术的人才，加强国际合作与交流，提高自主研发和创新能力，以推动人工智能芯片行业可持续发展的目标。2.2 服务器：高算力和高能效受到持

37、续关注从感知青能到生成式看能，人工看能算力需求快速培氏。IDC认为，生成式人工智能和大模型发展正在能成为人工智能算力市场发展的加速器。从感知智能到生成式智能，人工智能越来越需要依赖“强算法、高算力大数据”的支持。模型的大小、训练所需的参数量等因素将直接影响智能涌现的质量，人工智能模型需要的准确性越高，训练该模型所需的计算力就越高。以ChatGPT模型为例，公开数据显示，其所使用的GPT-3大模型所需训练参数量为1750亿，算力消耗为3640PF-days（即每秒运算一千万亿次，运行3640天），需要至少1万片GPu提供支撑。据统计，当模型参数扩大十倍，算力投入将超过十倍，模型架构、优化效率、并

38、行处理能力以及算力硬件能力等因索均会影响具体增加的倍数。表1大模型训练算力当模型名称BERT-LargeGPT-2Q-3T-5ITT-NLGPaLMPaLM-2Switch-TransformerChinchillaLLaMA1.093亿15亿1750亿no亿5300亿5400亿340。亿1.6万亿700亿650亿2450亿算力当量2.4PD8.7PD364OPD26PD990OPD29000PD85000PD46PD6795PD6330PD4095PD来源：公开资料，？艮潮信息，2023由于大模型对计算能力和数据的高需求，其所需要的服务器设施将在人工智能基础设施市场中占据越来越大的份额。Il

39、）C预计，全球人工智能硬件市场（服务器），将从2022年的195亿美元增长到2026年的347亿美元，五年年凝合增长率达17.3%;其中，用于运行生成式人工智能的服务器市场规模在赘体人工锂能照务器市场的占比将从2023年的11.9%增长至2026年的31.7%.图9全球人工智能服务器市场规模预测（含生成式人工智能和非生成式人工智能服务器）.2022-2026（$M）G-AIOtherAl来源：IDC.2023目前，中国的人工锂能版务播发展取得了快速且显著的进展.由于人工智能是国家发展战略的重要部分，在当前数字经济的时代背景之下，服务器已经延伸到多个应用领域；人工智能服务器作为快速发展的新兴领域

40、，市场规模也在不断增长。与此同时，国家相关部门陆续出台支持行业发展的相关文件。例如，2023年2月，中共中央、国务院印发数字中国建设整体布局规划.提到系统优化算力基础设施布局，以促进东西部算力高效互补和协同联动，引导通用数据中心、超算中心、智能计算中心、边缘数据中心等合理梯次布局，在政策层面为人工智能服务器需求量的增长提供保障。从需求侧来说，在国内数字基础建设不断加快的带动下，人工智能服务器行业也保持快速增长。各大相关企业相继进行布局，加之中国人工智能应用场景的逐步落地，对算力的需求量快速增长，人工智能服务器在服务器整体市场中的比重越来越高。同时，中国的企业和研究机构积极进行人工智能服务器的技

41、术研发和创新。这包括高性能的处理器、大容量的内存、高速的存储器和高效的冷却系统等领域的创新，以满足对计算能力和数据处理速度的需求。IDC预涌，未来市场需求量也将会实现大幅度上升，预计2023年，中国人工智能服务器市场规模将达91亿美元，同比增长82.5%,2027年将达到134亿美元，五年年复合增长率为21.8%o随着生成式人工智能任务的不断增加，市场对于高性能和高能效的人工智能服务器需求将持续增长。未来的人工智能服务器将注重提高计算能力和处理效率，以适应更复杂、更大规模的人工智能应用。图10中Bl加速计售量务市场硬测.2022-2027金额：百万美元16,00014,000来源：IDe202

42、3从工作负载来看，2023年，大模型的兴起推动了训练服务器的增长速度。IDC数据显示，在中国，2023上半年训练工作负载的服务器占比达到49.4%,预计全年的占比将达到58.7%.随着训练模型的完善与成熟，模型和应用产品逐步进入投产模式，处理推理工作负载的人工智能服务器占比将随之攀升。IDC预计，到2027年，用于推理的工作负载将达到72.6%。Bl1中国人工务工作负或科，2022-2027训缄推理2.3算法和模型：加速模型迭代以探索行业实践伴随模型套数不断扩大，智能涌现将为人工智能发展产生深远影响。当前，人工智能大模型处于高速发展阶段，OPen-AI、谷歌、Meta,微软等在技术实力、资金、

43、人才基础等方面具有优势的大型科技企业正推动大模型的发展，千亿乃至万亿级参数量加速智能涌现。在这个过程中，我们发现：大语音模型成为人工智能突破的核心之一.大语言模型的出现使得人工智能在自然语言处理领域取得了显著的进展，目前已经在翻译文本、生成文章、回答问题、生成对话等任务场景下具备优质的性能和表现。国内人工智能大语言模型目前主要聚焦基础大模型训练，众多企业和机构也在不断尝试各种不同技术路线的大语言模型。但单纯依赖通用大语言大模型无法为创新企业提供持续的竞争力，垂直领域的数据、面向场景的模型优化、工程化的解决方案，才是将人工智能落地、建立竞争优势的关键。大模型技术发展推动多模态模型不断升级迭代。伴

44、随深度学习、强化学习、迁移学习等多种技术的发展，多模态大模型正在成为人工智能领域的发展趋势之一。多模态大模型能够实现图像、文本、语音等模态之间的统一表示和相互生成，具有广泛的应用范围，覆盖自然语言处理、图像识别、语音识别、多媒体处理等诸多领域，诸如GPTT等多模态大模型，可以在很多专业领域表现出类人类的水准，实现了突破性发展。未来，基于技术的不断突破，多模态将持续拓展各行业场景下的融合应用。我们看到，头部厂商持续布局多模态大模型领域，在注重模型整体通用性的同时，也在不断提升子领域的优化体验和技术升级。大模型可通过自主学习和改进，不断刷新任务完成的质量。参数越多，模型可以学习到的特征和模式也会更

45、多，但是，智能涌现不仅只与参数量有关，还受到模型设计,数据集选择、训练方法、模型架构、任务类型和计算资源等多重因素的影响。因此，在实践中，企业需要根据具体的任务和模型设计来决定参数量的大小，算力服务商需要从硬件、软件和算法等多个维度提供全面服务，共同提升大模型的准确性和可用性。以Megatron-DeePSPeed框架为例，Megatron是基于TranSformer开发的、采用混合精度训练的模型，支持并行多节点训练，通过与DeePSPeed深度学习加速优化库结合，创建了一个支持数据并行(DP),张量并行(TP)和流水线并行(PP)的3D并行系统，这使得千亿级参数量以上的大规模语言模型的分布式

46、训练变得更简单高效和有效。持续提升人工看能框架技术的易用性和灵活性，加速人工智能在多元化应用场景的落地。人工智能所面对的下游行业纷繁复杂，应用场景多种多样，需求千差万别。定制化的开发模式造成项目开发成本高，开发周期长，难以适应变化。大模型通常具有更强的泛化能力，可在一定程度上解决模型定制的问题。预训练大模典成为人工智能产业发展的重要选择，即：基于海量行业数据和知识，通过强大算力集群，预先训练基础模型，并结合应用场景的数据和各类需求，通过“预训练大模型+任务微调”的方式，进行更高效率的“工业化”开发。在实现软硬件协同优化、分布式计算以及云边端全场景部署等目标过程中，市场也对人工智能框架技术提出更

47、高的要求。此外，开源框架技术作为人工智能领域的操作系统，具有核心地位。人工智能开发者对于开源框架的依赖度非常高，尤其关注框架技术的易用性、稳定性、灵活性和可扩展性。开源框架虽然可以简化模型的构建，但要实施一个大型人工智能应用，不仅需要开源框架能力，还需要对数据采集、整理、模型训练，以及训练后的模型调优、迭代，乃至云边协同等一系列环节进行投入。当大模型在小算力设备上运行时，还需要将模型进行压缩，诸如此类的应用需求需要一整套工具来支持，这将促进具有一定壁垒性的开发工具链的打造。这意味着，开发者或用户在使用某一开发工具落实大模型项目时，就会更倾向于使用配套的框架技术。从长期上来看，这将促成框架技术的生态化发展，市场玩家将会越来越聚焦，其他技术产品的市场占有率会越来越少。目前，全球来说，TenSorFioW具有广泛应用基础，PyTOrCh市场接受度持续上升，在产业界生产环境中继续呈现出后来者居上的竞争态势；在中国，主流的深度学习框架以百度飞桨PaddlePaddlC等为代