2023年ChatGPT半导体行业研究报告.docx

2023年ChatGPT半导体行业研究报告导语2017年谷歌推出一种用于自然语言理解的新型神经网络架构一一Transformers模型，不但能生成质量上乘的语言模型，同时具有更高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，可以更容易地针对特定领域做定制修改。2018年以来，国内外超大规模预训练模型参数指标不断创出新高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模型。国外厂商自2021年开始进入“军备竞赛”阶段。2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始逐渐走进人们的视野，成为人工智能领域的一大焦点。2019年，OPenAl推出15亿参数的GPT-2,能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿参数的Megatron-LM,谷歌推出110亿参数的T5,微软推出170亿参数的图灵Turing-NLGo2020年，OPenAI以1750亿参数的GPT-3,直接将参数规模提高到千亿级别。2021年1月，谷歌推出的SwitchTransformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。2020年10月，微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。2021年12月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM,在7项小样本学习领域的性能超过GPT-3oChatGPT背后的公司为OPenAI,成立于2015年，由特斯拉CEO埃隆马斯克、PayPal联合创始人彼得蒂尔、Linkedin创始人里德霍夫曼、创业孵化器YCombinator总裁阿尔特曼（SamAltman）等人出资10亿美元创立。OpenAI的诞生旨在开发通用人工智能（AGl）并造福人类。ChatGPT中的GPT（GenerativePre-trainedTransformer）,是OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天机器人。截至2022年12月4日，OpenAI估计ChatGPT用户已经超过100万；2023年1月，ChatGPT用户超过1亿，成为迄今增长最快的消费应用程序。2023年2月，OpenAI开始接受美国客户注册一项名为ChatGPTPIUS的高级服务，每月收费20美元；此夕卜,OPenAl正计划推出一个每月42美元的ChatGPT专业计划，当需求较低时可以免费使用。OpenAI预计人工智能科学研究要想取得突破，所需要消耗的计算资源每34个月就要翻一倍，资金也需要通过指数级增长获得匹配。在算力方面，GPT-3.5在微软AzureAI超算基础设施（由V100GPU组成的高带宽集群）上进行训练，总算力消耗约3640PF-days（即每秒一千万亿次计算，运行3640天)。在大数据方面，GPT-2用于训练的数据取自于Reddit上高赞的文章，数据集共有约800万篇文章，累计体积约40G；GPT-3模型的神经网络是在超过45TB的文本上进行训练的，数据相当于整个维基百科英文版的160倍。按照量子位给出的数据，将一个大型语言模型(LLM)训练到GPT-3级的成本高达460万美元。最新的GPT3.5在训练中使用了微软专门建设的AI计算系统，由1万个英伟达V100GPU组成的高性能网络集群，总算力消耗约3640PFdays(PD),即假如每秒计算一千万亿(1020)次，需要计算3640天。采购一片英伟达顶级GPU成本为8万元，GPU服务器成本通常超过40万元。对于ChatGPT而言，支撑其算力基础设施至少需要上万颗英伟达GPUA100,一次模型训练成本超过1200万美元。2020年全球AI芯片市场规模约为175亿美元,英伟达份额超80%伴随着人工智能应用场景的多元化，新算法、新模型不断涌现，模型中的参数数量呈指数级增长，对算力的需求越来越大。OpenAI预估算力需求每3.5个月翻一倍，每年近10倍。根据WSTS数据，2020年全球人工智能芯片市场规模约为175亿美元。随着人工智能技术日趋成熟，数字化基础设施不断完善，人工智能商业化应用将加落地，推动Al芯片市场高速增长，预计2025年全球人工智能芯片市场规模将达到726亿美元。未来，随着自动驾驶级别的不断提高，对于Al芯片的需求正不断增长。L2和L3+级汽车都会用AI芯片来取代分立的MCU芯片进行自动驾驶相关的计算工作。WSTS预计AI芯片的数量将从2020年的899万套增长至2025年的2380万套。据IDC数据，2021年，中国加速卡出货量超过80万片，其中英伟达占据超过80%市场份额，此外其他市场参与者还包括AMD、百度、寒武纪、燧原科技、新华三、华为、Intel和赛灵思等。2020年的采购主要集中在搭载VlO0、V100S.AlOO和T4的加速服务器上,此外英伟达的A10,A30、A40和Atlas系列加速卡在部分领域已经开始使用。据IDC数据，2021年，全球AI服务器市场规模达156亿美元,同比增长39.1%；IDC预测,2025年全球AI服务器市场规模将达317.9亿美元，年复合增长率为19%。IDC报告显示，2021年中国加速服务器市场规模达到53.9亿美元（约350.3亿人民币）,同比+68.6%；预计到2026年将达到103.4亿美元。年复合增长率为19%,占全球整体服务器市场近三成。根据IDC数据，2021年，GPU服务器以91.9%的份额占国内加速服务器市场的主导地位；NPU、ASIC和FPGA等非GPU加速服务器占比8.l%0IDC预计2024年中国GPU服务器市场规模将达到64亿美兀。从行业的角度看，互联网依然是最大的采购行业，占整体加速服务器市场近60%的份额；2021年，用于推理工作负载的加速服务器占比已经达到57.6%,预计至IJ2026年将超过60%o国内GPU产品梳理以及和国外产品的对比加速计算GPU领域，国内壁仞科技发布的BRlOo产品，在FP32单精度计算性能实现超越Nvidiaaioo芯片，但是不支持FP64双精度计算；天数智芯推出的天垓100的FP32单精度计算性能实现超越AlOO芯片，但是在INT8整数计算性能方面却低于AlO0；海光推出的DCUZ100实现了FP64双精度浮点计算，但是其性能为AlOO的60%左右。因此，从高精度浮点计算能力来看，国内GPU产品与国外产品的计算性能仍或有一代以上差距。但是，GPU的表现不仅体现在硬件上，软件层面对于生态的布局尤其重要，目前国内企业多采用OPenCL进行自主生态建设，但这是需要大量的时间进行。对比AMD从2013年开始建设GPU生态近10年时间后才推出用于通用计算的ROCm开放式软件平台，我们认为国内厂商在软件和生态层面与英伟达CUDA生态的差距相较于硬件更为明显。虽然目前国内产品的计算性能和软件生态与国际厂商还有较大差距，但是，国内厂商依然在奋起直追，努力实现GPU国产化突破。其中包括龙芯中科、海光信息、壁仞科技、寒武纪、天数智芯等厂商均在研发或推出用于AI计算的GPGPUASIC等Al芯片,有望实现高端Al芯片的国产替代。