旧文重温:爆火的AIGC当前最大瓶颈或是算力


AI训练所需算力指数增长,增长速度超越硬件的摩尔定律。

原文发表时间:2023-02-02

正文

最近AIGC领域催化不断,而随着ChatGPT大火之际,财通证券等指出,算力作为人工智能的“发动机”,已是行业当前最大的瓶颈,国盛证券也表示AIGC等应用的普及将带来巨大的算力市场。

具体来看,财通证券分析称,算力的瓶颈并不体现在算力的绝对大小,而在于实现该算力的成本,特别是在算法场景众多、迭代速度较快的AI领域。

此前,OpenAI联合创始人兼CEO曾在推特上表示,ChatGPT的运营费用高得“令人瞠目结舌”。在用户抛出问题之后,ChatGPT回应的每一个字,花的都是真金白银。

据悉,ChatGPT托管于微软云服务Azure上,目前微软对单个100 GPU的收费是每小时3美元,按照ChatGPT加载模型和文本的速度,生成一个单词的费用约为0.0003美元;而ChatGPT的回复通常至少有30个单词,因此ChatGPT每回复一次,至少花Open AI 1美分。

而摩根士丹利的分析甚至认为,ChatGPT的一次回复可能会花掉Open AI 2美分,大约是谷歌搜索查询平均成本的七倍。尤其考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。

AIGC应用将产生巨大的算力市场

根据早些时候OpenAI发表了一份研究成果表明,AI训练所需算力指数增长,增长速度超越硬件的摩尔定律

数据显示,自2012年至2018年,用于训练AI所需要的算力大约每隔3~4个月翻倍,整体呈现指数级上涨(而摩尔定律仅仅是18个月翻一倍)1。从2012年到2018年,训练AI所耗费的算力增长了30万倍,而摩尔定律在相同时间只有7倍的增长。

中信建投研报的数据也显示,此前用于AI训练的算力增长符合摩尔定律,大约每20个月翻一番;深度学习的出现加速了性能的扩展,用于AI训练的算力大约每6个月翻一番;而目前大规模模型出现,其训练算力是原来的10100

国盛证券表示,AIGC未来应用普及的背后,将产生巨大的算力市场。

以GPT-3为例,该模型有着多达1750亿的参数,训练所需的算力高达3650PFLOPS-day。按照Lambda的测算,以V100理想状态下28 TFLOPS的算力和最低3年起云计算的成本,完成训练GPT-3需要花费460万美元,而下一代GPT-4的参数将更多。

国盛证券表示,尽管AI模型往往会选择开源,但数据集和训练成果是一个团队的内部资产,这意味着每个AI产品都需要支付自己的训练成本。现在大部分创业团队都是布设在云端,因为单独的算力集群很贵,目前A100高端产品大概在6-9万元,1000张A100卡加上CPU、硬盘、存储、机房供电等配套设施的硬件投入将近1亿。在未来AIGC随着B端和C端的商业化落地的实现,算力集群的建设和云服务都会收益,同时考虑到英伟达A100、H100出口受限,相关国产算力芯片将有机会获得增量市场。

算力行业还有元宇宙+数字经济催化

此前科技巨头英特尔曾发布过一个元宇宙相关的声明,英特尔表示,看好元宇宙的可能性,但有一个关键问题还没有解决——几乎没有足够的计算能力,其表示今天的计算、存储和网络基础设施根本不足以实现这一愿景,而要想实现真正的元宇宙,我们目前的计算能力需要再提高1000倍。

此外,据华西证券研报,数字经济催化下,智能算力需求稳定增长。兴业证券表示,数字经济时代,算力是国别竞争能力高低的核心指标。

近日,IDC与浪潮信息联合发布《2022-2023中国人工智能计算力发展评估报告》,文章指出,中国人工智能计算力继续保持快速增长,2022年智能算力规模达到268百亿亿次/秒(EFLOPS)。

IDC预测,未来五年中国智能算力规模将持续高速增长,2021年中国智能算力规模达155.2 EFLOPS,预计到2026年将达到1271.4 EFLOPS。

相关产业链

据《中国算力网络全景洞察白皮书》,算力是数字化时代的基础设施,也是推动数字经济向前发展的核心动能。需求侧科技进步与产业数字化、供给侧算力技术迭代共同驱动算力发展。

兴业证券研报,

算力的第一个层次是算力的“基础设施建设”高性能芯片、服务器、处理器、数据中心、网络等基础设施建设为算力、应用以及产业发展提供可持续发展的保障。

算力的第二个层次是应用,得益于算力水平的不断提升,未来云计算、大数据、人工智能、物联网、5G等应用都将蓬勃发展,而这些应用的普及又带来计算方法的革新,提高计算效率,拉动算力发展。

算力的第三个层次在于与实体经济的融合,赋能数字经济各行业的数字化转型升级。工业互联网、金融科技、智能驾驶、智能医疗、智能制造、智慧城市、高端装备、可穿戴设备、个人智能终端、网络安全等产业数字化进程不断加深,新的需求以及产生的大量数据,又为应用的发展提供了动力。

*免责声明:文章内容仅供参考,不构成投资建议

*风险提示:股市有风险,入市需谨慎

    扫码下载APP

    微信公众号二维码 公众号
    用户反馈
    回到顶部