400-025-7877

AI服务器新风口——ChatGPT训练热潮

点击量:427 发布时间:2023-03-20

ChatGPT作为近日来人工智能领域内的一大热点,其对于算力的需求也引发了人们的注意力,因为GPT 模型训练需要大量算力支持, AI服务器的建设必不可少。可以预见,随着国内厂商陆续布局 ChatGPT 类似产品,GPT大模型预训练、调优及日常运营或将带来大量算力需求,进而带动国内AI服务器市场放量。

ChatGPT 算力需求场景包括预训练、Finetune及日常运营。从 ChatGPT 实际应用情况来看,从训练+推理的框架出发,我们可以将ChatGPT的算力需求按场景进一步拆分为预训 练、Finetune及日常运营三个部分。以GPT-3 175B模型预训练过程为例,据OpenAI统计,进行一次 GPT-3 175B 模型的预训练需要的算力约 3640 PFlop/s-day。我们假设以一台高算力AI 服务器进行计算,在预训练期限分别为 3、5、10 天的情况下,单一厂商需采购的 AI 服务器数量分别为 243、146、73台。

人工智能服务器,塔式工作站

如果再细分的话,ChatGPT需要的主要是AI训练型服务器和AI推理型服务器。从计算场景来看,随着计算架构从 PC 到云计算,到边缘计算,再到AI训练推理,服务器需求一直处在变化之中。例如单一服务器更加强调服务个体性能,包括稳定性、吞吐量、响应时间等。而云数据中心服务器对单个服务器性能要求下降,但更强调数据中心整体性能,如成本、快速部署和交付。边缘计算场景下,开始出现异构计算等复杂环境计算,对数据交互实时性要求有所提升,需要在边缘端设立单独的服务器设施。而 AI 服务器主要专为人工智能训练设计,数据类型以向量/张量为主,多采用大规模并行计算以提升运算效率。

和边缘计算服务器用 CES 模式取代 CS 模式不同,ChatGPT更多需求在于AI训练与推理,而在这些场景下,计算量及数据类型的变化导致CES很难满足集中大算力需求,计算架构回归CS,并向高效率并行计算演变。

随着AI模型日益复杂、计算数据量快速增长、人工智能应用场景不断深化,未来国内智能算力规模有望实现快速增长。IDC预计2022年国内智能算力规模将同比增长72.7%至 268.0 EFLOPS,预2026年智能算力规模将达1271.4 EFLOPS,2022-2026年算力规模CAGR将达69.2%。我们认为,AI 服务器作为承载智能算力运算的主要基础设施,有望受益于下游需求放量。

      坤前计算机作为专业的AI服务器生产商,也将把握住市场动向,加大在深度学习、推理训练领域的投入,研发出更多性能优异的服务器硬件设备,满足千行百业的算力需求。

返回顶部