微软
在业界传闻许久後,昨日在Ignite大会上,微软终於公布自制晶片。
微软一口气公布二个自行设计的晶片,一为Microsoft Azure Maia 100 AI加速器,专为执行AI及生成式AI而设计,二为Microsoft Azure Cobalt CPU,为执行Azure云端上通用型运算作业的Arm架构处理器。
微软强调,这些晶片是微软从晶片、软体与伺服器到机架、冷却系统100%全自制愿景的最後一项元素。这些晶片预计明年初将出货到微软资料中心,将先用於执行Copilot(Bing Chat)AI及Azure OpenAI Service。
Maia 100为Maia加速器系列中的第一款,是5奈米制程。微软指出,Maia 100晶片上有1050亿颗电晶体,将用来执行Azure上最大的内部AI负载,目前也已用於执行OpenAI大型模型。Cobalt 100是64-bit处理器,一颗裸晶上有128核心。微软表示,比Azure使用的其他ARM架构晶片耗电量少40%。Cobalt 100也是Cobalt系列的第一款,目前已用於执行Teams及Azure SQL服务。
微软表示,自制晶片可确保所有元素都是为了微软云端和AI作业需求,这些晶片将安装於客制化伺服器主机板上,置入专为微软资料中心特制的机架,而这硬体将整合微软和合作夥伴共同开发的软体。最终目标是一台Azure硬体系统,具备高度弹性,又能满足省电、效能及成本的目标。
微软昨日并宣布Azure Boost正式推出。这系统可将储存和网路功能由主机伺服器卸载到专用硬体上,以提升速度。此外,为了配合客制化晶片,微软也宣布多家合作夥伴,以为Azure客户提供更多基础架构选择。
微软并预览为Nvidia H100 Tensor Core GPU打造的NC H100 v5 VM系列,适合中型AI训练和生成式AI推论作业。微软也将Nvidia H200 Tensor Core GPU列入明年阵容,以支援大型模型推论且不会增加延迟性。
微软指出,还是会持续和Nvidia及AMD合作Azure用的晶片。微软计画明年再增加Nvidia最新Hopper GPU晶片,以及AMD GPU MI300。
微软也是云端巨擘中,最後一个加入自制晶片的。Google 2016年就推出了Tensor处理单元(TPU),Amazon更设计了Graviton、Trainium及Inferentia等晶片。