阿里云全面升级GPU云服务 多GPU推理服务性能最大100%提升

【太平洋科技快讯】近日，阿里云宣布对其GPU云服务进行重大升级，通过全新优化的GPU套件，多GPU推理服务性能实现最大100%的提升。此次升级旨在加速AI大模型应用的落地，使开发者和企业更高效地开发和部署AI应用，加速大模型应用的落地。

升级后的GPU云服务，通过优化DeepNCCL通信库，在同等硬件环境下，Token输出吞吐提升14%，首Token时延降低15%。这意味着，在资源不变的情况下，业务处理能力翻倍，大幅提升了AI推理任务的处理效率。

同时，阿里云推出ACK云原生AI套件，专注于提升GPU调度、AI任务调度、训练数据加载等关键环节的性能。该套件可提升训练数据读取性能30%以上，降低大模型推理服务冷启动时延70%以上，有效提升AI应用的运维效率。

以国产AI绘画工具海艺AI为例，通过采用ACK调用阿里云GPU云服务，模型切换无感，推理耗时从平均20秒降至3.95秒，整体性能提升至少50%。

根据最新的Forrester 全球AI基础设施解决方案研究报告显示，阿里云综合产品能力指标位居全球第二，已成为中国AI大模型的公共底座,众多知名企业和机构已在其平台上训练大模型并提供服务，如小鹏汽车、联想、德勤等。