来源:IT之家 12 月 11 日消息,AMD 早在 2021 年就制定了“到 2025 年将 EPYC 处理器和 Instinct 加速器的能效提高 30 倍”的目标。 根据 AMD 官方的说法,虽然还没到 2025 年,但他们现在距离这一成果已经只差临门一脚:配备最新 EPYC 9575F 和 Instinct MI300X 的机器相比 2020 年一台未公开的机器能效提高了 28.3 倍。 AMD 在测试中使用了 Llama3.1-70B(vLLM 0.6.1.post2、TP8 Parallel、FP8、连续批处理)模型,然后对比其推理性能的差异。 AMD 并未透露其测试中用到的这套 2020 年硬件规格,但很显然基于 Zen 2 系列的 EPYC 7002 处理器(单个 CPU 最多 64 核)以及基于初代 CDNA 架构的 Instinct MI100 加速器。 AMD 还表示,除了“给力”的硬件提升之外,这一成绩是通过架构改进和软件优化综合实现的成果,这是可以预料到的结果。 该公司最近刚推出了基于 CDNA 3 架构的 Instinct MI325X 加速器,配备了 288 GB HBM3E 内存子系统;AMD 明年还将推出基于 CDNA 4 架构的 Instinct MI355X,与 MI325X 相比性能(FP8 和 FP16)将提高约 80%。 除了 FP8 和 FP16 外,MI325X 还将支持 FP4 和 FP6 格式,其峰值性能将达到 9.2 PetaFLOPS(FP4),这对于许多大语言模型来说非常实用。也就是说,AMD 要想实现在 2025 年实现其计算平台能效提高 30 倍的目标并不难。 AMD 高级副总裁、AMD 公司研究员和产品技术架构师 Sam Naffziger 表示,“通过我们对硬件和软件协同设计中深思熟虑的方法,我们对实现 30x25 目标很有信心,并对未来充满期待,我们已经看到了在未来几年内实现大幅能效提升的有效途径。”
发表评论
2024-12-12 09:18:35回复
2024-12-12 10:41:42回复
2024-12-12 12:07:34回复
2024-12-12 09:52:16回复
2024-12-12 05:14:50回复
2024-12-12 03:52:42回复
2024-12-12 12:51:22回复
2024-12-12 11:43:46回复
2024-12-12 12:08:27回复
2024-12-12 09:10:13回复