英伟达在IEDM 2024大会上介绍未来AI加速器设计，计划引入硅光子技术

近日，在2024 IEEE国际电子设备会议（IEDM）上，全球领先的图形处理与人工智能计算技术提供商英伟达（NVIDIA）展示了其对未来人工智能（AI）加速器的创新设计。

据英伟达介绍，其未来AI加速器的设计将引入硅光子技术（SiPh）作为I/O器件，这一革命性的变化将显著提升数据传输速度和能效，同时减少模块之间的信号传输距离，从而改善整体性能。硅光子技术的引入，标志着与传统互连技术相比的一次重大飞跃，传统互连技术一直受到铜制材料自然特性的限制。

英伟达的新架构采用了垂直供电和多模块设计，集成了硅光子I/O器件，并运用了3D垂直堆叠DRAM内存。在这一设计中，每个AI加速器复合体将包含四个GPU模块，每个GPU模块将与六个DRAM内存模块垂直堆叠，并配备三组硅光子I/O器件。这种堆叠DRAM内存与GPU模块之间实现了直接电气连接，类似于AMD的3D V-Cache技术，但规模更大、集成度更高。

具体来说，新架构需要12个硅光子I/O器件来实现芯片内和芯片间的连接，每个GPU模块有三个连接，每层有四个GPU模块。这种设计不仅提高了带宽和能效，还有助于优化数据流，提升可扩展性和性能。

英伟达表示，硅光子I/O技术的大规模制造将是一个特殊的挑战，预计每月需要生产超过100万个这类器件才能满足需求。同时，英伟达还在探索创新的解决方案，以解决模块堆叠带来的散热问题，并可能引入更先进的材料和技术来优化热管理。

尽管面临诸多技术挑战，英伟达仍表示，其新型AI加速器设计距离商业化还需要一段时间，预计将在2028年至2030年之间投入使用。