Imagination GPU为边缘智能提供高效率的加速

作者：Imagination

作为奕斯伟计算的重要合作伙伴，Imagination 公司受邀出席了9月10日在北京亦庄举办的“2024奕斯伟计算开发者伙伴大会”，来自Imagination英国总部的专家在大会上发表了主题为《用RISC-V CPU + PowerVR GPU迎接边缘生成式AI的到来》的演讲。

在人工智能（AI）浪潮中成立的奕斯伟计算一直致力于研究和开发创新的计算架构，并通过与Imagination这样的全球领先处理器技术和IP产品提供商合作，针对多模态AI大模型技术带动多元化人工智能应用加速涌现的新需求，开发了面向边缘智能和AI PC等多种应用场景的EIC77系列芯片。这些AI SoC芯片利用了RISC-V计算架构开放、灵活、精简、可拓展的优势，结合了该公司自研的NPU以及Imagination的GPU，成为了全球首批可商用的基于RISC-V的高性能、低功耗的边缘侧、端侧AI推理芯片。

大会中，Imagination公司专家介绍了与奕斯伟计算的合作成果：作为奕斯伟计算向全球发布的EIC77 系列边缘智能SoC中的一款产品，全新的EIC7700X 器件基于 12nm 工艺，采用了 Imagination 的 IMG A 系列 GPU IP；该 GPU 拥有 128 宽 ALU 单元和专用 AI 处理通道，可提供 0.25 TFLOPS、1 TOPS 和 8 Gpixels 的性能。EIC7700X也搭载了奕斯伟自研的NPU单元，可提供19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16 算力。EIC7700X为边缘智能提供了强劲的计算和图形处理能力，可支持大语言模型，其在深度神经网络（DNN）推理上的算力高达13.3TOPS INT8，可满足分类、检测、分割、追踪等各类需求。



谈到边缘计算的应用多元化与架构创新，Imagination公司专家表示：首先，我们需要确保边缘计算架构能够进行有效的、可持续的扩展，在系统资源、电能和带宽等资源稀缺，以及不同应用场景对资源需求各不相同的情况下，这一点在边缘计算领域更为重要。因此，灵活通用的异构计算架构才能确保我们的边缘智能解决方案不会因为碎片化而无法实现，这要求我们拥有的模型也将是通用的、可持续的，同时才能保障边缘系统中内计算核的数量可以合理地缩减以满足功耗要求。

为了确保足够的通用性以运行目前的工作负载和未来的工作负载，就需要对边缘智能SoC中计划采用的处理器性能和需求进行充分的评估，大家往往首先看的是两个潜在的选择。一个选择可以是 NPU或者在Imagination的产品组合中被称为AI，这类硬件的每瓦最高性能非常出色，但为了达到更高的性能，使用NPU就需要牺牲一些灵活性。第二种选择是 GPU，其优点是可以提供可编程的、可扩展的硬件加速能力，并可根据应用方向上的需求来选择相应的GPU去支持所需渲染和计算能力。

虽然这两种器件类型各有优势，边缘智能最终需要的是能够完美适用于应用的、在高性能和可扩展性，定制化和通用化中做出最明智决策的系列解决方案。从我们已有的实践和Richard Sutton的《苦涩的教训》中大家可以看到，人们在边缘人工智能中希望能够利用通用的硬件和软件解决方案，尽量避免使用特定的解决方案，因为人工智能一直在发展，所有的解决方案都要确保与时俱进。

在确定了要用更加通用的硬件和软件来推动基础模型的开发和应用这一方向之后，越来越多的计算技术正在加速诸如EIC77这样的边缘智能芯片走向更广泛的应用：一方面，RISC-V正在向机器学习的核心领域进发，不仅是更多RISC-V CPU厂商在向此方向努力，而且RISC-V的相关标准也在进一步完善，使RISC-V成为进入AI领域的一条开销最低的途径。另一方面，边缘人工智能软件也在摆脱其他AI应用受制于CUDA生态的局限，越来越多诸如OneAPI这样的应用程序接口可支持工作负载的开发和运行，以及诸如UXL等行业组织也提供了将CUDA上的AI工作负载转化为SYCL为在 GPU 或 CPU 上运行的移植解决方案。

展望未来，Imagination将继续支持奕斯伟计算倡导的RISC-V数字基础设施（RISC-V Digital Infrastructure）生态，在GPU 被用于越来越多和越来越广泛的工作负载，以及支持越来越多的基础模型和算法的同时，与更多的合作伙伴在边缘计算、AI PC和AI加速等领域中，共同打造更多高性能的智能产品。