大联大世平集团推出基于MemryX和瑞芯微产品的边缘AI多路物体检测方案

大联大旗下世平推出基于MemryX MX3 AI推理加速卡和瑞芯微（Rockchip）Orange Pi 5 Plus模块（RK3588）的边缘AI多路物体检测方案。


图示1-大联大世平基于MemryX和瑞芯微产品的边缘AI多路物体检测方案的优势示意图

随着物联网、大数据、云计算等技术的飞速发展，边缘AI作为人工智能领域的一个重要分支，正逐渐成为推动智能应用普及和深化的关键力量。边缘AI将AI算法直接部署到边缘设备上，在靠近数据生成源的地方进行处理和推理，可极大地提升数据处理的实时性和效率，同时减少数据传输的延迟和成本。借助边缘AI的优势，大联大世平基于MemryX MX3 AI推理加速卡和瑞芯微Orange Pi 5 Plus模块（RK3588）推出边缘AI多路物体检测方案，旨在实现高效、低延迟、高性价比的智能监控和物体识别应用，满足多样化场景需求。


图示2-大联大世平基于MemryX和瑞芯微产品的边缘AI多路物体检测方案的场景应用图

MemryX是一家专注于边缘AI处理解决方案的半导体公司，致力于为各种工业和消费应用场景提供高性能、低功耗的AI处理能力。本方案搭载的MX3 AI推理加速卡将四个MX3 AI芯片封装到M.2 2280扩展卡上，能够轻松集成到配备PCIe 3.0 M.2插槽的系统中，MX3 AI芯片能够提供每瓦5 TOPS的算力性能，并且支持浮点数（Brain Floating Point）运算来确保用户的模块准确度。每颗芯片内置10.5MB的静态随机存取存储器用于访问模块，不会占用主系统的资源，最多可以串联16颗芯片来扩展性能。借助MX3 AI芯片的性能，MX3 AI加速卡具备高达20 TOPS的卓越计算性能，可以为各类工业电脑带来即插即用的便捷体验。


图示3-大联大世平基于MemryX和瑞芯微产品的边缘AI多路物体检测方案的方块图

配合MemryX的强大运算能力，本方案能够轻松实现多路物体检测应用。开发者仅需利用普通的USB摄像头或通过网络串联的方式，即可轻松实现诸如停车场管理系统、智能停车柱、智能交通监控、商场人流监测以及居家全方位意外检测等多种监控功能。另外，为加速研发进程，MemryX还提供Developer Hub开发环境，使开发者能够便捷地将TensorFlow Lite、ONNX、PyTorch、Keras等主流深度学习框架的模块转换为MX3 AI芯片所需的DFP框架，从而快速完成AI应用设计。

核心技术优势：
        采用浮点数BF16进行计算，确保模块准确度：
模块设计以BF16（Brain Floating Point 16）为基础进行运算，相较于传统的浮点数格式，BF16能够在大幅减少内存使用量的同时，提供接近FP32的计算准确度。这使其特别适合用于人工智能和深度学习模型的推理与训练场景，确保结果的精确性。
        不占用系统内存：
模块运行时采用独立内存的架构，无需占用主系统的RAM资源，有效降低对系统整体性能的影响。这种设计特性确保模块在高效运行的同时，仍能为其他应用程序预留足够的系统资源。
        高度可扩展性：
支持连接多达16个模块，通过模块化设计实现高扩展性。这使得系统能够根据需求灵活扩展计算能力，以应对不同场景的计算需求，例如需要更高性能的数据中心或边缘计算。
        最佳数据流优化，最大限度减少数据移动：
模块内部针对数据流进行了高度优化设计，通过智能路由和缓存机制，能够最大程度地减少数据在运行过程中的移动频率，从而提升处理性能并降低延迟。此外，这样的设计也有助于降低能耗，进一步增强系统的运行效率。
        高性价比与低功耗解决方案：
将主平台Orange Pi 5 Plus搭配MemryX MX3 AI芯片，即可升级为更高阶的AI平台，每秒能够运行约480帧（YOLOv8）的物体检测；且MX3拥有5 TOPS/W的性能表现，整套多路物体检测解决方案仅耗电约14W。
        多路应用的新概念：
相较于近年来兴起的边缘计算，将其概念套用到区域性场景或许是一个新颖且能够大幅降低成本的解决方案。利用轻松易得的摄像头，再搭配一台智能工业主机，即可实现许多应用，并且能够对前端的摄像头进行任意更换与配置。

方案规格：
        主平台开发板采用瑞芯微RK3588平台为基础，搭载四颗Cortex-A76处理器与四颗Cortex-A55处理器，并提供高性能图像处理器Arm Mali-G610与神经运算处理器NPU等强大核心架构。
        I/O Board开发板提供强大的周边配置，如Gigabit Ethernet千兆以太网、USB Type A/C 3.0通用串行总线接口、HDMI高清多媒体接口、M.2 E-Key传输接口、M.2 M-Key传输接口，并能够通过扩展的40 pin针脚来模拟常用的UART、I2C、SPI、CAN等信号。
        MemryX MX3 AI芯片提供强大的AI运算能力（20 TOPS），以PCIe Gen3 M.2 2280 M-Key接口为主，其M.2加速卡搭载四颗MX3 AI芯片，每颗芯片能够提供5 TOPS/W的性能，并内置10.5MB的静态随机存取存储器用于存取模块。支持Linux与Windows两大操作系统，并提供丰富的软件资源供开发者使用，能够直接移植Tensorflow、ONNX、Pytorch、Keras等热门的深度学习框架。