飞凌微新一代端侧SoC助力车载智能视觉升级

在上篇“端侧AI应用兴起，安谋周易NPU加速算力升级”中，我们介绍了芯片IP供应商安谋中国的周易NPU，及其在智能汽车领域的应用。本篇我们介绍一家中国汽车芯片公司飞凌微，以及他们研发的几款AI智能视觉处理芯片。本篇总结自飞凌微首席执行官邵科先生在E维智库第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上的演讲，标题是“新一代端侧SoC与感知融合方案，助力车载智能视觉升级“。

思特威是一家国内上市公司，专注于图像传感器的研发与销售。飞凌微是思特威全新子品牌，同时也是一家全新的子公司，旨在利用思特威在图像传感器技术和市场上的优势，在端侧应用上结合数字SoC，实现更好的方案融合。邵科于2016年加入思特威，历任算法总监与资深应用总监、汽车芯片部副总裁，现任飞凌微首席执行官兼思特威副总裁，负责公司汽车电子产品规划、方案设计研发和市场销售。

在此次论坛上，邵科主要介绍了端侧AI处理优势及主要应用场景，飞凌微现在已经发布的M1智能视觉处理芯片系列，以及M1系列芯片在车载视觉中的应用。

一，        端侧AI处理优势及主要应用场景

近十几年，图像传感器和AI算法技术进展迅猛。首先，图像传感器和摄像头成就了安防监控、手机照相、家用网络摄像头、扫地器和人脸支付等各种应用。然后，卷积神经网络（CNN）的发展让视觉系统更加智能，促进了越来越多的智能化应用落地。

智能化系统离不开数据采集和处理。数据的采集和处理有三种方式。一是在端侧采集数据，在云端处理。此方式的缺点是实效性较低。二是在端侧采集数据，在本地中央计算机处理AI数据，此方式目前被普遍采用。三是在端侧采集数据，同时在端侧直接处理。此方式挑战性较强，但好处也很明显。首先，因为省略了大数据传输过程，所以它的延时较低，同时可靠性也会更强。另外，本地数据处理能够保障数据安全和个人隐私，如车内人员的图像信息不会被泄露。

端侧AI处理的潜在应用场景很多，如智能车载设备、智能家居、物联网、机器视觉等。目前，业界试图在端侧完成感知处理，或者与中央计算机配合进行预处理，然后将结果发送到云端形成更加有效的处理。

二，        飞凌微已发布的M1智能视觉处理芯片系列

邵科说，基于市场需求及应用方案上的思考，飞凌微今年推出了M1系列三款产品。一颗是车载高性能图像信号处理器（ISP），两颗是车载带有端侧视觉感知预处理能力的轻量级SoC。这三颗芯片都具有业内最小的BGA 7mm*7mm封装。

高性能ISP M1芯片能够处理一颗800万像素摄像头的图像数据，或者同时处理两颗300万像素摄像头的图像数据。它可用于ADAS、影像处理和电子后视镜等。ISP是飞凌微多年自研的技术，具有高动态范围（HDR）和优秀的暗光性能，不惧阳光和车灯照射，可应付地下车库等幽暗环境。
M1Pro是在高性能ISP之外加入了轻量级的CPU和NPU的算力，在处理图像的同时能够去实现一定轻量级的AI应用，如人脸识别和姿态识别等。其中的NPU是飞凌微自研的0.8TOPS算力神经网络处理器。

M1Max的算力是M1Pro的两倍，能够在端侧处理更多的数据。M1Pro可以实现驾驶员监测（DMS）功能，或者乘员监测（OMS）的功能，而M1Max可以同时实现两种功能。



三，        M1系列芯片在车载视觉中的应用

邵科介绍说，M1系列芯片在车载视觉中的应用包括DMS、OMS、电子后视镜和人员/物体检测等。

目前，L2或L3级别的辅助驾驶都需要驾驶员能够在特定情况下接管车辆。驾驶员的状态关乎驾驶安全，所以需要对驾驶员的疲劳状态进行监测。装配DMS已经是欧洲强制性法规，国内法规预计很快跟进。飞凌微能够在端侧实现该功能，也就是在模组端完成视觉数据处理，然后输出已经处理过的有效数据。这样做的一个好处是，新上市的车辆很容易通过替换原来的模组来集成新的功能。DMS在端侧处理非常简单，一颗思特威图像传感器加上飞凌微的M1Pro就可以实现大部分的功能。

驾驶舱内的另一个应用是OMS。前些年，一些商用和运营车辆采用OMS来监测乘客状态，现在则更多用来拍照或录制视频，同时也可实现以手势识别等感知应用。思特威的500万像素图像传感器结合M1 ISP形成一套模组，可以提供舱内娱乐、拍照等等应用，同时也可以输出IR图像给后面的算法去做识别。OMS可检测是否有儿童遗落在车内，很可能成为法规强制性配置。

电子后视镜是一种颇具前景的应用，它可以克服传统后视镜在夜间的显示缺陷。从去年开始，法规允许电子后视镜替代物理后视镜。图像传感器配合高性能ISP能够实现更好的显示效果。

第四个应用是在后视摄像头上增加识别算法，在倒车的时候能够检测人员和物体，从而避免事故的发生。将图像传感器与端侧SoC进行组合，在模组端就能实现一个非常轻量化的应用方案。

邵科最后说，端侧AI不局限于车载，很多其他行业也会有非常多的落地的场景，如工业自动化和智能家居。飞凌微在持续开发一些新系列的SoC产品，与图像传感器实现更紧密的结合，使得端侧AI应用于我们生产生活的方方面面。