Kneron KL630 基于耐能智慧神经网路架构的超高弹性配置之AI 相机应用方案

Kneron KL630系列芯片采用TSMC 28nm先进技术节点，是专为各种专业和消费IP摄像机设计的新一代SoC，包括安全摄像机、家庭摄像机、视频门铃摄像机、防抖摄像机、180°和360°全景摄像机，以及作为家用电器和机器人相机。KL630系列芯片支持快速开发高质量和多镜头相机应用程序，提供多达 4 通道视频输入、独立的高级多 ISP 管道（包括多曝光高动态范围融合）以及专门的视频质量增强功能，适用于多个宽-角度镜头和传感器，加上片上去扭曲、拼接和混合，所有这些都用于高质量的实时全景摄像机视频处理。其中内钳Kneron 第三代神经网路架构内核，因此即时反应并分辨特定物件，减低误判率。整体方案特点:
[*]可重构NPU
耐能是可重构NPU领域的领导者，在行业创新提出动态存储DMA提升记忆体访问效率，以及动态支持同一个神经网路的不同数据精度需求，使得NPU芯片有ASIC高性能而又不牺牲数据密集型算法的可编程性。凭借独特创新的架构和优异的性能，耐能团队获得IEEE CAS 2021年Darlington最佳论文奖。耐能第4代可重构NPU可以支持同时运行CNN和Transformer网路，既可做机器视觉，也可运行语义分析，且运算能效优异，为终端用户提供更高性能、低功耗以及低成本的解决方案，可适用于各种终端设备的AI应用。 与仅面向特定应用的普通AI模型不同，耐能的可重构人工神经网路（RANN）技术更加灵活，可满足不同应用需求并适应各种计算体系架构。 影像辨识软体同硬件产品具有的特点一致，耐能的AI模型与算法除了具有低延迟、高算力和强性能等特点外，还可平衡性能、模型大小和复杂性。


耐能轻量级图像识别算法主要包括人脸识别、身体与手势识别、物体与场景识别等。在开发的标准SDK的释放，就包括了这些模型。
第五代 ISP可以记录具有可感知细节、真实色调层次和更低噪声的图像和视频。其特点如下:
[*]“Color Consistent”技术动态补偿，减少颜色不连续和强度
[*]“HDR”技术在高对比度场景中提供更清晰的细节，呈现更丰富准确的色彩呈现，让真实世界的视觉体验更加逼真。
[*]“Smart Edge Enhancement”技术改善了由于镜头和传感器的轻微错位而导致的局部图像模糊（失焦）
[*]“多镜头和传感器 ISP”技术可补偿由于生产差异而从多个镜头和传感器源拼接和/或融合的视频的颜色和亮度偏差
智能 HEVC 编码器尽可能显著减少无用或不重要的数据，并在不中断网络带宽的情况下保持高质量的视频。
[*]具有动态 ROI、GOP、FPS 和降噪的最新发展，可智能检测感兴趣区域，尤其是动态场景中的运动量；以不同的强度应用降噪；并相应地调整图片组和帧率，以在不丢失每个重要细节的情况下实现出色的比特率节省
[*]与视频监控应用中的 H.264 编码器相比，智能 HEVC 编码器可实现极低的比特率，从而节省高达 60% 的网络带宽和本地存储成本
[*]鱼眼引擎去扭曲、拼接、混合
支持180°/360°多通道鱼眼去扭曲引擎引入了一种创新方式，结合了高性能硬件加速鱼眼去扭曲器，允许实时去扭曲过程以显著节省 CPU 负载，并灵活支持各种鱼眼的几何校正/广角镜头提供业界领先的全景视频形成质量。去扭曲
[*]支持多达 4 路视频输入
[*]基于像素/块的转换的算法优化
拼接和混合
[*]基于特征的匹配
[*]几何模型拼接
[*]补偿不同传感器的颜色偏差
示意图如下
智能视频分析
AI On-Device”是基于神经网络的设计，实时分析实时视频的视觉特征，根据经过训练的人（尤其是人脸）、宠物、汽车和任何感兴趣的对象进行分类，以进行目标检测以及认出，以便允许最终客户拥有更好的隐私保护、数据本地化和更低的数据访问延迟，以响应在设备站点上运行的任务。
[*]无缝定制与内部 ISP 和去扭曲引擎的集成，即使使用广角/鱼眼镜头也能实现高精度检测和识别
音频增强和智能创造性地应用机器学习方法来增强语音和音频信号处理。VATICS 音频技术激发了新颖而优雅的解决方案，以解决该领域最具挑战性和长期存在的技术难题，例如噪声抑制、声学回声消除、自动增益控制、动态范围控制等。优点包括，
[*]具有竞争力的性能，占地面积更小。与市场上的解决方案相比，最多减少 30% 的计算资源
[*]较低的硬件设计限制
[*]基于机器学习的内部引擎减少了巨大的人工调整工作
高效能的应用工具PQ Tool 跟 Fisheye Correction ToolPQ Tool，提供快速完整的影像调整工具

Fisheye Correction Tool可以及时调整及时检视
KL630系列芯片提供设计上的弹性，可以基于PCB版端的设计考量，有支援外挂记忆体与内建记忆体的选型，包括了多个系列，如下表所列: KL630系列之AI相机 (安防、家用、其他应用)的选型表如下表:

KL630系列之AI相机 (行车纪录器)的选型表如下表:Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。


Kneron 同步提供方块示意图与主要的AP 函数，让客户可以快速上手。
KL630系列之AI相机 (与防抖相机)在监控系统中，摄像机被安装在高高的电线杆或车辆或移动设备上，可能会因风、运动或手的作用而晃动。
数位/电子图像稳定（DIS/EIS）是一种高效的视频流校正方法，可以减少视频晃动和滚动快门效应。它依靠陀螺仪感测器产生用于EIS的角速度信号，而EIS校正导致图像在当前帧中被裁剪和重新缩放。MotionProcess库为ImgSigProcess（ISPE）计算一个翘曲矩阵，以执行视频稳定和滚动快门校正，提高图像品质。主要原理是利用三轴角速度和加速速度。在一段时间内，陀螺仪感测器将总的角度加起来，并计算出它在一帧中应该修正多少角度位移。如下图所示: 请注意，水准/垂直位移不会导致陀螺仪感测器被操作。陀螺仪应该与镜头保持距离，越多越好。Kneron 的方案还可以根据影像的位置进行不同的配置调整。如下图所示，考虑影像跟调整的位置，包括调整的RATIO、鱼眼校正都可以一并被应用:

资料来源: Kneron 原厂
Kneron 官网: Kneron - 人工智能无处不在  ►场景应用图

►展示板照片

►方案方块图

►核心技术优势1. 可重构NPU2. 影像辨识软体3. 第五代 ISP可以记录具有可感知细节、真实色调层次和更低噪声的图像和视频4. 智能 HEVC 编码器尽可能显著减少无用或不重要的数据，并在不中断网络带宽的情况下保持高质量的视频5. 鱼眼引擎去扭曲、拼接、混合6. 智能视频分析7. 音频增强和智能8. 高效能的应用工具PQ Tool 跟 Fisheye Correction Tool►方案规格KL630系列之AI相机KLR5S3 Series (Car DVR)KLI5S3 Series (Industrial Cam)
有任何疑问可以点击原文进行提问哦~