关于图像传 感器的9个知识点

典型图像传 感 器的核心是CCD单元（charge-coupled device，电荷耦 合器件）或标准C M O S单元（complementary meta-oxide semiconductor，互补金属氧化物半 导 体）。CCD和C M O S传 感 器具有类似的特性，它们被广泛应用于商业摄像机上。不过，现代多数传 感 器均使用C M O S单元，这主要是出于制造方面的考虑。传 感 器和光学器件常常整合在一起用于制造晶片级摄像机，这种摄像机被用在类似于生物学或显微镜学等领域，如图1所示。图5：元件颜色的几个不同马赛克配置，包括白色、基本RGB颜色和次要CYM元件。 每种配置为传 感器处理过程优化颜色或空间分辨率提供了不同的方法（图像来自于《Building Intelligent Systems》一书，并得到Intel出版社的使用许可）。整个传感 器的大小也决定了镜头的大小。一般来说，镜头越大通过的光越多，因此，对摄影应用而言，较大的传感 器能更好地适用于数字摄像机。另外，元件在颗粒上排列的纵横比（a s p e c t   r a t i o）决定了像素的几何形状，如，4：3和3:2的纵横比分别用于数字摄像机和35毫米的胶片。传 感器配置的细节值得读者去理解，这样才能够设计出最好的传 感器处理过程和图像预处理程序。4、动态范围和噪声当前，最先进的传 感器每个颜色单元能提供至少8个比特位，通常是12～14个比特位。传 感器元件需要花费空间和时间来聚集光子，所以较小的元件必须经过精心设计，以避免产生一些问题。噪声可能来自于所用的光学元件、颜色滤 波 器、传 感器元件、增益和A/D转换器、后期处理过程或者压缩方法等。传 感器的读出噪声也会影响到实际的分辨率，因为每个像素单元从传 感器中读出再传到A/D转换器中，从而组成数字形式的行和列，以便用于像素转换。越好的传 感器会产生越少的噪声，同时会得到更高效的比特分辨率。Ibenthal 的工作是降噪方面的好文献。另外，传 感器光子吸收对每种颜色会有所不同，对蓝色有可能有些问题，即对于较小的传 感器成像而言这是最难的一种颜色。在某些情况下，生产商会试图在传 感器中为每种颜色内建一个简单的伽马曲线修正方法，但这种方法并不值得提倡。在对彩色有需求的应用中，可以考虑色度设备模型和颜色管理，甚至让传感 器的每种颜色通道具有非线性特征并建立一系列简单的校正查找表（Lookup Table, LUT）转换。5、传 感器处理传感 器处理用于从传感 器阵列中去马赛克并聚集像素，也用于校正感知瑕疵。在这一节我们会讨论传 感器处理基础。通常在每个成像系统中都有一个专有的传 感器处理器，包括一个快速HW传 感器接口、优化的超长指令集（very long instruction word,VLIW）、单指令多数据流（single instruction multiple data, SIMD）指令以及具有固定功能的硬件模块，这些功能是为了解决大规模并行像素处理所造成的工作负载。通常，传感 器处理过程透明且自 动 化，并由成像系统的生产厂商设置，来自传 感器的所有图像均以同样的方式处理。也存在用于提供原始数据的其他方式，这些数据允许针对应用来定制传感 器处理过程，就像数字摄影那样。6、去马赛克根据不同的传 感器元件配置（如图5所示），可利用各种去马赛克算法将原始传 感器数据生成最终的RGB像素。Losson &Yang还有Li等人分别给出了两篇非常好的综述文献，这些文献介绍了各种方法以及所面临的挑战等。去马赛克的一个主要挑战之一是像素插值，其作用是将邻近单元的颜色通道组合成单个像素。在给定传 感器元件排列的几何形状以及单元排列的纵横比的条件下，这是一个重要的问题。一个与之相关的问题是颜色单元的加权问题，如在每个RGB像素中每种颜色应该占多少比例。因为在马赛克传 感器中，空间元件分辨率大于最终组合的RGB像素分辨率，某些应用需要原始传感 器数据，以便尽可能利用所有的精度和分辨率，或者有些处理要么需要增强有效的像素分辨率，要么需要更好地实现空间精确的颜色处理和去马赛克处理。7、坏像素的校正像L C D 显 示 器一样，传 感器也可能会有坏像素。通过在摄像机模块或驱动程序中提供需要校正的坏像素坐标，供应商可以在工厂校正传 感器，并为已知的缺陷提供一个传 感器缺陷图。在某些情况下，自适应的缺陷校正方法会用在传 感器上，以便监控邻近像素点来发现缺陷，然后校正一定范围内的缺陷类型，比如单像素缺陷、列或行缺陷以及类似2×2或3×3的块状缺陷。为了实时寻找瑕疵，摄像机驱动也可提供自适应的缺陷分析，在摄像机的启动菜单中可能会提供一个特殊的补偿控制。8、颜色和照明校正有必要进行颜色校正以便平衡总的颜色精确度和白平衡。如图1-2所示，硅传感 器上对红色和绿色这两种颜色通常很敏感，但是对蓝色却不敏感，因此，理解和标定传感 器是得到最精确颜色的基本工作。大多数图像传 感器的处理器包含了用于光晕校正的几何处理器，这在图像的边缘表现为光照更暗。校正基于几何扭曲函数，可考虑可编程的光照功能来增加朝向边缘的光照，这需要在出厂前进行标定，以便与光学的光晕模式相匹配。9、几何校正镜头可能会有几何相差或朝边缘发生扭曲，产生径向失真的图像。为了解决镜头畸变，大多数成像系统具有专用的传 感器处理器，它有一个硬件加速的数字扭曲元件，类似于G P U上的纹理采样器。在工厂就会针对光学器件的几何校正进行校准并编程。
AO-Electronics 傲 壹 电 子 官网：www.aoelectronics.com 中文网：www.aoelectronics.cn