探究数字相机图像模糊的成因

Publisher: 52rd | Publish Date: 2024-09-02 | Tag: #Test Class#

本文摘自研鼎与CIZEN编撰的《面向汽车和AI应用的数字相机SFR测量》，全文共 80 页，识别下方二维码，立即获取该手册电子版（PDF文件，3.88 MB）。如您计划参加9月11-13日在深圳举办的第二十五届中国国际光电博览会，欢迎莅临我司展台（展位号：1号馆-1C53）索取纸质版。

相机的核心功能是获取图像，图像质量的优劣很大程度上决定了相机的性能。因此，像质评价是相机设计、生产与使用中的重要一环。数字相机的SFR（空间频率响应）与锐度的关联十分紧密，而锐度又是影响清晰度的主要因素，加之其易测量、可重复、可计算、可累乘、易标准化等诸多优点，时至今日，SFR已成为数字相机客观像质评价的主要方法之一。

在数字相机中，图像的模糊与“三大件”（即成像镜头、光电成像器、图像处理方法）有着紧密的联系。为了更好地理解SFR的概念，解读SFR测量的结果，有必要对数字相机中图像模糊的成因有一些基本的认知。

1.成像镜头引入的图像模糊

任何一个发光、反光或透光的物体，都可以看作是由许许多多的点组成的，每一点均向外辐射能量。对于成像镜头来说，如果每一个物点发出的光通过镜头的偏折（反射、折射）作用后，均可重新会聚于一点（点物成点像），则像是物的忠实复现。然而，从几何光学视角出发，由于像差的作用，物点发出的光线经镜头会聚后与像面的交点会发散为一个光斑[1]。1855年，德国学者赛德尔（Philipp Ludwig von Seidel, 1821-1896）扩展了高斯的近轴成像理论，推导出了五种初级（三阶）单色像差——球差、彗差、像散、场曲、畸变[2]。其中，球差、彗差、像散均导致点物无法成点像。此外，由于同一介质对不同频率的光有着不同的折射率，不同频率的光线的成像位置存在差异，导致成像不清晰，这种像差称为色差[3]。采用面形复杂的镜片、特殊材料制成的镜片、多镜片组合成镜组、更加合理的孔径光阑位置等方式可校正一部分像差[4,5]，然而在现阶段像差仍是无法完全消除的。
几何光学的基本假设是光的波长为0（即忽略光的波动性），并认为光在均匀的同种介质中沿直线传播。然而，波动性是光作为电磁波的固有属性，我们知道，声波、水波都会绕过障碍物向各个方向继续传播，这种波的衍射现象同样也适用于光。1835年，英国学者艾里（George Biddell Airy, 1801-1892）系统地研究了具有圆形孔径的天文望远镜的衍射现象[6]。由于天文望远镜的观测对象常常为距地球非常遥远的天体，故每一颗“星”皆可视为点光源，到达地球时其光波亦可视作平面波，此时形成的衍射图样由一个圆形中央亮斑（称作艾里盘）与一组亮暗相间的同心圆环组成，称作艾里斑。艾里斑的直径随波长的增大而增大，随孔径的增大而减小。实际上，艾里斑与镜头并无本质联系，平面波通过圆孔即可形成艾里斑，只是需要在远大于孔径及观察区域的最大线度的距离观察，而镜头的作用是通过对波阵面的调制形成会聚球面波，将无穷远的衍射图样呈现于像面上。常见的镜头均使用圆形（或接近圆形）的孔径光阑，因此艾里的结论也适用于相机镜头[7]。总之，从原理与设计的角度，镜头受到像差与衍射的影响，使得点物无法成点像，而是形成一个光斑。这种由点到斑的能量扩散，正是图像由清晰到模糊的过程。
图1 三阶单色像差几何示意图。(a) 无像差 (b) 球差 (c) 彗差 (d) 像散 (e) 场曲 (f) 畸变
(a)(b)图像来源：
https://commons.wikimedia.org/wiki/File:Spherical_aberration_2.svg，
(c)图像来源：
https://commons.wikimedia.org/wiki/File:Lens-coma.svg，
(d)图像来源：
https://commons.wikimedia.org/wiki/File:Astigmatism.svg，
(e)图像来源：
https://commons.wikimedia.org/wiki/File:Field_curvature.svg
图2 几何像差的物理光学解释。(a) 无像差时，来自无穷远处点光源的入射平面波经过成像镜头后，变为以像点为球心的会聚球面波，此时点物成点像。(b) 有像差时，平面波通过镜头后，在像差的作用下，出射光的波阵面偏离了球面，导致出射光波无法会聚于一点，即点物不成点像。

图3 衍射的成因与现象。(a) 当平面波通过小孔时，孔径内各点均处于同一波阵面，每个点均可视为子波源。在位于小孔右侧空间中的某观察点，来自各子波源的光波产生干涉（振动加强或减弱），干涉的结果随观察点位置的变化而变化。从宏观上看，衍射使得光进入几何阴影区，在观察屏上呈现亮暗相间的衍射光斑。(b) 当光源及观察屏与小孔的距离均远远大于小孔的孔径时，可视为远场（夫琅和费）衍射，图中所示为圆孔的远场衍射的一维强度分布（单色光）。(c) 圆孔的远场衍射图样（单色光），即艾里斑。
(b)图像来源：
https://commons.wikimedia.org/wiki/File:Single_Slit_Diffraction_(english).svg
(c)图像来源：
https://commons.wikimedia.org/wiki/File:Airy-pattern.svg
2.固态成像器引入的图像模糊
目前，数字相机中常见的电子感光元件为CMOS（互补金属氧化物半导体）成像器[8]，这是一种固态成像器，是由许多相同的单元电路组合而成的集成电路，每一个单元电路称作像元或像素。像元电路由光敏元件与其他功能元件组成，其中光敏元件负责将入射的光子转换为电荷，并收集起来[9]。CMOS成像器的材料与设计会导致图像的模糊，下面介绍其中三重主要因素。
首先，光敏元件设有一开口，光子通过开口入射到光敏半导体材料中，而每个开口都对应着景物通过镜头所成像的一部分，假如落在开口处的像是一个汉字，那么，这个汉字将会消失在光电转换的过程中，因为一个像元的输出只能表征该像元收集到的光电荷的总量，而无法还原光敏元件开口处的原始照度分布[10]。不难想象，开口愈大，同一时间间隔内可入射的光子愈多，成像器的光电性能（如信噪比）也愈高，不过，得到的图像也就愈模糊[11]。除尺寸外，开口的形状也很重要。光敏元件只是像元电路中的元件之一，其他元件也要占用一定的空间，因此，开口的形状可相对复杂，使不同方向上的模糊程度存在差异[12]。
其次，CMOS成像器常使用以光电二极管为基础的半导体感光元件，其本质为工作在反向偏置模式下的P-N结[13]。根据电场分布，P-N结大致可分为P区、N区与空间电荷区，空间电荷区内有较强的内建电场，而P、N两区中几乎不存在电场，故又名准中性区[14]。能量大于半导体材料禁带宽度的光子入射并被吸收后，可引发带间跃迁，产生自由电子与空穴两种非平衡过剩载流子。产生于空间电荷区的过剩载流子，在内建电场的作用下，漂移至空间电荷区两端，作为光电荷被收集起来[15]。而产生于准中性区的过剩载流子，在浓度梯度的驱动下发生扩散，只有扩散至空间电荷区的载流子，方可被收集[16]。产生于准中性区的部分过剩载流子，可能扩散至相邻像元的空间电荷区并被收集起来，这将导致像元间的电串扰，进而造成图像模糊[17]。显然，像元的间距愈小，发生电串扰的几率愈大。同时，光的波长愈长，吸收系数愈小，光子可到达的位置愈深，发生扩散及电串扰的几率亦愈大[18]。
再次，由于成像器结构等原因，本该被一个像元捕捉的光子可能落入另一个相邻像元，这一现象称为像元间的光串扰[19]。
上述三重因素中，光串扰与电串扰均可通过物理方法改善，例如，使用背照式设计可改善光串扰，在像元间增加绝缘沟槽则可减少电串扰，然而，光敏元件开口的几何特征的影响是始终存在的。

图4 固态成像器感光元件开口导致的图像模糊示意图。（a）假如落在单个感光元件开口处的像是一个汉字，那么，这个汉字对应的照度分布将消失在光电转换的过程中，因为一个像元单次曝光后只能输出一个数据。（b）假设一个英文字符落在固态成像器上的一块8x8像元的区域内，开口的有限尺寸及几何特征将导致字符对应的图像变模糊。
图5 固态成像器工作原理及串扰产生机制示意图。
3.其他因素导致的图像模糊
在硬件的制造中存在材料、加工、装配的缺陷，如镜片生产中面形的缺陷、镜头组装中镜片的偏心、相机成像模块组装时成像器的翘曲等等，均会引入模糊。
相机的“三大件”中，图像处理扮演着至关重要的角色，同时也是图像模糊的主要贡献者之一[20,21]。然而，图像处理导致的模糊，一般是有意而为之（如美颜以及为浅景深效果而做的背景虚化导致的模糊）或是某一种处理的副作用（如去噪声的同时去掉了图像中的一些细节导致的模糊）。
除相机自身的原因外，在相机的日常使用中，有一些环境因素也会引入模糊[22]。例如，拍摄远距离目标时大气湍流与气溶胶可造成大气模糊，曝光过程中景物与成像器的相对运动会引入运动模糊，相机视场角内、外的强光产生的杂光（非成像光线）所形成的鬼影、眩光等会降低明暗对比进而造成图像模糊。
参考文献
[1] Rohr, M. (1904). Die Bilderzeugung in optischen Instrumenten vom Standpunkte der geometrischen Optik. Julius Springer.
[2] Seidel, L. (1856). Zur Dioptrik. Über die Entwicklung der Glieder 3ter Ordnung welche den Weg eines ausserhalb der Ebene der Axe gelegene Lichtstrahles durch ein System brechender Medien bestimmen. Astronomische Nachrichten, 43(19), 289-304.
[3] Conrady, A. E. (1929). Applied Optics and Optical Design (Part I). Oxford University Press.
[4] Hovestadt, H. (1900). Jenaer Glas und seine Verwendung in Wissenschaft und Technik. Gustav Fischer.
[5] Conrady, A. E. (1960). Applied Optics and Optical Design (Part II). Dover Publications.
[6] Airy, G. B. (1835). On the diffraction of an object-glass with circular aperture. Transactions of the Cambridge Philosophical Society, 5, 283.
[7] Morgan, J. (1953). Introduction to geometrical and physical optics (pp.168). McGraw-Hill.
[8] Stefanov, K. D. (2022). CMOS Image Sensors. IoP Publishing.
[9] Kuroda, T. (2014). Essential principles of image sensors. CRC Press.
[10] Crowell, M. H., & Labuda, E. F. (1969). The silicon diode array camera tube. Bell System Technical Journal, 48(5), 1481-1528.
[11] White, M. H. (1976). Design of solid-state imaging arrays. In Jespers, P. G., Van de Wiele, & F., White, M. H. (Eds.), Solid state imaging (pp. 485-522). Noordhoff International Publishing.
[12] Song, M., Zhang, M., & Zheng, Y. (2002). Influence of geometric shape of CCD pixel on the modulation transfer function. In Yao, J., & Ishii, Y. (Eds.), Proc. SPIE 4919, Advanced Materials and Devices for Sensing and Imaging (pp. 25-28). SPIE.
[13] Johnson, M. (2003). Photodetection and measurement: Making Effective Optical Measurements for an Acceptable Cost. McGraw-Hill.
[14] Neudeck, G. W. (1983). The PN Junction Diode. Addison-Wesley.
[15] Beynon, J. D. E. (1980). Charge-coupled devices and their applications. McGraw-Hill.
[16] Seib, D. H. (1974). Carrier diffusion degradation of modulation transfer function in charge coupled imagers. IEEE transactions on Electron Devices, 21(3), 210-217.
[17] Theuwissen, A. J. (2005). Solid-state imaging with charge-coupled devices. Springer.
[18] Lin, C. S., Mathur, B. P., & Chang, M. C. (2002). Analytical charge collection and MTF model for photodiode-based CMOS imagers. IEEE Transactions on Electron Devices, 49(5), 754-761.
[19] Agranov, G., Berezin, V., & Tsai, R. H. (2003). Crosstalk and microlens study in a color CMOS image sensor. IEEE Transactions on Electron Devices, 50(1), 4-11.
[20] Nakamura, J. (Ed.). (2017). Image sensors and signal processing for digital still cameras (pp. 223). CRC press.
[21] Lukac, R. (Ed.). (2018). Single-sensor imaging: methods and applications for digital cameras (pp. 67). CRC Press.
[22] Holst, G. C. (2017). Electro-optical Imaging System Performance (6th ed.). SPIE Press.