本文摘自研鼎与CIZEN编撰的《面向汽车和AI应用的数字相机SFR测量》，全文共 80 页，识别下方二维码，立即获取该手册电子版（PDF文件，3.84 MB）。
在本系列文章的前三篇中，我们探究了数字相机图像模糊的成因，回顾了成像质量的传统评价方法——鉴别率（resolving power），介绍了成像质量的现代评价方法——光学传递函数。为了将光学传递函数测量应用于数字相机，需先对光学传递函数的概念进行拓展，并对测量方法进行审慎地评估。
20世纪90年代发布的关于光学传递函数的若干ISO标准均是针对镜头的[1,2,3,4,5,6]，由ISO/TC 172（光学与光子学技术委员会）/SC 1（基础标准分委会）/WG 1（一般光学测试方法工作组）负责。随着数字相机的兴起，ISO发布了针对数字相机的ISO 12233:2000标准《摄影-静态图片成像-鉴别率与空间频率响应》[7]，由ISO/TC 42（摄影技术委员会）/WG 18（电子静态图片成像工作组）负责。考虑到数字相机的离散采样特性，ISO 12233标准中使用SFR（空间频率响应）这一术语表征调制传递函数，以示区别。在针对数字相机硬件（图像处理器前的部分）的SFR测量中，无需考虑相机中图像处理（如边缘增强）的影响，因此，基于边扩散函数的SFR测量方法，因图形简单、目标物易于获得、光通量充分等特点，在数字相机硬件的制造中使用尤为普遍。
图1 由于数字相机的移变特性，使用移动的亮线扫过数字相机成像器上的一段距离，可得到一组不同的线扩散函数。从采样的视角看，可视为线扩散函数在不同位置被多次采样，将这些采样组合起来，可形成过采样的线扩散函数。相对于以像元阵列原始采样频率进行采样，过采样的线扩散函数随成像位置的变化较小，一定程度上克服了采样的影响，近似满足移不变的假设。
图2 将边缘型目标相对于成像器的像元阵列进行小角度旋转，可在不同行或列制造空间相位变化，得到一组边扩散函数。类似于图1中的采样位置变化。将这些边扩散函数组合起来，可得到过采样的边扩散函数。同理，相对于以像元阵列原始采样频率进行采样，过采样的边扩散函数随成像位置的变化较小，一定程度上克服了采样的影响，近似满足移不变的假设。地面上各种自然及人造特征所形成的边缘十分普遍，因此，早在20世纪60年代，采用边扩散函数来测量胶片相机光学传递函数的方法，便已在航空摄影中得到应用[8]。然而，数字相机的离散本质使其背离了使用光学传递函数这一概念的基础之一，即对移不变的假设。对摄影来说，横、竖两个方向的性能十分重要，而固态成像器的像元一般呈正交排列，因此，横、竖边缘的方向与像元阵列的行、列平行，这时，若使边缘沿垂直于自身的方向微微移动，会发现由此得到的边扩散函数与其在像元阵列上的位置有关——移变[9]。如果将像元阵列看作采样器件，这一现象可以解释为，边扩散函数与采样函数的相对位置（相位）影响了采样结果。均匀采样时，采样函数是周期性的，故采样对边扩散函数的影响也是周期性的。因而，较为直观的一种解决方案是，在选定方向上将一个采样周期等分，间隔为△P，使垂直于该方向的边缘以△P为步长沿该方向移动，使某个特定像元完整扫描边缘在该方向的扩散，如此便得到了边扩散函数，△P愈小，相当于空间采样频率愈高，得到的边扩散函数也就愈准确。在上述方案中，若同时记录边缘移动方向上的若干个相邻像元的输出，那么，在边缘移动到的每个位置都将产生一个采样的边扩散函数，将它们组合起来可形成过采样的边扩散函数，与使用单个像元相比，使用多个像元可减少移动的次数。上述方法的本质是通过提高采样频率，减小采样位置对采样结果的影响，然而这类方法一般需要一个机械装置来精确地改变目标物与相机的相对位置，而且需要多次测量，实际操作中多有不便。此时，若使边缘相对于像元阵列发生小角度倾斜，即可免去对机械装置的依赖及多次测量的繁琐，这便是ISO 12233标准中定义的直边SFR方法。由于线与边的天然联系，倾斜狭缝产生的亮线也可实现相同的效果，相关的描述见于ISO 15529标准[10]。
表1 直边倾角与过采样率（相对于像元阵列在横/竖方向的原始采样率）及（1个完整采样周期对应的）直边长度的关系
直边SFR法的基础是直线形边缘的扩散函数，其特点是使竖向（横向）边缘相对于像元阵列的列（行）倾斜一个很小的角度，如此一来，竖向（横向）边缘在每一行（列）形成的（采样前的）边扩散函数与相邻行（列）存在一个亚像素级别的横向（竖向）位移，与通过机械运动制造的位移相似。两行（列）间的位移，取决于边缘倾斜的角度，例如，5度的倾斜将造成tan(5∘)≈11.431
列（行）的位移。如果将每行（列）的（采样前的）边扩散函数对齐，相当于每行（列）的像元位置（采样位置）产生了行（列）间位移。假设计算直边SFR的图像区域内，（采样前的）边扩散函数保持不变，那么，边缘的倾斜实际上提高了边扩散函数的采样频率。因此，5°的倾斜造成的采样频率约为不倾斜时的11.43倍。换言之，直边SFR法通过边缘的倾斜提高了采样频率，尽量还原出采样前的边扩散函数，以此来减弱采样的影响[11,12]。由此得到的边扩散函数及直边SFR在一定区域内是近似鲁棒的，于是，等晕的概念得以重建，移不变的假设再次成立。值得注意的是，边缘的倾斜角度不仅关系到采样准确性，还与视场准确性、方向准确性有关。具体来说，边缘倾角小，方向接近垂直（水平），方向准确度高；行（列）间位移小，采样频率高，采样准确度高；一个采样周期需要跨越的行（列）数量多，计算直边SFR所需的边缘长，视场准确度低。反过来，边缘倾角大，方向远离垂直（水平），方向准确度低；行（列）间位移大，采样频率低，采样准确度低；一个采样周期需要跨越的行（列）数量少，计算直边SFR所需的边缘短，视场准确度高。因此，边缘倾角的选择是兼顾这三方面综合考虑的结果，ISO 12233标准推荐的倾角为5°。
2.直边SFR计算方法与ISO 12233标准的演进
ISO 12233标准首次发布于2000年，其中直边SFR的计算步骤如下：
1. 从图像中选择包含竖向倾斜边缘的ROI（关注区域），横向的边缘图像需旋转90度，对三通道彩色图像需计算出亮度；
2.使用OECF（光电转换函数）的反函数将图像的像素值线性化；
3.使用FIR（有限冲激响应）滤波器（[-1/2, +1/2]）在每一行对边扩散函数求导，得到线扩散函数；
4.计算ROI中每一行的线扩散函数的质心，并用质心的位置进行线性拟合，得到边缘位置；
5.根据边缘的斜率计算出一个完整的相位（位置）变化周期对应的行数，在图像中确定最大的完整周期数（每个采样位置在ROI内重复出现相同的整数次），并缩小ROI的尺寸（将最大完整周期数外的区域调整到ROI外）；
6.将ROI中所有行的线扩散函数沿边缘方向投影至第1行，形成过采样的线扩散函数；
7.以原始图像采样间隔的1/4对过采样的线扩散函数进行重采样，形成4倍过采样的线扩散函数，并在函数上加汉明窗；
8.对加窗的线扩散函数进行离散傅里叶变换，得到其频谱；
9.计算线扩散函数频谱的模，并使用0频率时的值对其进行归一化，得到直边SFR。
ISO 12233标准的第二版于2014发布[13]，完善了直边SFR的计算，主要变化包括：
1.引入低对比度边缘，以更好地适应相机图像处理中的边缘增强；
2.边缘位置的计算分为两轮完成，每一轮均增加加汉明窗的操作，第一轮与上一版相同，将每一行线扩散函数的质心位置进行线性拟合，其结果用于第二轮计算时，将汉明窗的中心与每一行的质心对准，利于得到更为准确的边缘位置；
3.将上一版的线扩散函数沿边缘方向投影，改为将边扩散函数沿边缘方向投影至第1行，形成过采样的边扩散函数；
4.使用FIR滤波器（[-1/2, 0, 1/2]）对重采样后的4倍过采样边扩散函数求导，得到4倍过采样的线扩散函数；
5.对过采样的线扩散函数进行离散傅里叶变换前，先对其进行居中，并加居中的汉明窗；
6.对直边SFR结果进行频域校正，以补偿FIR滤波器的影响。
2023年，ISO 12233标准的第四版发布（2017年发布的第三版只对附录D进行了修订[14]），对直边SFR的计算进行了进一步完善[15]，主要变化包括：
1.在前三个版本的±5°偏转的横竖边缘的基础上，增加了45°±5°与135°±5°的对角线方向的边缘；
2.在所有加窗操作中，使用Tukey窗取代汉明窗；
3.使用5次多项式拟合取代线性拟合，以更好地适应有畸变的图像；
4.对直边SFR计算结果中的每一个数值对应的空间频率进行校正，以补偿边扩散函数宽度在行方向与实际扩散方向之间的差异的影响。
图3：边扩散函数描述的是系统在与边缘垂直的方向上的性能，由于边缘的倾斜，边扩散函数的方向与计算直边SFR时所用的行、列方向存在差异，导致边缘扩散的长度增大，计算出的直边SFR逊于系统实际的性能。实际上，这两个方向的边扩散长度之比为角度的余弦，可使用这一关系对计算结果进行补偿。
本文摘自研鼎与CIZEN编撰的《面向汽车和AI应用的数字相机SFR测量》，全文共 80 页，识别下方二维码，立即获取该手册电子版（PDF文件，3.84 MB）。
[1] International Organization for Standardization. (1995). Optics and optical instruments — Optical transfer function — Definitions and mathematical relationships (ISO Standard No. 9334:1995). https://www.iso.org/standard/17016.html[2] International Organization for Standardization. (1995). Optics and optical instruments — Optical transfer function — Principles and procedures of measurement (ISO Standard No. 9335:1995). https://www.iso.org/standard/17017.html[3] International Organization for Standardization. (1994). Optics and optical instruments — Optical transfer function — Application, Part 1: Interchangeable lenses for 35 mm still cameras (ISO Standard No. 9336-1:1994). https://www.iso.org/standard/17018.html[4] International Organization for Standardization. (1994). Optics and optical instruments — Optical transfer function — Application, Part 1: Lenses for office copiers (ISO Standard No. 9336-2:1994). https://www.iso.org/standard/17019.html[5] International Organization for Standardization. (1994). Optics and optical instruments — Optical transfer function — Application, Part 3: Telescopes (ISO Standard No. 9336-3:1994). https://www.iso.org/standard/17020.html[6] International Organization for Standardization. (1997). Optics and optical instruments — Accuracy of optical transfer function (OTF) measurement (ISO Standard No. 11421:1997). https://www.iso.org/standard/22463.html[7] International Organization for Standardization. (2000). Photography — Electronic still picture imaging — Resolution and spatial frequency responses (ISO Standard No. 12233:2000). https://www.iso.org/standard/33715.html[8] Brock, G. C. (1970). Image Evaluation for Aerial Photography: An Appraisal of Current Techniques. Focal Press.[9] Williams, T. (1999). The optical transfer function of imaging systems. IoP Publishing.[10] International Organization for Standardization. (2010). Optics and photonics — Optical transfer function — Principles of measurement of modulation transfer function (MTF) of sampled imaging systems (ISO Standard No. 15529:2010). https://www.iso.org/standard/56069.html[11] Reichenbach, S. E., Park, S. K., & Narayanswamy, R. (1991). Characterizing digital image acquisition devices. Optical Engineering, 30(2), 170-177. [12] Boreman, G. D. (2021). Modulation Transfer Function in Optical and Electro-optical Systems (2nd ed.). SPIE Press.[13] International Organization for Standardization. (2014). Photography — Electronic still picture imaging — Resolution and spatial frequency responses (ISO Standard No. 12233:2014). https://www.iso.org/standard/59419.html[14] International Organization for Standardization. (2017). Photography — Electronic still picture imaging — Resolution and spatial frequency responses (ISO Standard No. 12233:2017). https://www.iso.org/standard/71696.html[15] International Organization for Standardization. (2023). Photography — Electronic still picture imaging — Resolution and spatial frequency responses (ISO Standard No. 12233:2023). https://www.iso.org/standard/79169.html
