成像电子元件101：相机分辨率，改善您的成像系统性能

Imaging Electronics 101: Understanding Camera Sensors for Machine Vision Applications

相机分辨率和对比度在成像系统里的光学元件和电子元件中都扮演着极为重要的角色。虽然相机分辨率和对比度可能看似像光学参数多一点，不过，像素数和大小、电视线、相机MTF、奈奎斯特极限、像素深度/灰度、动态范围以及SNR，对用户的图像质量都起着非常重要的作用。我们将为您提供有关各个重要参数的技术秘诀，无论您是成像新手或专家，都能了解相机分辨率对成像系统的成像电子元件的作用。

像素数和尺寸

若想了解相机的像素数和像素大小，请参考Allied Vision Stingray F-145 FireWire相机系列。每一架F-145都备有一台Sony ICX285传感器，1392 x 1040（水平 x 垂直）像素在9.0mm x 6.7mm的传感器上。如果视场是一个四方形，被划分为许多1392 x 1040的正方形（图1），那么，最小可分辨细节就等于两个这样的正方形，或像素（图2）。技术秘诀#1：视场(FOV)内越多像素，分辨率就越好。不过，像素将需要较大型的传感器或较小尺寸的个别像素。因此，技术秘诀#2是：使用较大的传感器获得更多的像素表示成像镜头的放大倍率或视场将会改变。相反的，使用较小的像素时，成像镜头可能会因为有限的光学元件空间频率响应而无法保持系统的分辨率，这有可能是设计问题所致，或光圈的衍射极限所致。

像素数量也会影响相机的帧速率。例如，每个像素都包含了8位的信息，必须将其在图像重建的过程中进行传输。技术秘诀#3：传感器上的像素数量多，相机的分辨率就越高，但随之的帧速率就越低。若您的应用既需要高帧速率，也需要高分辨率（高像素数量），那么，系统价格以及设置的复杂性就会多直线上涨，而此上升的速率还不一定与增加的像素数量成正比。

Illustration of Pixels on a Camera Sensor

图1：相机传感器上的像素说明

图2：一对未分辨的像素(a) vs. 一对经分辨后的像素(b)

电视线

模拟CCD相机中的电视线(TVL)规格往往被用来评估分辨率。TVL规格是基于等距行线的条状目标的一种分辨率单位。如果延伸目标，让它覆盖FOV，则可以通过将所有产生的行和空间计算出TVL数。方程式1和2提供了找出水平(H)和垂直(V)TVL的简单计算方法。方程式1中包含了为符合传感器的4:3宽高比所需的标准化系数。图3显示一个经IEEE批准的测试目标，可用于测量系统的TVL。

(1)$$ \text{TVL}_{\text{H}} = \frac{3}{2} \left( \text{Resolution}_{\text{H}} \left[ \tfrac{\text{lines}}{\text{mm}} \right] \times \, \text{Sensing Distance}_{\text{H}} \left[ \text{mm} \right] \right) $$

(2)$$ \text{TVL}_{\text{V}} = 2 \left( \text{Resolution}_{\text{V}} \left[ \tfrac{\text{lines}}{\text{mm}} \right] \times \, \text{Sensing Distance}_{\text{V}} \left[ \text{mm} \right] \right) $$

IEEE Approved Target for Measuring TV Lines

图3：用于测量电视线(TVL)的经IEEE批准的测试目标

调制传递函数(MTF)

调制传递函数(MTF)是说明相机分辨率最为有效的方法。MTF是结合对比度和分辨率来确定传感器整体性能的一个方法。一个极为有用的MTF性质就是它的传输功能的可乘性，MTF的每个组件（成像镜头，相机传感器，显示器等等）均可乘，以方便我们了解整体系统的响应（图4）。

System MTF is the Product of the MTF of Each Individual Component

图4：系统MTF是每个个别组件的MTF相乘获得的乘积

MTF不仅考虑像素/mm的空间分辨率，也考虑到了在高空间频率的情况下，由像素串扰和有限填充系数所产生的衰减。技术秘诀#4：传感器将不会提供等同于像素大小倒数的空间频率来呈现100%对比度。请参阅调制传递函数，以深入了解MTF及其重要性。

奈奎斯特极限

传感器的绝对分辨率极限取决于其奈奎斯特极限。它的定义就是采样频率，也就是像素/mm数量的二分之一（方程式3）。例如，Sony ICX285是一台黑白CCD传感器，其水平有效区域为9mm，包含了1392个各6.45μm大的水平像素。这代表了155像素/mm的水平采样频率（1392像素 / 9mm = 1mm / 0.00645 mm / 像素 = 155）。计算出的奈奎斯特极限为77.5lp/mm。请注意，用户可以在观察边缘和简单的几何图形时，使用图像处理方法，如子像素采样，以统计的方法推断出比奈奎斯特极限更高的分辨率。到达奈奎斯特极限时，一个固定的入射方形波的对比度是相位相关的（想象一个像素开启，一个像素关闭，或每个像素只有半个周期。）因此，通常都会将克尔系数(∼0.7)融入计算中，此系数为实际频率响应与奈奎斯特极限之间的偏差。更为重要的是，克尔系数可以弥补像素之间的空隔。技术秘诀#5：于超过系统奈奎斯特极限的空间频率进行采样，可能会在系统中产生假信号和混叠效应，这都是不理想的却也是不可避免的。

(3)$$ \text{Nyquist Limit} \left[ \tfrac{\text{lp}}{\text{mm}} \right] = \frac{1}{2} \left( \text{Kell Factor} \right) \left( \text{Sampling Frequency} \left[ \tfrac{\text{pixels}}{\text{mm}} \right] \right) $$

像素深度/灰度

像素深度常被称作为灰度，较不精确的说法是“CCD相机的动态范围”，它代表了图像中的灰度等级。像素深度与传感器可检测的最低对比度息息相关。模拟相机中的信号是依时间而变化的电压，在特定饱和点以下，随着入射在传感器上的光强逐渐增加，该电压就会出现成比例的变化。经过数字化之后，这个连续的电压就会分解成离散的电平，每个电平拥有其相应的数值。增益等于1时，让像素达到100%饱和度的光将拥有2^N-1的数值，N是位数，而缺少光线的像素的数值将为0。技术秘诀#6：相机位数越高，数字化的过程就越顺畅。高位数也代表着您将获得更高的准确度并能捕捉更多的信息。位数到达某个级别之后，人类的肉眼就无法分辨连续的灰度图像以及其经过数字化的图像。我们称数字化过程中所使用的位数为位深度，或像素深度。

Sony XC系列的相机提供256个灰度等级，爱特蒙特光学USB 2.0 CMOS系列的相机则提供8位（256灰度）以及10位（1024灰度）的型号，请参考这两系列的相机了解像素深度。一般而言，12位和14位的相机均能够以更低的像素深度模式运行。虽然大于8位的像素深度可以帮助您进行信号处理，但计算机显示器却都只提供8位的分辨率。因此，如果您只会使用监视器观看相机中的图像，那么，多余的数据只能减低帧速率，而无法为您提供其他确切的帮助。图5说明了不同的像素深度。注意，位深度增加的同时，灰度也跟着转浅，渐渐成为白色。

Illustration of 2-Bit, 4-Bit, and 8-Bit Grayscales

图5： 2位（上）、4位（中）、8位（下）灰度说明

动态范围

动态范围是最低可检测光信号和最高可检测光信号之间的差异。物理上而言，这是由每个像素的饱和容量、暗电流或暗噪声、ADC电路，以及增益设置决定的。技术秘诀#7：对高动态范围而言，需要高位数才能更有意义地描述灰度。不过，我们必须注意的是，当考虑到信噪比的时候，使用14位对50dB的动态范围进行描述也只是提供多余的位数，并不能额外提供什么有用的信息。