解决影视图像分辨率问题

在影视制作领域，往往会涉及到将低分辨率的图像放大为高分辨的图像的问题，有时候还会涉及到 非正方形像素到正方形像素的调整问题。本章将在图像放大算法，像素宽高比调整方法以及图像序列放大批处理技术等三方面的问题与读者进行探讨。

一、 图像放大算法

图像放大有许多算法，其关键在于对未知像素使用何种插值方式。以下我们将具体分析几种常见的算法，然后从放大后的图像是否存在色彩失真，图像的细节是否得到较好的保存，放大过程所需时间是否分配合理等多方面来比较它们的优劣。

当把一个小图像放大的时候，比如放大400%，我们可以首先依据原来的相邻4个像素点的色彩值，按照放大倍数找到新的ABCD像素点的位置并进行对应的填充，但是它们之间存在的大量的像素点，比如p点的色彩值却是不可知的，需要进行估算。

图1-原始图像的相邻4个像素点分布图

图2-图像放大4倍后已知像素分布图

#p#e#

1、最临近点插值算法(Nearest Neighbor)

最邻近点插值算法是最简单也是速度最快的一种算法，其做法是將放大后未知的像素点P，將其位置换算到原始影像上，与原始的邻近的4周像素点A,B,C,D做比较，令P点的像素值等于最靠近的邻近点像素值即可。如上图中的P点，由于最接近D点，所以就直接取P=D。

这种方法会带来明显的失真。在A,B中点处的像素值会突然出现一个跳跃，这就是出现马赛克和锯齿等明显走样的原因。最临近插值法唯一的优点就是速度快。

2、双线性插值算法(Bilinear Interpolation)

其做法是將放大后未知的像素点P，將其位置换算到原始影像上，计算的四個像素点A,B,C,D对P点的影响(越靠近P点取值越大，表明影响也越大)，其示意图如下。

图3-双线性插值算法示意图

#p#e#

其具体的算法分三步：

第一步插值计算出AB两点对P点的影响得到e点的值。

图4-线性插值算法求值示意图

对线性插值的理解是这样的，对于AB两像素点之间的其它像素点的色彩值，认定为直线变化的，要求e点处的值，只需要找到对应位置直线上的点即可。换句话说，A,B间任意一点的值只跟A,B有关。

第二步，插值计算出CD两点对P点的影响得到f点的值。

第三步，插值计算出ef两点对P点的影响值。

双线性插值算法由于插值的结果是连续的，所以视觉上会比最邻近点插值算法要好一些，不过运算速度稍微要慢一点，如果讲究速度，是一个不错的折衷。

3、双立方插值算法(Bicubic Interpolation)

双立方插值算法与双线性插值算法类似，对于放大后未知的像素点P，将对其影响的范围扩大到邻近的16个像素点，依据对P点的远近影响进行插值计算，因P点的像素值信息来自16个邻近点，所以可得到较细致的影像，不过速度比较慢。

图5-双线性插值算法4个邻近点影响未知点信息示意图

#p#e#

图6-双立方插值算法16个邻近点影响未知点信息示意图

不过双立方插值算法与双线性插值算法的本质区别不仅在于扩大了影响点的范围，还采用高级的插值算法，如图所示。

图7-非线性插值算法求值示意图

要求A，B两点之间e点的值，需要利用A,B周围A-1,A,B,B 1四个点的像素值，通过某种非线性的计算，得到光滑的曲线，从而算出e点的值来。

所谓“双”或者叫“二次”的意思就是在计算了横向插值影响的基础上，把上述运算拓展到二维空间，再计算纵向插值影响的意思。

双立方插值算法能够得到相对清晰的画面质量，不过计算量也变大。该算法在现在的众多图像处理软件中最为常用，比如Photoshop,After Effects,Avid,Final Cut Pro等。

为了得到更好的图像质量，在以上的基础上，许多新的算法不断涌现，它们使用了更加复杂的改进的插值方式。譬如B样条（B-SPline）, 米切尔（Mitchell）等插值算法，它们的目的是使插值的曲线显得更平滑，图像边缘的表现更加完美。

4、 自适应样条插值极其增强技术（ S-Spline & S-Spline XL）

与上述经典的插值方法最大的区别在于， S-Spline 采用了一种自适应技术，那些传统的方法总是依据周围的像素点来求未知点的色彩值，也就是说需要求解的色彩值仅仅依靠该像素点在图像中的位置，而非实际的图像的像素信息，而自适应样条算法还会考虑实际图像的像素信息。 实验表明，经过 S-Spline 算法得到的图像效果要优于双立方插值算法。

现在 S-Spline 算法又出现了增强版 S-Spline XL，新版本的 S-Spline XL 算法较 S-Spline 而言画面的锐度得到进一步增强，物体的轮廓更加清晰，边缘的锯齿现象大大减弱，图像感受更加自然。

#p#e#

二、 图像放大算法 实际测试

现在我们来对以上几种插值算法进行实际测试，看看它们的效果。首先打开原始的图像bird.jpg.这是一个分辨率为360×270的图像。

图8-原始图像

我们采用 BenVista 公司著名的 PhotoZoom Pro 2 软件，在pc电脑上进行测试，电脑的CPU配置为Inter Core 2 T5500 1.66GHz,分别采用以上5种插值方法把原始图像放大8倍得到5个2880×2160的图像。

图9-最临近点插值N earrst_ N eighbour

#p#e#

图10-双线性插值B ilinear

图11-双立方插值B icubic

#p#e#

图12-自适应样条插值S-S pline

图13-自适应样条增强性插值S-S pline_ XL

对比以上各图并结合实验数据，我把效果参数列举如下表。

weimingming

显然，为了得到最好的图像放大质量，在可选条件下，我们应该使用自适应样条插值增强（S-S pline_ XL）技术来放大图像。

#p#e#

三、像素宽高比调整

现在我们就以35mm胶片拷贝的4k等效分辨率4096×3112为标准，使用自适应样条插值增强（S-S pline_ XL）技术，对SD-NTSC制式720×486（720×480）分辨率的图像进行放大。同时来说明如何调整非正方形像素到正方形像素的调整方法。

以NTSC_720×486的图像为例，它与4k胶片等效分辨率4096×3112而言，存在显示比例不同的问题，为了最大化保留画面的信息，我们以信箱模式为例进行调整，同时我们还要考虑NTSC制式像素宽高比变化的问题。

我们知道NTSC图像的像素的宽高比并不是1：1的，而是0.9:1。在方形像素显示模式下，调用NTSC图像时候，我们发现图像会发生变形，即感觉画面被压扁了。如图所示：

图14-NTSC长方形像素示意图

图15-方形像素示意图

#p#e#

图16-方形像素显示模式下NTSC图像纵向被压缩示意图

现在我们从 BenVista PhotoZoom Pro 2.3.2 软件中，先调整像素宽高比变形问题，再调整画面放大参数。

#p#e#

打开 BenVista PhotoZoom Pro 2.3.2 软件，它不仅支持单幅图像的放大处理，还可以批处理图像序列帧，此版本支持tif,png,tga,bmp等图像格式，在使用的时候我们需要生成软件所支持的格式，一般用tif或png格式。

1）.关闭maintain aspect tatio,然后预调整新生成的图像宽度为720×0.9=648,校正因画面像素宽高比变化导致的画面变形现象，参数调整如图所示。

图17-预调整参数示意图

2）.现在调整新生成的图像宽度值为4096，调整高度值为486×（4096/648）=3072。即等比例放大预生成的图像到35mm胶片的等效分辨率大小，随后定义放大的插值方式为S-S pline_ XL即可。

不过由于画幅比例问题，当使用 35 mm胶片进行记录时，由于其4k等效分辨率为4 0 96 x 3112，所以胶片的上下边将留出一定的黑边。

#p#e#

四、图像放大批处理

通过以上的分析，我们了解了使用 BenVista PhotoZoom Pro 2.3.2 软件放大单帧图像的方法，再结合它的批处理技术，就可以实现对图像序列的放大了。

在其工具栏中直接启动new Batch选项，然后点击Add Images按钮添加图像序列帧，然后选中所有的帧，依据源格式以及所需要生成的图像尺寸，结合上面的分析数据填充放大的后的图像尺寸和插值运算模式，并制定生成路径后点击运行，便可以实现图像序列的批处理。

图18-添加图像序列示意图

经过一定时间的处理，我们便能得到大尺寸图像序列帧画面了。