中高端网站设计排名,南乐网站建设电话,wordpress安装方式,网站改版准备本文同步发表在我的微信公众号“计算摄影学”#xff0c;欢迎扫码关注【转载请注明来源和作者】我们终于进入了新的篇章。这一次我来给大家介绍一下图像合成与融合。我们经常看到一些很奇妙的PS技术#xff0c;例如下面这张#xff0c;它把1928年的一位叫做Frankie Yale的黑…本文同步发表在我的微信公众号“计算摄影学”欢迎扫码关注【转载请注明来源和作者】我们终于进入了新的篇章。这一次我来给大家介绍一下图像合成与融合。我们经常看到一些很奇妙的PS技术例如下面这张它把1928年的一位叫做Frankie Yale的黑帮老大被杀时的照片与现在这栋房子的照片无缝融合在一起还有这张将1945年柏林街道的照片和2010年的照片无缝的融合到一起给天空加上彩虹这是咱们很多时候后期处理相片时常见的手段改变花朵的颜色交换水果的纹理外观还有更妙的在1994年上映的阿甘正传里面汤姆汉克斯和肯尼迪总统同框出镜即使是在大荧幕上也是毫无违和感。https://www.zhihu.com/video/1087501356620656640不得不说图像合成和融合真是一个很神奇的技术。因此我准备用好几篇文章对此做一些详细的介绍。下图是提纲这一篇文章会介绍三个技术cut-and-paste, alpha blending, multiand blending一、直接剪切粘贴技术cut-and-paste) 在所有相关技术中最直观简单就是cut-and-paste了经常在摄影师后期制作中所采用如果使用得当它也可以创作出令人满意的效果。例如下面照片如何制作出来其实它是由两张照片中不同的部分按一定顺序叠加而成的大家可以看看下面的源图像 只要我们先放上左图的背景再叠加比尔盖茨的人像最后再叠加左图的前景就可以合成出最终的图像。从图像中确定前景和背景的技术叫做抠图英文对应Image Matting而将抠出的部分无缝的贴入目标图像的过程则称为图像合成英文对应Image Compositing. 为了技术术语的准确性我这里引用《Computer Vision: Algorithms and Applications》的原文如下The process of extracting the object from the original image is often called matting (Smith and Blinn 1996), while the process of inserting it into another image (without visible artifacts) is called compositing (Porter and Duff 1984; Blinn 1994a). Cut-and-paste技术如果应用得当可以产生相当有艺术感的图像如下图这应该是在原始的人物和狗狗身上粘贴了很多纹理图像形成的。但很多时候这个简单的技术只会产生让人沮丧的结果例如下面的图像中想要粘贴进去两只企鹅就真的是5毛钱的特效了。既然剪切粘贴过于粗暴生成的照片不够自然有没有更好的方法呢接下来我们就谈谈一种更好的方法Alpha Blending二、Alpha融合 Alpha融合是一个升级版的cut-and-paste如果表示为公式的话是这个样子output foreground * mask background * (1-mask)由于上面使用的Mask是二值的因此融合的图像很不自然大家从融合生成的图像也可以看出如果对Mask图做稍稍的羽化效果就会好很多见下图。对Mask图做羽化的方法有很多最直接的方法就是对其做一定尺度的高斯滤波我在基本图像滤波中已经讲过了。因此Alpha融合的效果好坏取决我们如何正确的设置Alpha Mask如果要把一张图中的一部分抠出并融合到另外一张新的图片中主要牵涉到两个步骤准确的抠图获取Alpha Mask对Alpha Mask做合适的羽化使得融合更自然准确的计算Alpha Mask很多时候都是一件复杂的事情我们下面看一个稍微复杂的例子。 有时候我们希望将两张照片重叠到一起生成一张照片例如下面两张照片怎么融合它们呢有很多人想出了一些聪明的方法。现在介绍一种第1步生成两张图像的distance transform图这个distance tranform图中的每个像素值都表示原图中对应的像素与其最近的黑色像素(zero pixels)的距离。如果你使用OpenCV的话可以用distanceTransform函数来做到如果是Matlab则是bwdist函数。第2步计算Mask接下来采用Alpha融合方式可以得到最终的照片如下。你可以看到两张照片已经比较好的融合到了一起当然还可以看出一些细微的不自然处。三、多频段融合要想让Alpha融合结果显得自然很关键的一点是选择合适的融合窗口大小。我用下面的实例来说明这个问题。让我们把以下两张照片融合到一起。如果选择图像中中轴线作为融合后两个图像的分界线那么融合过程可以表示为这其实也是一种Alpha融合实际上上面的过程就是leftImageWeight * leftImage rightImageWeight * rightImage OutputImage其中leftImageWeight rightImageWeight 1 因此最终图像的表现取决于两张图片的有效像素的重叠区域。 那么问题来了这个重叠区域到底选择多大呢我以下图来说明不同窗口大小的影响有一个经验判断准则是融合窗口大小要相当于输出图像中最大的显著特征的大小从频谱上看生成的图像所包含频率个数应该是2的幂融合窗口大小要小于2倍最小显著特征的大小从输出图像的频谱上看最大频率2*最小频率 然而大家都知道自然图像通常包含了很多不同的特征频谱跨度也很大此时选择融合窗口就会非常困难有没有更好的方法呢 这就引入了一种新的融合方法多频段融合。下图说明了这个思想因此总结其流程就是对要融合的两张照片构建拉普拉斯金字塔对金字塔的每一层应用以下公式进行融合3. 利用融合后的金字塔重建出输出图像 我们来看一个著名的例子一个苹果和一个橘子如何通过中线融合到一起 利用上面的流程我们来看看金字塔各层融合的情况OK因此如果重建出原始图像可以看到我们这里讲的多频段融合即拉普拉斯金字塔融合实际上是在半自动的计算最佳的融合窗口和权重大小其本质上还是一种线性融合在《Computer Vision: Algorithms and Applications》一书中还有很多有趣的例子例如在实际实现过程中为了节省计算量可以考虑只用两层金字塔来融合这在需要融合多张图像时非常有用例如下面我们需要将多张照片融合成一幅全景图像这里我只是简单的把多张经过裁剪的照片摆放在一起还没有经过融合。 如果进行了两层金字塔融合我们可以分别对低频信号和高频信号进行融合所得到的图像如下 从这两层图像我们可以重建出最终的图像由于两层金字塔融合甚至多层金字塔融合同时考虑到了图像中的不同频率的信息因此通常融合出来的效果相比单层的Alpha融合线性融合更好。 就以上面的融合图像来比较一下图像的局部大家可以看到金字塔融合的内容更清晰四、总结我们在一开篇看到了很多图像融合的实例我希望它们已经成功的吸引了你的注意。而今天给大家介绍了图像合成和融合的几个基本的方法包括cut-and-pastealpha融合以及多频段融合。它们基本上都可以归纳为图像之间的线性融合其中多频段融合是一种多层的线性融合。 我下一讲将要讲到一种效果非常好的融合方式泊松融合。我在如下的Jupyter Notebook中展示了本帖中的相关操作你可以对着它获取更深入的理解也能够进一步掌握用Python来进行图像处理的一些技巧。 https://nbviewer.jupyter.org/github/yourwanghao/CMUComputationalPhotography/blob/master/class11/Notebook11.ipynb跟这一系列专题文章相关的Notebook可以从https://github.com/yourwanghao/CMUComputationalPhotography.git获取参考资料 这一篇文章的绝大部分素材来自于[1] CMU 2017 Fall Computational Photography Course 15-463, Lecture 7[2] Richard Szeliski, Computer Vision : Algorithms and Applications,
