红花岗区建设局网站,网站内部建设和程序,全网整合营销平台,紫鸟超级浏览器一个月多少钱ABSTRACT
如何恢复背光图像仍然是一项具有挑战性的任务。该领域最先进的方法基于监督学习#xff0c;因此通常仅限于特定的训练数据。在本文中#xff0c;我们提出了一种用于背光图像恢复的“零样本”方案#xff0c;该方案利用深度学习的力量#xff0c;但不依赖于任何先…ABSTRACT
如何恢复背光图像仍然是一项具有挑战性的任务。该领域最先进的方法基于监督学习因此通常仅限于特定的训练数据。在本文中我们提出了一种用于背光图像恢复的“零样本”方案该方案利用深度学习的力量但不依赖于任何先前的图像示例或先前的训练。具体来说我们在测试时训练一个小型图像特定 CNN即 ExCNet曝光校正网络的缩写以估计最适合测试背光图像的“S 曲线”。一旦估计出S曲线就可以直接恢复测试图像。 ExCNet 可以适应每个图像的不同设置。这使得我们的方法广泛适用于不同的拍摄场景和各种背光条件。对 1512 个真实背光图像进行的统计研究表明我们的方法可以大幅优于竞争对手。据我们所知我们的方案是第一个基于 CNN 的无监督背光图像恢复方法。为了使结果可重现源代码可从 https://cslinzhang.github.io/ExCNet/ 获取。
1 INTRODUCTION
拍摄图像时最令人讨厌的不良照明条件之一是背光。尽管大多数现代成像传感器可以根据拍摄目标的光照条件自动调整相关硬件参数如光圈、快门速度和电子增益[24]但在大多数逆光条件下仍然无法获得满意的结果案例。解决这个问题的一种可能方法是使用 HDR高动态范围成像技术 [5]。然而HDR只能用于逆光下的图像采集无法帮助恢复现有的劣质逆光图像。
在这项工作中我们研究了背光图像恢复问题并引入了一种“零样本”方案即 ExCNet曝光校正网络的缩写。 “零样本”是指 ExCNet 不需要事先训练。 ExCNet 是一种专门设计的 CNN卷积神经网络可以直接估计给定背光图像的最佳拟合 S 曲线 [2, 28]。通过其S曲线可以相应地恢复背光图像。在图 1 中我们展示了 4 个典型的背光图像以及 ExCNet 的恢复结果。可以看出所提出的方法对于恢复质量较差的背光图像具有很强的能力。
1.1 Related Work
实际上可以探索传统的图像增强方法[8,13,19,21,30]来增强背光图像但在大多数情况下其效果相当有限。还有一些专门为恢复背光图像而设计的启发式方法。在[22]中Safonov 提出了一种基于对比度拉伸和初始图像亮度的 alpha 混合以及反射率估计的方法。在[25]中Tsai和Yeh首先通过简单的亮度通道阈值检测背光区域然后线性拉伸检测到的背光区域。李等人[15]通过引入四叉树生长和引导过滤来完善Tsai和Yeh的想法[11]。在[12]中Im等人的方法首先使用暗通道先验[10]提取曝光不足的区域然后执行空间自适应对比度增强。在[28]中Yuan和Sun通过基于区域的区域级最佳曝光评估来估计图像特定的S曲线。他们将最佳区域估计表述为图标记问题并通过强力搜索策略来解决它。后来作者将他们的工作扩展到纠正曝光不良的视频序列 [6]。
背光图像恢复方法的另一个分支是基于机器学习理论。在[4]中戴尔等人首先建立了一个包含100万张图像的数据库。给定要恢复的输入图像他们的系统执行视觉搜索以查找数据库中最接近的图像这些图像定义了输入的视觉上下文可以进一步利用它来实例化恢复操作。在[14]中Kang等人构建了一个数据库其中存储描述训练图像的特征向量以及增强参数的向量。给定测试图像然后在数据库中搜索最佳匹配图像并使用相应的增强参数来执行增强。遵循 Kang 等人的想法 [14]Bychkovsky 等人[1] 构建了一个包含 5000 个示例输入输出图像对的数据集可用于学习全局色调调整。在[16]中Li和Wu提出了一种两阶段管道它对背光和前光区域执行对象引导分割然后进行空间自适应色调映射。
1.2 Our Motivations and Contributions
我们发现使用机器学习工具来解决背光图像恢复问题是最近的趋势也是一个有前途的方向。然而应该注意的是该领域现有的解决方案[1,3,4,14,16,27]都是基于监督学习框架因此它们的性能高度依赖于训练数据集。事实上对于背光图像恢复问题如何收集足够有效的训练数据本身就是一项具有挑战性的任务。因此这些基于监督学习的方案通常在满足训练条件的测试图像上表现良好相反一旦这些条件不满足它们的性能就会显着恶化。这促使我们思考是否可以从逆光图像中学习曝光校正模型来恢复自身如果“是”学习的模型将是特定于图像的并且该方法本身可以适应未见过图像的不同设置。实际上仅从测试图像本身学习恢复模型的想法在图像超分辨率领域已被证明是可行的[23]。在[23]中Shocher 等人提出了一种超分辨率模型这是一种特定于图像的 CNN仅在从低分辨率测试图像中提取的内部示例上进行训练。在处理现实世界的低分辨率图像时Shocher 等人的方法大大优于其竞争对手。
因此在本文中受 Shocher 等人在超分辨率领域工作成功的启发提出了一种用于背光图像恢复的“零样本”方案。 “零样本”一词是从识别领域借用的这里用来强调我们的方法不需要事先的图像示例或事先的训练。我们的主要贡献总结如下。
(1)我们方法的核心是一个专门设计的CNN即ExCNet曝光校正网络。给定测试背光图像 IExCNet 可以在有限的迭代时间内估计最适合 I 的参数“S 曲线”。凭借它的S曲线I可以直接恢复。据我们所知我们的工作是第一个自动校正图像曝光的无监督学习框架。它可以轻松应用于不同曝光级别下各种内容的图像。
(2)在设计ExCNet时一个关键问题是如何设计一个可以评估图像曝光不良程度的损失函数。为此在MRF马尔可夫随机场[17]公式的推动下我们设计了一种基于块的损失函数该函数倾向于最大化所有块的可见性同时保持相邻块之间的相对差异。实验表明设计的损失函数可以指导ExCNet获得高视觉质量的恢复结果。当多种竞争方法的结果呈现在他们面前时人们更倾向于选择我们方法的输出。
(3)由于ExCNet的CNN结构我们的方法可以学习图像与其最佳“S曲线”参数之间的映射关系。因此随着处理图像的增加ExCNet在面对未见过的图像时需要更少的迭代次数来收敛到优化曲线。此外在处理视频流时后续帧的校正可以由先前帧的参数来指导这不会导致像[28]那样的明显的闪烁伪影并且计算成本相对较低。
2 S-CURVE
大多数摄影师经常使用S形非线性曲线即S曲线通过照片编辑软件手动调整照片中阴影/中调/高光区域的曝光度[2]。 S 曲线可以将输入电平映射到所需的输出电平。典型的S曲线图如图2所示。图的横轴代表原始图像值纵轴代表新的调整值。调整图像时图表的右上区域代表高光左下区域代表阴影。
正如[28]中所建议的S曲线可以简单地用两个参数来参数化即阴影量 和高光量 因此它可以表示为 3 EXCNET: AN UNSUPERVISED CNN-BASED APPROACH TO ESTIMATE THE S-CURVE
这里详细介绍了我们提出的背光图像恢复方法 ExCNet。 ExCNet实际上是一个CNN旨在从输入图像I的亮度通道估计最佳S曲线。利用估计的S曲线可以相应地恢复I。 ExCNet的结构如图3所示。为了更好地理解它ExCNet的每次训练迭代在概念上可以被认为有两个阶段使用中间S曲线调整并导出损失。这两个阶段的详细内容将在 3.1 和3.2节给出。实施细节将在3.3给出。
3.1 Adjusting Using the Intermediate S-curve 3.2 Deriving the Loss 3.3 Implementation Details ExCNet 可以被认为是一种无监督学习方法。也就是说在处理一些图像后ExCNet可以逐步学习捕获图像色调信息的能力。当处理即将到来的图像时这种预先训练的 ExCNet 的收敛速度比随机初始化的对应图像快得多。因此在我们的实现中我们准备了 50 张背光图像并使用 ExCNet 来估计它们的最佳 S 曲线。最终权重被保存并用于随后处理新图像时初始化 ExCNet。 4 BACK-LIT IMAGE RESTORATION USING EXCNET 值得一提的是我们在实现中还考虑了细节保留。我们首先使用引导滤波器[11]将每个输入图像分离为基础层和细节层然后使用估计的S曲线来调整基础层。最后我们采用韦伯对比度[26]来融合细节层和调整后的基础层。
我们的硬件平台是一个配备 3.0GHZ Intel Core i7-5960X CPU 和 Nvidia Titan X GPU 卡的工作站。该方法使用Python和TensorFlow实现。我们的方法处理一张 4032 × 3024 图像大约需要 1.0 秒。
5 EXPERIMENTAL RESULTS
6 CONCLUSION
背光图像修复具有重要的实际意义但尚未得到很好的解决。本文提出了一种“零样本”背光图像恢复方案该方案利用深度学习的力量无需依赖任何外部示例或事先训练。这是通过一个小型的特定于图像的 CNN即 ExCNet实现的它通过最小化在中间恢复结果上定义的基于块的损失函数来指导恢复进度。所提出的方案简洁而强大。它非常稳健因此可以在不同类型的照明条件下产生令人满意的结果。综合进行了主观和客观评估以证实所提出的方法相对于其他主流竞争对手的优越性。据我们所知这是第一个基于 CNN 的无监督背光图像恢复方法。
