说明 | 本文由论文作者（课题组）撰稿
在移动端成像不断发展的今天，手机摄影成为了人们获取图像、记录生活的主要手段。但由于物理空间的限制，手机成像系统无法使用精密的光学系统设计和宏大的传感器配置。 为了弥补手机摄影与单反之间的差距，研究者们将大量精力投入到手机退化图像的重建中。如构建手机图像-单反图像的数据对并使用深度学习方法进行复原，这是目前唯一有可能实现实时处理的方法。 可是针对性的训练数据往往难以获取，现有的手机-单反数据对只是表征了从一个镜头的光学像差映射到另一个镜头的光学像差的过程。如图1所示，不同的光学系统存在着不同的成像退化，即使最好的单反镜头（如：EF 50mmf /1.2 L USM，图1b所示）也存在着较明显的光学像差。 因此，基于深度学习的手机图像复原方法面临两大问题：
（1）现实中不存在一个没有光学像差的相机能够无损地还原真实的拍摄场景； （2）当光学系统改变时，训练数据需要重新拍摄，极大地增加了复原的工作量。
针对这类问题，浙江大学冯华君教授、徐之海教授团队创新性地提出使用光学成像仿真来模拟场景在相机中的成像结果。并将模拟得到的退化图像与场景的二维投影图像构成数据对用于深度学习模型的训练。一举解决了上述“完美图像不存在”和“训练数据获取工作量大”两大问题。 该成果以“Optical Aberrations Correction in Postprocessing Using Imaging Simulation”为题发表于 ACM Transactions on Graphics。
根据光线从场景发出、经过光学系统达到像面、转换成电信号进行后处理的整个过程，研究人员设计了整套的光学成像仿真模型来进行准确模拟，其大致流程如图2所示： 为了验证光学成像仿真模型的准确性，研究人员自主设计并加工了一套严格控制公差的成像系统，保证光学系统的加工结果与设计值偏差极小。实验验证结果如图3所示，研究人员将Zemax、光学成像仿真、实拍结果进行了比较。结果证明该光学成像仿真相比于Zemax更接近真实的成像结果，可用于构建深度学习模型的训练数据。 利用针对某一光学成像系统构建的数据集，研究人员训练了深度学习网络用于退化图像的复原（深度学习算法部分请参阅论文）。研究人员在某一款手机成像系统中测试了该方法的效果，并与手机内置的后处理算法进行了比较，结果如图4所示： 该方法所提出的数据构建方式和深度学习模型可以很好地应对空间变化的光学像差退化，在边缘视场时复原效果极大地优于现有的手机后处理算法。研究人员测试得该复原模型在手机平台处理时间为0.5s，基本符合单帧实时后处理的要求。在手机上应用成像仿真的方法时，研究人员发现手机成像系统由于其加工工艺与成本的限制，与理想的光学系统偏差较大。这一问题导致了成像仿真模型无法准确地模拟手机成像系统的退化结果。 为了解决这一问题，团队模仿“张正友标定”创新性地提出利用“标定”方法获得存在误差的成像系统的光学退化。研究人员利用手机成像系统拍摄棋盘格标靶图像，并用深度学习的方法训练线性模型，将棋盘格标靶中编码的光学退化“传递”到自然图像中用于深度学习模型的训练。 该成果以“Extreme-Quality Computational Imaging via Degradation Framework”为题发表于IEEE International Conference on Computer Vision (ICCV) 2021。 光学退化的“传递”过程如图5所示，标定过程只需要拍摄旋转不同角度的棋盘格标靶即可实现。“传递”的训练过程将某一个视场的棋盘格退化记录于一个只有卷积层，没有激活层的深度线性网络中。在测试时，深度线性模型记录的退化信息将被“传递”到自然图像中获得类似于实拍的退化图像。 在完成退化“传递”并构建数据对后，研究人员提出了一个新的图像复原模型用于解决某一个成像系统的光学退化。如图6所示，针对成像系统随视场不断变化且形状大小不确定的退化情况，研究人员创新型地提出了“视场信息编码”和“可变形卷积残差解码”模块实现空间自适应复原。 研究人员将该方法在手机上进行了测试并与内置的后处理算法进行了比较（如图7所示）。实验结果表明：在实拍的自然图像上，该方法相比于传统的手机后处理算法有较大的优势，可以在不增加大量计算量的前提下还原更真实的拍摄场景信息。 除了自然图像复原的实验以外，研究人员还比较了该类方法用于色差矫正和MTF提升方面的应用。如图8所示，研究人员比较了复原前和复原后刃边的色差信息，该复原方法对于不同的通道进行了自适应处理，将色边的过渡区域收敛到了一个像素以内。 MTF的提升效果如图9所示，可以看到矫正后的MTF指标相比于矫正前获得了较大的提升。同时矫正后的MTF指标接近当前孔径下的衍射极限。 得益于深度学习方法的发展，浙江大学的研究团队通过成像仿真与退化传递的方法克服了商业光学系统成像质量低、无法针对性复原的问题，实现了摄影物镜接近衍射极限的像质提升。该成果是国际首创的基于物理模型的图像复原方法。
该方法使得强调轻便性的手机摄影向着高质量成像的领域又迈进了坚实的一步，对于光学系统的简化和小型化也有较大的指导意义。
该成果已被商业化应用于移动端成像中，普遍获得了较好的反馈与较高的评价。
论文信息：
【1】Shiqi Chen, Huajun Feng, Dexin Pan, Zhihai Xu, Qi Li, and Yueting Chen. 2021. Optical Aberrations Correction in Postprocessing Using Imaging Simulation. ACM Trans. Graph. 40, 5, Article 192 (October 2021), 15 pages. DOI:https://doi.org/10.1145/3474088
【2】Shiqi Chen, Huajun Feng, Keming Gao, Zhihai Xu, Yueting Chen; Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 2632-2641
转载 | 中国光学公众 号
