封面文章|王晓娜，黄宇然，匡翠方，等. 基于反卷积的手机屏下成像图像恢复[J]. 光电工程，2021，48(6): 200423
研究背景
从全面屏手机的概念提出以来，手机屏占比已经提高到超过95%。然而，手机前置摄像头仍需占用一定的空间，这限制了手机屏占比的进一步提高。要继续提高屏占比、实现真正的全面屏，其根本方法是将手机前置摄像头置于屏幕之下，实现手机屏下成像。
手机屏下成像的主要难点在于，摄像头位于手机屏幕下方，为满足手机屏幕的显示功能，屏幕中存在电路走线和其他不透明部分，这些部分产生的狭缝使光通过的时候发生衍射，影响到最终成像的图像质量。
为提高屏下成像的图像质量，目前主要有两种方法：其一是从硬件的角度考虑，对前置摄像头附近屏幕的材质、走线等进行特殊设计，降低走线及其他遮挡部分的占比，减少狭缝数量，从而降低甚至消除衍射影响；其二是从软件算法的角度出发，通过图像处理的方法提高已经拍摄的图像的质量。
研究亮点
浙江大学匡翠方教授研究团队从图像复原的角度，对屏下相机拍摄的图像进行了恢复。研究人员将LED发出的光耦合到芯径为50μm的光纤中，以光纤发出的光作为点光源，使用多张平均的方法去除随机噪声，测量得到手机成像系统的点扩散函数(point spread function，PSF)，利用测得的PSF，对图像采用约束最小二乘滤波进行反卷积处理。
本项研究改进了传统的反卷积方法，将图像从RGB颜色空间转换为YCrCb空间，其中，Y表示亮度信息，Cr、Cb分别表示色调和饱和度，也即颜色信息。由于图像清晰度主要受亮度信息影响，因此只需要对Y通道进行反卷积处理。为了进一步降低噪声影响，也同时对Cr、Cb通道进行高斯滤波处理降低噪声，将处理后的YCrCb转化回RGB颜色空间，形成传统的彩色图，如图1（a）。
图1 反卷积过程的颜色处理。(a) 颜色空间转换流程图；(b) 拜尔滤色阵列三色滤光片RGGB排列示意图
相较于传统反卷积方法，改进后的反卷积方法得到的处理结果在结构相似度(SSIM)、峰值信噪比(PSNR)等指标上都有提高，运行时间更短。在分通道反卷积之后，使用非局部平均算法进行去噪处理，进一步提高了屏下图像的质量，最后结果如图2。
图2 分辨率板的处理结果。(a) 屏下原始图像；(b) 传统反卷积处理后结果；(c)本文的分通道反卷积之后清晰度提高的图像；(d) 对分通道反卷积结果去噪后的图像
该工作得到了国家自然基金重大科研仪器研制项目(61827825)的资助，并以“基于反卷积的手机屏下成像图像恢复”为题作为封面文章发表在《光电工程》2021年第6期。
研究团队简介
浙江大学匡翠方课题组主要从事超分辨显微成像新原理、新仪器的创新研究。主要研究成果包括：（1）针对现有荧光超分辨的不足，提出了虚拟移频技术，荧光非线性移频机理，开拓了一种超分辨的新方法。（2）提出了一种新的荧光发射微分超分辨方法，并取得了一系列成果，其最大特点是不需要特殊荧光染料，大大降低了样品的制备难度，应用范围更为广泛。（3）提出了单波长非线性竞争的新方法，使光剂量可以降低一个数量级，分辨率达到λ/13。成果获得2019年中国技术发明二等奖，2018年度中国光学科技奖一等奖，2016、2017、2019年度三次中国光学十大进展（应用类）等。
DOI:10.12086/oee.2021.200423
获取本文：长按识别此二维码，直达全文
原文刊载于【光电期刊】公众号
本文版权归原作者所有，文章内容不代表平台观点或立场。如有关于文章内容、版权或其他问题请与我方联系，我方将在核实情况后对相关内容做删除或保留处理！