人类文明进入智能智能机黄金时代后,摄影家方式也发生了巨变:用来照相的不再只是摄影家机和感应器了,背后还读取着一系列的影像演算法,它能用更快的速度处置影像,并赢得更快的摄制效用。
好作品只能依赖专业摄影家记者的黄金时代过去了,影像演算法导入到智能机照相应用领域后,让天下人拍得好相片成为可能。
RPD60DX展锐拥有自主研发的影像演算法项目组,而且这些演算法已普遍应用领域在展锐的晶片平台里。目前,展锐的影像演算法项目组已经超过了200人。更快的智能机照相效用需要影像演算法的护持,为了让大家有更快的介绍,接下去的系列,他们准备了两篇科学普及、音频和辑要,一起来看看吧。
这事得从人类文明对美感的交互潜能讲起……
人类文明对美感的交互潜能是艰难变异过程中造成的一项重要潜能,它使得他们眼里的世界多彩的。色调是怎么呈现出来的呢?它是强光通过眼睛光学到角膜上,由角膜上的视细胞核交互光讯号的高低,synaptic对讯号的传播,再由神经系统处置所造成的听觉体会。色调的造成极其复杂,人类文明所赢得的美感体会不但取决于光的力学优点,还受心理等因素影响。
首先,他们先来介绍一下色调的力学优点。裸眼所见到的强光(一般红外线覆盖范围是380-780nm,蟹蛛科花1),是电磁辐射谱中可见光能交互到的部分,相同红外线的可见光表现为相同的色调,对美感的鉴别是裸眼受到可见的电磁辐射热辐射刺激后引发的synaptic感觉。
图1:红外线红外线及其对应的色调
可见光里将光脆弱的细胞核分成三类:光体会器核和光体会器核细胞核。其中,光体会器核对弱强光最脆弱,谱线积极响应覆盖范围覆盖整个红外线区域,在500nm附近达到相应的最大值,但难以界定相同的频段的强光,因而难以造成无腺。在极低的日光水准下,这种的听觉叫做暗听觉,暗听觉仅光体会器核在组织工作。所以在黑暗的夜里,人们能看到球体,却辨别不出球体的色调。
在高日光水准下,主要组织工作的是光体会器核细胞核,有无腺,这种的听觉叫明听觉。光体会器核细胞核分成四类:感红血球核(L)、感绿细胞核(M)和感蓝细胞核(S)。对同一红外线的强光,相同的光体会器核细胞核有相同的积极响应潜能(蟹蛛科花2),因而光体会器核细胞核具有色调的鉴别潜能。
图2:三种光体会器核细胞核将光的积极响应潜能
光源发射某一谱线分布的电磁辐射,经过球体的反射或者透射进入可见光,再通过光体会器核细胞核对强光的探测,这整个过程涵盖了色调的物经验处置,这种现象叫做色调恒常性。
能说,你看到的景色都是经过神经系统处置加工过的,眼见并不一定为实哦~
影像演算法最大的用途是能修复相片,使摄制到的相片赢得真实的美感效用,或者满足用户的某些美感偏好。
【自动白平衡】
在展锐的ISP(ImageSignalProcessing)系统里,主要有自动白平衡(AWB)和色调校正(CCM)模块来处置美感。
先看自动白平衡,ISP系统须要根据影像的统计信息,计算出影像R、Bchannel的增益,以实现自动白平衡功能,以求在各种复杂场景下均能准确还原球体本来的色调。因为人类文明听觉系统具有色调恒常性的特点,对事物的观察能不受光源的影响,但影像感应器不具有这个特点,因而在相同强光下摄制的影像,会呈现出相同的色调。比如,在晴朗的天空下摄制的影像可能偏蓝,而在烛光下摄制的球体可能偏红。
自动白平衡功能,就是模拟了人类文明听觉系统的色调恒常性特点,来消除光源对影像光学的不良影响。
图3:左边是自动白平衡功能关闭,右边是自动白平衡开启
RPD60DX展锐的自动白平衡演算法具有以下特点:
效用稳定性好:所谓效用稳定性,指的是照相场景发生细微改变时,影像美感效用不会出现明显跳变。
准确度高:展锐的算法在处置绝大部分场景时,都能得到符合预期的结果,尤其是用户关心的蓝天、绿植、人物等等重点场景和混合光源、纯色、夜景等难点场景。
适用覆盖范围广、灵活性好:展锐的演算法既能运行在入门级相机设备上(如30万像素的手表项目)上,也能运行在中高端相机设备上(如3200万像素以上的智能机项目),还能应用领域到车载记录等物联网领域中。而且,相同产品,展锐的自动白平衡演算法能实现灵活配置,实现演算法效用、演算法复杂度、内存消耗等多样化的分级需求。
【色调校正】
相机实际是在模拟可见光的彩色光学来拍图,由于相机感应器的RGB三通道的谱线积极响应与可见光里视细胞核的谱线积极响应(蟹蛛科花2)相同,导致其摄制的图片与可见光看到的有差别,因而须要进行色调校正(ColorCorrectionMatrix,CCM)。
色调校正矩阵一般通过标定得到,利用影像感应器摄制得到的影像与标准影像相比较,计算得到校正矩阵(即CCM矩阵)。利用CCM矩阵对影像的各像素点的进行验收校正,以赢得最接近于球体真实色调的影像。
一般情况下,在色调校正过程中,都会伴随有色调饱和度的调整。色调饱和度是指美感的纯度,其美感的纯度越高,影像表现越鲜明;纯度越低,表现就越黯淡。
图4:左边是CCM关闭,右边是CCM开启
图5:展锐CCM模块的美感还原效用评测
(图中18个小圆点和小方点越接近,则表示美感还原性越好)
随着机器学习等高新技术的发展,以及用户对智能机照相功能的需求日益苛刻,色彩还原技术也会面临一些新的机遇和挑战,例如如何利用AI技术提升美感还原效用,如何在多摄像头智能机上实现更加一致的美感还原。这些附加技术将给用户带来更快的智能机照相体验,进而持续提升公司产品的竞争力。(一鸣)