首页 > > 正文

双摄像头到底有何魔力?两个真比一个好?

 

导语:最近一段时间,越来越多的手机使用了双摄像头,中兴、奇酷、华为、HTC都发布了双摄像头的产品。其中诸如华为P9、荣耀8等产品的拍照效果非常不错。取得了权威网站Gsmarena和Dxomark的肯定,这类产品的画质,特别是弱光下的表现令人印象深刻。

引得苹果也孤注一掷的双摄像头到底有何魔力?

其实,智能手机用双摄像头并不是首次,早在2011年,HTC和LG就有过双摄像头的尝试,但是并不成功。为何当年LG的双摄像头失败了,而如今双摄像头就能成功呢?我们来看一下双摄像头的发展史。

双摄像头相机的黑历史

引得苹果也孤注一掷的双摄像头到底有何魔力?

在解读iPhone 7 Plus的摄像头之前,我们先讲讲双摄像头的缘起。起先,双摄像头的出现是为了追赶当年《阿凡达》带来的3D大潮,2011年的HTC Evo 3D也着实火爆了一段时间。不过由于噱头的成分太大,这款机型成了短命鬼。

随后,擅长跟风的LG也推出了搭载3D摄像头的机型,但最终该机也黯然退场,随后,搭载3D相机的机型在市场上绝迹。

2014 年,不甘心的HTC又带来了M8,该机也搭载了双摄像头,不过它可不是为了拍3D照片,这次HTC主要是为了达到所谓单反相机的浅景深效果(背景虚化)。 随后华为也推出了类似原理的荣耀6 Plus,而今年年初,小米为了赶双摄像头的风潮,也拿出了红米Pro,不过它与现有的主流双摄像头技术已经没有什么交集了。

此外,除了算法不成熟的原因,此前3D摄像头没能活起来也是受了智能机处理能力所制。

一、3D,双摄像头的产生

人有两只眼睛,两只眼睛看到的世界是不同的。人脑合成两只眼睛看到的图像,就有了立体感,就能判断出距离的远近,就能看到现实世界。

而我们日常所看到的照片,视频都是平面的,二维的。这些照片,视频都是单个镜头拍摄出来的。

所以,手机的双摄像头最初是给3D服务的,通过拍摄不同的影像,合成出3D的影像,更好的展现显示世界。

这个思路的代表产品是LG的P920,两枚500万像素的摄像头可以拍摄出特殊的3D照片和视频。

但是这种思路忽略一个重要问题,就是3D照片,视频的观看问题。屏幕是二维的,要看到3D照片,需要特制的裸眼3D屏幕,或者红蓝眼镜,液晶偏振眼镜。LG P920可以用裸眼3D屏幕,但是在社交网络爆发得情况下照片分享出去,别人就没法看到3D效果了。

当时摄像模组价格不菲,成本增加又只能孤芳自赏,这种产品自然很快淘汰。

二、先拍照后对焦,双摄像头的二次进化

在3D应用淘汰几年以后,HTC又在M8上尝试了一次双摄像头,这次HTC搞的不是3D,而是先拍照后对焦的可玩性。

简单说,就是HTC的M8搞了两个不对称的摄像头,一个是正常的摄像头用户拍摄,另外一个只记录景深信息。这样用户拍照之后,可以随意调整画面内的对焦点,达到先拍照后对焦的目的。

这种创新只是增加了可玩性,因为正常拍照来说,并不差0.x秒的对焦时间,也不需要为了一张照片去做焦点的切换,拍人就是拍人,拍景就是拍景。技术上的不成熟,导致先拍照后对焦后背景虚化效果不真实,加之可玩性不是大众用户的核心需求,于是双摄像头的二次进化又失败了。

三、提升画质,双摄像头的正路

在3D,景深都失败以后,双摄像头找到了一条新路,就是把握人们的核心需求——拍照画质。

手机拍照和相机一样,画质主要是镜头,CMOS,IPS与后期算法决定的。而CMOS的品质与大小对画质非常重要。所谓的“底大一级压死人”。但是因为光 学技术所限,CMOS越大,法兰距就越大,相机模组就要厚,手机厚度也就跟着厚。诺基亚808用了手机业内最大的1/1.2寸 CMOS,有最佳的画质,而它的镜头部分厚度超过16mm。

现在主流手机的厚度不超过10mm,在这个尺寸限制下,大多数手机CMOS的大小不超过1/2.3寸。

要在手机有限的厚度内提升画质,双摄像头方案又被请了出来。第三代双摄像头是两枚同样的摄像头,这样一次拍照就获得了两倍的进光量,两块CMOS同时感光,然后通过算法融合两张图片,就获得了比单摄像头更好的画质。

由于画质是人们拍照的核心需求,所以这个方案被广泛接受。荣耀6Plus,酷派铂顿都采用了这个方案。

四、更进一步,双摄像头深度进化

本来双摄像头提升画质已经满足了人们的需求,但是技术无止境。人们发现还可以更好。

普通的彩色拍照颜色不是自然采集的,而是通过拜耳摆列的滤色片算出来的。就是说一个CMOS是1300万像素,而实际上四个点构成一个完整的彩色像素信息,这个1300万像素不是真实采集了1300万个彩色的点。而是算出来的1300万。

对于单摄像头来说,滤色片必不可少,否则就不是彩色照片了,而对于双摄像头来说,滤色片只给一个CMOS就够了,另外一个只采集灰度信息,可以获得更多的信息,更丰富的层次。

一个彩色CMOS,一个黑白CMOS通过算法组合,可以获得比两个彩色CMOS更好的效果。

例如最新发布的荣耀8,用 1.4微米单位像素面积CMOS,通过双摄像头组合,实际上可以达到1.76微米单位像素CMOS的效果。

而在实测中,双摄像头又可带来更高的进光量,这样低光下双摄像头的噪点优势很明显。这种优势不仅仅是理论上,而是实打实能够看到的。

而且,双摄像头也可以玩第一代的3D,第二代的景深,同时在背景虚化,快速对焦上也有特有的优势。

第四代双摄像头技术,在抓住画质这一核心竞争力的同时,也继承了前几代的可玩性。

回顾一下手机双摄像头的历史就会看到。虽然双摄像头的兴起是因为3D这种特殊需求,但是人们真正需要的不是诸如3D,景深这种可玩性,而是实打实的画质需求。

荣耀8搭载的这种第四代双摄像头方案首先满足了人们核心的画质需求,然后又提供了诸如3D,景深这种可玩性,还提供了特有的双摄像头快速对焦,更好的虚化效果。

一专多能,兼顾核心需求和特色功能。这便是荣耀8双摄像头方案能够获得消费者认可,并有望在智能手机行业普及的秘密。

双摄像头构造

高端智能手机的亮点越来越少,雷兔兔跑分已经无法表现手机的优势。于是更霸气的双摄像头闪亮登场了。这里说到的双摄像头,并非是像以前的智能手机,前后各一个摄像头,而是一共用两颗后摄像头,模拟人的一双眼睛,来实现更多的拍照功能和更好的拍照效果。

一般来讲,目前的智能手机的摄像头接口都是MIPI(Mobile Industry Processor Interface)接口。之前手机平台都只有2路MIPI接口,分别给前摄像头和后摄像头。做双摄像头,就要求平台至少支持三路MIPI接口。其实在之前的高端平台上,为了实现更高像素,已经用双路ISP(Image Signal Processing,图像信号处理器)了,比如为了支持16M的摄像头,会用2路8M能力的ISP。这类平台很有可能只有2路MIPI,但这个无法阻止工程师去做前单摄像头+后双摄像头。

双摄像头应用

那问题来了,双摄像头到底能做什么?

1、双摄像头可以测距,可做距离相关的应用

人眼很容易对一个物体的距离进行定位,但当人闭上其中一个眼睛后,定位能力就会下降很多。双摄像头就是模拟人眼的应用。简单的说,测距离的话,就是通过算法算出,被拍摄物体与左/右摄像头的角度θ1和θ2,再加上固定的y值(即两个摄像头的中心距),就非常容易算出z值(即物体到Camera的距离)。

不过这也很容易推算,若两个摄像头中心距过小的话,可计算的物体距离就会很近。若想算出更远距离,就必须让左右摄像头的距离拉远。

如上图,由于双摄像头通过算法,可以判断被摄物体的距离,所以通过此特性,很容易做出一些特效,如:

A、背景虚化

单反相机最出众的特色之一就是大光圈。由于双摄像头可以测出不同被拍摄物体的距离,对需要进行大光圈的物体对准,其他不同距离的物体虚化,可以轻松实现大光圈的效果。

(原图)

(以美女为中心对焦,虚化背景和手上的蘑菇)

(以蘑菇为中心对焦,虚化背景和美女)

B、背景替换

由于可以测量距离,可以将被拍摄物体里的主体提取出来,更换背景,就可以比PS还简单,进行抠图。

C、背景特效

由于可以测量距离,分出主题和背景,所以很容易对背景做任何处理,就不在这里过多描述。

D、测量距离

这个图就非常明显的标识出不同物体的距离,这个距离信息用不同颜色标识出来。当AP获得了不同物体的距离信息,就可以做到上述的各种功能。

2、双摄像头可以做光学变焦

光学变焦主要是左右摄像头使用不同的FOV(可视角),这样两个摄像头取景不同。当用户需要广角照片,则用视角为85度的左摄像头取景,获得广角效果。当用户需要长焦照片,则用视角为45度的右摄像头取景,获得长焦效果。

为了使左右摄像头拍摄的物体重叠度高,光学变焦的双摄像头模组不能像做距离应用的摄像头的模组那样距离过大,而是需要将左右摄像头摆得越近越好。

若两个Camera的FOV不一样,一个大FOV,一个小FOV,再通过算法实现两个光学镜头之间的效果,就可以轻松做到光学变焦。

若不用双摄像头,放大图片后,文字不清楚

若使用双摄像头,放大图片后,文字依然清楚

此图就是融合了广角的图和长焦的图,通过算法算出了中间态度照片,让细节不失真

 

3、暗光效果增强

一般来讲,做暗光增强就是在两个摄像头中:一个用RGBG的标准摄像头,一个用去掉RGBG滤波片的黑白摄像头。RGBG用来获得物体的色彩,而黑白摄像头用来获得更好的进光量,来判断被拍物体的光强强度。然后将两个图片融合即可获得更好的暗光增强。

目前有两种融合方法:

以黑白图片为主体,将彩色图片上获取的每个像素的颜色贴至黑白图片上,将两种图片融合。

以彩色图片为主体,将黑白图片上获取的每个图像的光强补偿到彩色照片上,将两种图片融合。

至于哪种方式更合适做融合,可能仁者见仁智者见智,就不在这展开讨论了。

同样,做暗光增强,为了让左右摄像头拍摄的物体重叠度高,此类双摄像头模组也是要求越近越好。

需要说明的事,华为P9其实选用的就是这个方式的模组

当然有些业内人士也表示这种算法目前做的效果并不明显。暗光补偿对用户来说的确很有帮助,尤其拍夜景的时候。不过有些客户认为索尼和三星的Dual PD技术就非常好,更愿意用Dual PD摄像头来做暗光补偿。

到底是双摄像头还是Dual PD的暗光补偿效果好,大家可以比较一下华为P9和三星的Galaxy S7 edge,就会有答案了。

这个一般使用彩色+黑白的摄像头。通过黑白摄像头获取图片的光亮强度,来对图片暗光补偿。

  4、3D拍摄以及3D建模

3D拍摄和3D建模的算法其实跟距离应用有点类似,只是它的精度要求更高,甚至有时会需要用红外测距进行更准确的距离判断。

提到双摄像头的算法,不得不提到ISP(Image Signal Processing 图像信号处理器),ISP主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了手机的成像质量。

功能机时代,ISP都是做在摄像头上的,不同像素的摄像头搭配不同性能的ISP。随着手机摄像头像素越来越高,对ISP性能的要求越来越高,若将ISP集成到摄像头Sensor上,势必造成摄像头的模组过大,甚至影响拍照效果。所以智能机时代,ISP一般都是在主芯片SoC上。部分品牌客户为了实现更好的效果,甚至不惜成本的外加一颗ISP用来达到更好更专业的拍照效果。

好的拍照算法就需要搭配好的ISP,ISP和算法相辅相成,缺一不可。而双摄像头对ISP性能要求更多。首先,为了使左右摄像头的信号能够同时被处理,单一的ISP已经无法满足双摄像头的需求。这就需要双路ISP实现此功能。

以暗光增强为例,彩色/黑白图像分别进入各自的ISP通道和校准通道,然后将两副图片做匹配(如将两幅图片相同的部分提取出来,去除只有一个摄像头拍到的部分),然后通过遮挡,检测,补偿等算法处理相关的图片。最后将两幅图片融合起来,实现颜色的增强。当然实际上ISP配合算法做的事情,远远比这图片上写的要多。

当然,在这里面也有一个小小的插曲。毕竟是两个ISP,两个ISP多少有一些处理速度、处理能力不同的问题。为了保证两个ISP能在同一时间上取样,就需要双摄像头拍出来的图片是同一时间拍出来的。其中一个解决办法就是让Sensor有一个同步信号引脚。将两个摄像头的同步信号对接,在每次读取图片时,将图片都打上一个时间戳,ISP通过时间戳,保证左右摄像头拍出来的照片在同一时间拍摄,最终再进行融合。

不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差,这是由于两个摄像头中间的距离和人眼不一样。而且为了能够让人们更明显地得到3D视觉效果。所以往往需要算法进行增强。

由于可以测出距离,后续的双摄像头不仅仅可以实现3D摄影,还可以进行3D建模,到这个时候,我想双摄像头的重要性则会更加重要。

其他的效果增强,比如HDR、提高分辨率,这些功能其实单摄像头也可以实现,只是双摄像头可以让效果更好,就不一一列举了。

小结:

目前来看,这几个功能是双摄像头手机最常见的功能。背景虚化/更换,暗光效果给用户带来了更多的拍照效果;光学变焦则让我们感受了变焦功能的相机功能;但个人觉得未来最让人激动的则是3D功能。

今年VR这么火,VR的素材哪里来?还是得靠双摄像头算法的优化。若3D拍照和建模的算法成熟后,将会让双摄像头变得更加流行。

双摄像头的生态链

前文我们讲了双摄像头的应用及其原理。现在我们就重点来说说双摄像头的产业链。

1、双摄像头算法供应商

由于算法是需要跟ISP配合的,所以算法和ISP是相辅相成的,想把算法做好,也得有好的ISP。

作为主平台供应商,高通/联发科都有自己的ISP,所以也自己开发了双摄像头算法。至于其算法好坏,还有待市场的检验。

而作为Sensor供应商,Sony、Samsung、OV也在积极开发双摄算法,暂时也没有看到量产的产品。不过在功能机时代,是没有ISP的。这些Camera sensor的供应商做2M/5M的时候,都得搭配自家的ISP,所以这些供应商都是有自己开发ISP的经验。所以开发双摄像头算法,相对来说也是有相关的经验的。

Apple去年收购了Linx,也拥有了多摄像头的专利和算法,是否会用在自家的双摄像头机型,那就看今年的iPhone7。理论来上说,Linx有足够多的算法,所以Apple不至于跟某大厂去买双摄像头的IP授权。

除了这些平台,sensor供应商和智能机的品牌商会自己开发双摄像头算法外,其他供应商我们一一列举一下:

1996年成立于台湾的华晶,主要开发独立的ISP芯片。部分高端手机、相机和车载都有用其ISP的案例。双摄像头手机也有用其ISP的。距离应用、光学变焦和暗光补偿都有所建树。

一家以色列的公司。其算法的优势主要在光学变焦和暗光补偿上。景深方面,也有一定的研究。从媒体宣传来看,hTC有机型采用了其算法。

虹软成立于1994年,总部在美国,在上海,杭州和南京都有技术中心。虹软的强项是光学变焦和暗光补偿。上一篇里的第二个光学变焦图和暗光补充的图就来自虹软。

上海兴芯微是一家成立于2011年的公司,主要从事图像处理器的研发,目前产品主要应用在车载市场。做为为数不多的研发独立ISP的公司,目前也在开发双摄像头的算法和ISP。在双摄像头市场起来后,X-Chip将会是一匹非常有潜力的黑马。

双摄像头也是刚刚出来, 所以算法方面,各家都有各自的优点和缺点。不过从目前已经推出的双摄像头手机效果来看,各家的算法还有待提高。等各种算法能力上去后,势必会让双摄像头成为手机的标配。

2、双摄像头sensor供应商

由于双摄像头在拍照的时候,需要两个摄像头同步时间戳,这就需要Camera Sensor有同步信号。目前有此同步信号的sensor供应商有Sony、Samsung、OV、格科微。所以双摄像头的Sensor主要用这几家的产品。

3、双摄像头模组供应商

目前能做双摄像头的模组厂很多,有光宝、舜宇、信利、Namuga、O-Film、三星机电、丘钛。不过有量产经验的主要是光宝、舜宇和信利。华为的机型主要是用光宝和舜宇的模组。而O-Film和三星机电凭借其强大的工厂能力,现在也大举进军双摄像头模组领域。Namuga则是跟各算法公司保持良好的沟通关系,并为三星手机的供应商,也逐渐在双摄像头模组领域发力。

不过不同功能对模组要求不一样。我们继续拿上文说的四个功能为例:

距离方面的应用,一般的做法,就是大小摄像头,常见的摄像头规格如13M+2M,13M+5M。如下图:

或者就是把两个摄像头放得远一些,如下图:

通过这两种方式,才能更好的计算被拍摄物体到镜头的距离。

光学变焦的双摄像头模组,最主要是两个摄像头需要有不同的FOV,类似下图:

不同的FOV,拍出来的聚焦点不同,再通过算法,就可以实现光学变焦功能。

一般的暗光增强,都是通过一个RGB全彩色的摄像头+一颗MONO黑白的摄像头进行拍摄,如下图:

算法方面,主要是通过右面的黑白摄像头读取进光量的多少,从而补偿左边RGB摄像头的色彩。

3D拍摄和建模,这种方式跟距离相关的模组有点类似。只是3D对距离的精准度要求更高。这种情况下,更需要将两个摄像头的距离摆得远一点,甚至有些会采用外加红外辅助定位来实现距离测量,最终实现3D拍摄和建模的作用。

双摄像头模组制作的难点:

双摄像头的做法,一般有两种:共基板,或者共支架。如下图:

若共基板,则是将两个Camera Sensor共同放在同一个基板上,然后一个FPC从此基板上引出来即可。若共支架,如上图,通过支架将Sensor固定住,每个Sensor有自己的基板和自己的FPC。

共基板的优点:两个Sensor可以坐在同一个平板上,而且抗跌落。

共基板的缺点:良率低,造成价格昂贵。

共支架的优点:良率高,价格较好。

共支架的缺点:因为是两颗独立Sensor模组,需要通过AA校准使其在同一个平面上,难度大,抗摔落也差。

总之两种方法各有优缺点,目前只有华为采用的是共基板的方式。但无论哪种方式,目前良率都是较差的,所以成本还是很高的。

双摄像头的未来

若算法提高,模组良率提高,双摄像头还是有很多优势值得大家去做的。

不过由于不同功能对模组摆放要求不同,双摄像头目前来看,有可能完全无法满足大家对摄像头的要求。

由于谷歌推出Project Tango的时候,很聪明地提出了一个三摄像头的概念:当需要测距和3D建模的时候,可以用两个距离远的摄像头;若做光学变焦和暗光补偿,可以用两个距离近的镜头。甚至此Depth Sense可以结合红外,更准确的测量距离。

无论如何,随着双摄像头算法的演进,VR需求的增加,摄像头发挥的作用越来越大。双摄像头,甚至前双摄像头+后三摄像头的手机,明后年很有可能变得越来越常见。

[责任编辑:郭正杰]