谷歌又买算法送手机了：最新方法让背景虚化细节到头发丝

当真是买算法送手机！

这不，谷歌又给“亲儿子”Pixel 6塞福利了，让手机抠图也能细节到头发丝。

看这效果，原本模糊的头发轮廓，咻地一下，就变成了纤毫毕现的样子！

连发丝之间的缝隙也能精准抠到。

这样一来，就避免了使用人像模式拍照时人物与虚化背景割裂的情况，让人物照片的纵深感更加逼真。

四舍五入一下，这不就是手握单反拍照？（手动狗头）

Alpha遮罩+监督学习

在介绍最新的方法之前，先来了解一下过去手机的人像模式拍照到底是怎么实现的。

传统方法是使用二进制将图像分割，然后对分离出的背景进行虚化，在视觉上产生一种纵深感，由此也就能更加突出人物主体了。

虽然带来的视觉效果非常明显，但是在细节上的表现还不够强大。

由此，谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上，提出了一个全新的神经网络，名叫“Portrait matting”。

其中，主干网络是MobileNetV3。

这是一个轻量级网络，特点是参数少、计算量小、推理时间短，在OCR、YOLO v3等任务上非常常见，具体结构长这样：

在推理时，Portrait matting首先将RGB图像和低分辨率的Alpha遮罩作为输入，用MobileNetV3来预测分辨率更高的Alpha遮罩。

然后再利用一个浅层网络和一系列残差块，来进一步提升Alpha遮罩的精细度。

其中，这个浅层网络更加依赖于低层特征，由此可以得到高分辨率的结构特征，从而预测出每个像素的Alpha透明度。

通过这种方式，模型能够细化初始输入时的Alpha遮罩，也就实现了如上细节到头发丝的抠图效果。谷歌表示，神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行。

此外，考虑到使用Alpha遮罩抠图时，背光太强往往会导致细节处理不好。

谷歌使用了体积视频捕捉方案The Relightables来生成高质量的数据集。

这是谷歌在2019年提出的一个系统，由一个球形笼子组成，装有331个可编程LED灯和大约100个用于捕获体积视频的摄像机。

相比于一般的数据集，这种方法可以让人物主体的光照情况与背景相匹配，由此也就能呈现更为逼真的效果。

而且这种方法还能满足人像被放置在不同场景中时，光线变化的需求。

值得一提的，谷歌还在这一方法中使用了监督学习的策略。

这是因为神经网络在抠图上的准确度和泛化能力还有待提升，而纯人工标注的工作量又太大了。

所以，研究人员利用标记好的数据集来训练神经网络，从而大量数据中来提高模型泛化能力。

One More Thing

用算法来优化摄影效果，其实是谷歌的传统艺能了。

比如Pixel 4中，就使用算法来拍摄星空。

HDR+算法更不必说，曾经引发过大众热议。

这一功能可以在相机启动时、没有按快门的情况下连续捕捉图像，并且会缓存最近保存的9张。这些照片将会与按下快门后的图像一并处理，最终得到一张最优的图像。

>相关《谷歌又买算法送手机了：最新方法让背景虚化细节到头发丝》内容：

谷爱凌夺冠后，全网铺天盖地都是她的消息，这位女孩自身足够努力优秀的同时，家庭同样厉害，比如她的妈妈是北大学士加斯坦福硕士，同时还曾是北大短道速滑队队员兼滑雪教练。 有网友发现，谷爱凌的父亲更是厉害，据说是谷歌5号员工Ray Sidney，而微博老总...【继续阅读】

2月9日消息，科技媒体Phone Arena发文指出， 三星Galaxy S22是三星新一代小屏旗舰，它给苹果和谷歌上了一课。 Phone Arena表示，与iPhone 13 mini相比，三星Galaxy S22的 尺寸恰到好处 ，宽度只有70.6mm，尺寸为6.1英寸，单手操作毫无压力。 对比谷歌Pixel...【继续阅读】

理财鱼小提示：谷歌拆股玩的溜，亚马逊、特斯拉会跟吗？ 最近的财报季，或许最令人瞠目的新闻是谷歌母公司 Alphabet 宣布，它将进行 1 比 20 的拆股。 假设股东投票支持拆股 (而且没有理由表明他们不会)，2022 年 7 月中旬将完成拆股。Alphabet 的每股股价将达到...【继续阅读】