P图,还是阿逗比厉害(大师加持)

P图,还是阿逗比厉害(大师加持)
2018年06月18日 12:14 量子位

岳排槐 发自 凹非寺量子位 出品 | 公众号 QbitAI

没想到P图,已经到了这层境界。

想要变成高手,想要随心所欲的修图,以后可能不需要苦练基本功了,你只需要一个马良那样的神笔。

当然,我们说的“神笔”是一个AI。

有多神?来看看实时(不剪辑、不快进)的演示。

想去掉沙滩照片中间那个骑车的人。简单,你需要擦掉这个人(相当于加了一层掩膜mask),然后点击红色的填充(Fill)按钮。

什么?还想去掉更多人?简单。

再来一个。

这个风景照,能用来表白么?当然可以,只需要简单的几下处理。首先,把山洞的上边缘涂抹掉。

接着画上两条弧线,然后点击红色的填充(Fill)按钮。

一个心形的山洞就这么成了。

当然,还能用来“微整形”。

想要改变眉形和下巴,只需要擦掉-画线,然后一点。

搞定~

轻松又愉快~

这是怎么做到的?

这套随心所欲的P图AI名叫DeepFill(v2),它基于一个门控卷积网络,能够处理任意形式的掩膜,以及用户手绘的线条。

如开头所示,这个深度学习系统可以帮助用户快速擦除画面上不想要的部分,修改图像的布局、编辑面部,以及在图中交互式创建新对象。

上图左边是局部卷积网络,右边是门控卷积网络。

对于这个神经网络而言,输入信息分成三个:颜色通道(RGB Channel)、掩膜通道(Mask Channel)、手绘通道(Sketch Channel)。

当然除了门控卷积网络之外,DeepFill(v2)里还包括SN-PatchGAN(光谱归一化马尔可夫判别器)等关键部件。

总之一句话,这个套系统显著提高了P图的效果。没有对比,就没有伤害。下面是横向对比时间。

上图最左边是输入,照片被各种涂抹,白色的部分就是所谓的掩膜,黑色的细线就是手绘的部分。中间是各种神经网络的处理结果,其中标注Ours的图片,就是DeepFill(v2)的处理结果。

最右侧是原始照片,下同。

这是开头见过的那个例子。去掉海边沙滩上其他三个人。

还有这个,按照想要的方式,修剪远处的小树丛。

显然,DeepFill(v2)确实厉害。

大师团队

这个厉害的研究,共有六位署名作者。其中四位来自Adobe,也就是搞出Photoshop的那个公司,民间俗称“阿逗比”。(昨天的报道里,Facebook刚说阿逗比不行,看来……)

而第一作者和最后一位作者,来自UIUC。

一作,余家辉。现在是UIUC三年级的博士生。2016年,余家辉本科毕业于中国科技大学少年班学院。

余家辉的导师,也是这次最后一位作者,是著名的科学家黄煦涛(Thomas S.Huang)。黄煦涛是美国工程院院士,被誉为“计算机视觉之父”,也是中国工程院外籍院士、中国科学院外籍院士。

集合Adobe和大师团队之力,怪不得DeepFill(v2)是P图高手。

可能你一直好奇,为什么名叫DeepFill(v2)?难道……没错,这次的工作,就是基于这个六人团队的前作:DeepFill(v1)。

第一版DeepFill的补图能力没这么强,也不能根据手绘的线条,按需修图。不过,DeepFill(v1)倒是放出了Demo,大家可以试一试。

更多展示

为了体现DeepFill(v2)的实力,再放几个P图实例。

传送门

最后,如果你对DeepFill(v2)感兴趣,有一篇发在arXiv上的tech report可以看,传送门:https://arxiv.org/abs/1806.03589。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部