让你在视频通话中C位出镜的AI慧眼,究竟有什么秘密?

让你在视频通话中C位出镜的AI慧眼,究竟有什么秘密?
2019年12月30日 09:40 科技小畅

过去,书信的第一句话常常是“见信如面”。

如今,有了视频通话,

让远隔天涯的亲友也仿佛就在眼前。

手机视频通话虽打破了距离的禁锢,但是:

手机视角很小,基本上只能容下一个人。

你的手很累,除了举着手机什么也做不了。

屏幕很小,离太远看不清楚,离太近显脸大。

为了让你的视频更轻松更自由,华为EMUI10带来了全新的视频通话体验—畅连通话,通过拨号就能在华为智慧屏、手机间自由视频通话。

华为智慧屏视频通话除了大屏优势,容纳得下一家人,还可以通过AI慧眼实时跟踪人像。

AI慧眼?就是智慧屏上的自动升降摄像头。你可别小瞧这颗小小的摄像头,它的功能远不只这些。

它应用独有智能人像锁定技术,可以自动追踪你身影。无论你如何移动它都能精准捕捉,并给予特写镜头。再结合专业的美学构图,让你时刻C位出镜,呈现给对方最美的画面。

这么神奇的功能是如何实现的呢?

有美学构图,无论坐哪里你都是镜头宠儿

首先,我们来聊聊当人物静止时,它是怎么找到你并把你放在画面的C位的。

华为构建了一个高精度的检测模型——基于卷积神经网络(CNN)的人脸、人头和人体框检测模型,来完成人脸人体目标的检测。

检测到人体后,我们再根据美学构图的基础知识,像拍照一样,把人体放在视频画面中构图最美的位置。

美学构图的基础知识告诉我们应当避免“左右压线”、避免“顶天立地”。

经过大量的用户调研,选取常见的5种景别,分别为:近景、新闻、中近景、中景、中远景。

在接通畅连通话的一瞬,AI慧眼能迅速检测到人脸的位置和大小,确定取景范围。

并根据当前的取景范围选择最匹配的景别,自动裁剪出人像在C位的画面,确保第一眼的美。

有人像追踪,你任意走动转身它都能捕捉到

当我们边视频边在客厅走动时,和摄像头的距离忽近忽远,对于AI慧眼来说,人像的大小、位置也在随时变化中。如何保证在移动过程中的美学画面呢?

能够在视频通话中做到影随身动,第一步是要精准识别人体。

华为引入了多种算法,在海思芯片强大的AI算力加持下,视频通话中可以完成实时、高精度的人像跟踪,准确率高达98%。

并且我们有效解决了在复杂背景下人脸目标容易丢失的问题,即使用户转身,依然可以保持人脸的实时跟踪。

我们还采用了另一个黑科技——AI动态裁剪技术,通过监测人像的大小和位置,对视频画面进行实时裁剪。一旦人像过大过小,或者偏离了中心区域,立即调整裁剪的画面。

在裁剪过程中,依旧根据美学构图原理确定相应的缩放参数。采用物理引擎模拟画面的切换和移动,这样既不会频繁抖动画面,又可以尽可能将人像清晰地呈现在画面中最适合的区域。

再多多多多的人同时动,也依旧C位呈现

相比手机视频通话,大屏视频通话可让一家人同框。为了解决多人同框下的美学画面,多人像追踪技术亮剑。

当多个人像在镜头可视范围内移动时,先把所有人像位置当做一个整体,优先保证所有人像均呈现在画面中,再基于美学构图对整体画面进行裁剪优化,以确保多人同框时视频画面构图也是美的。

除此之外,应用AI慧眼的人像实时跟踪功能,智慧屏还带了AI KIDS和AI健身功能。

AI KIDS,可以智能识别儿童,实时提醒孩子离智慧屏的距离和不良坐姿。

AI健身,当你动作不对时它会语音纠正,宛如一个真正的私教在身边。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部