虎牙推出“普惠版”3D虚拟形象AI驱动方案 赋能虚拟开播

近日，虎牙公司推出“全方位3D虚拟形象AI驱动”方案，并在虎牙直播开播端上线了实时驱动3D虚拟形象开播功能。

据了解，该方案为直播行业首个基于消费级摄像头的3D虚拟形象面部、肢体、手势全方位驱动解决方案，可以让消费级摄像头完成精准的动态识别与捕捉，提升虚拟形象动作的还原度、表现力。

近年来，虎牙在实时内容创作与直播互动技术方向持续发力，该方案推出将有助于降低高质量内容生产门槛，提升直播互动体验与用户粘性，推动虚拟直播互动模式创新，让高质量虚拟形象直播普惠更多主播。

（实时驱动3D虚拟形象开播效果）

破除行业难题，虎牙以普通摄像头实现3D虚拟形象驱动效果

虎牙公司AI技术负责人许佳表示，目前，虚拟形象直播仍处于探索初期阶段，绝大多数主播在直播时对虚拟形象的驱动只局限于面部表情，且精准度有限。极少部分主播会选择昂贵的动捕/光捕穿戴设备捕捉人体姿态，用于虚拟形象直播。虽然这一方案效果好、美感高，但设备、制作、学习成本更高，普通主播难以承担。因此，虎牙希望通过AI技术降低开播门槛，让主播能以普通电脑+摄像头进行虚拟直播，并保证虚拟形象驱动的精准度和还原度。

为推动虚拟直播“内容升级、生产降本”，虎牙于近日推出了自研的“全方位3D虚拟形象AI驱动”方案。据了解，该方案基于普通单目摄像头或视频输入帧来驱动3D虚拟形象的面部、肢体、手势手指动作等，是全方位的无穿戴3D虚拟形象的驱动。

（亮相ChinaJoy吸引用户体验）

更精准、更逼真、低成本、低延时等，是该方案的另一大优势。例如，通过摄像头采集的视频输入精准地对主播的人脸和肢体的三维结构进行重建，以此作为虚拟主播的驱动信号，让其动作更加自然逼真；通过虎牙自研的AI模型和推理框架，提升模型性能，实现低功耗、低延迟，使虚拟直播真正适用于消费级硬件。

此外，该方案与直播平台特性、直播场景高度契合，通过轻量化实时驱动，主播在虎牙直播PC端能“即点即用”；直播间中，用户的行为也可触发虚拟形象实时反应，提升互动感、增加趣味性。

“AI+直播”潜力仍待挖掘，应用场景多元化为行业带来想象

值得一提的是，“全方位3D虚拟形象AI驱动”方案中用到了虎牙诸多关键AI技术，如面部捕捉、肢体驱动、动画重定向、多任务学习等。据统计，目前虎牙在相关技术上的专利申请已达到13篇。

虎牙上述方案和功能推出后，收获了来自媒体、用户的好评。在刚刚结束的2021 ChinaJoy上，虎牙虚拟形象驱动技术获央视直播报道。不少主播、用户表示，“使用门槛低，虚拟形象逼真，这样的虚拟形象直播才亲民。”

（虎牙AI技术获央视报道）

在许佳看来，“当前‘AI+直播’的场景化落地刚刚开始，未来，虎牙将继续深挖AI在直播场景中的落地，帮助主播更高效地生产更有趣的内容，持续为用户创造沉浸式直播互动体验。”

展望虚拟直播未来，大幅降低高质量内容生产门槛，持续缩减虚拟世界与现实世界的内容消费体验差距，将成为行业趋势。与此同时，随着AI等技术的应用场景日益多元化，如互动游戏、短视频制作、PGC动画生产等，或将为行业带来更多想象。

（以上图片由虎牙公司授权中国网财经使用）

>相关《虎牙推出“普惠版”3D虚拟形象AI驱动方案 赋能虚拟开播》内容：

理财鱼小提示：路痴的福音 高德打车推出室内AR导航：率先支持北京五大商场 不少人有过这样的经历，在不太熟悉的商场内打车后，车子已经达到指定位置，但自己却在商场里迷了路，七拐八拐总也走不出去，自己着急，让司机师傅也很不愉快。 针对此， 近日， 高德打车...【继续阅读】

1丨中国人民银行：维护住房消费者合法权益，更好满足购房者合理住房需求 每经AI快讯，中国人民银行货币政策委员会2021年第四季度(总第95次)例会于12月24日在北京召开。维护住房消费者合法权益，更好满足购房者合理住房需求，促进房地产市场健康发展和良性...【继续阅读】

临近岁末，两地ETF市场传来大消息。 12月24日收盘，内地及香港两地证监会联合公告，已就ETF纳入互联互通标的整体方案达成共识。 下一步，沪深港交易所及中国结算将抓紧做好ETF纳入标的相关的业务和技术准备工作，包括修改相关规则并公开征求意见，预计需要...【继续阅读】