爆火的AI数字人究竟是怎么实现的？

来源：互联网更新时间2023-12-15 10:24:53 点击数：

元宇宙的概念虽然有些褪色，但是元宇宙相关的数字人技术却在短视频和直播赛道找到了大展拳脚的地方，甚至有可能对当前的直播电商业态产生颠覆。

2021年，创壹科技创造的抖音虚拟美妆人物柳夜熙，发布了第一条视频，仅以此视频登上热搜，获赞量达到300多万，同时涨粉丝数上百万，被称为2021年的“现象级”虚拟人。之后，越来越多的虚拟偶像或数字人出现在抖音等短视频及直播平台上，不仅获取了大量流量和粉丝，还可以7X24小时不间断直播带货，取代人工主播。

数字人，也称为虚拟人，这一应用涉及到大量底层技术，包括了3D建模技术、表情识别技术、动作捕捉技术、实时动画技术、实时渲染引擎、深度学习技术、语音识别技术等等。不同类型的数字人，涉及到的技术也不一样，比如形象上有3D卡通、二次元、超写实人物等类型；还有半身或者全身的区别。

数字人的视觉制作

数字人视觉制作主要是基于形象建模、动作驱动以及视觉渲染这三大环节。

数字人建立的第一步需要进行前期的形象设计以及建模。2D数字人需要原画等形象设计，3D数字虚拟人需要使用三维建模技术生成数字形象，又分为基于IP或者基于真人设计。

三维建模目前主要包含静态扫描建模以及动态建模两类，其中相机阵列扫描静态重建为主流技术。动态光场重建不仅可以重建人物的几何模型，还可一次性获取动态的人物模型数据，以重现不同视角下观看人体的光影效果，是目前国内外巨头及研究机构重点发展的技术方向。

单反相机阵列式人体人像扫描仪

有了形象和模型后，还要驱动着模型动起来，那么就需要用到智能合成、动作捕捉相关技术。目前智能合成技术主要是实现了嘴型动作的合成，适用于半身数字人形象。如果要实现全身数字人，就需要依赖动捕。动捕技术又分为光学式、惯性式及计算机视觉动捕等。现阶段光学式和惯性式动捕占据主导。

诺亦腾基于MEMS惯性传感器的动捕系统

最后数字人一定是以视频的形式展现出来，就涉及到视觉渲染。渲染技术，是指把模型在视点、光线、运动轨迹等因素作用下的视觉画面计算出来的过程。主要的渲染技术有离线渲染与实时渲染两种类型。离线渲染的美学和视觉效果好，但是无法实时控制，常用引擎包括Maya、3DMax等，主要用于影视领域；实时渲染的优点就是可以实时控制数字人的动作，常用引擎包括Unreal和Unity等。

数字人如何开口

前面介绍了数字虚拟人涉及到视觉方面的技术，但是还不够，数字人还要能说话，最简单的方式是给视频加后期配音，是一个比较耗时耗力的工作。不过随着文字转语音（TTS）、唇形同步、语音识别技术的引入，不仅可以实现自动配音，还可以让数字人的口型与声音同步，视频看上去与真人主播无限接近。

TTS、语音识别技术已经非常成熟，且广泛应用于日常生活中，智能手机上都有这样的功能。唇同步技术相对来说是一个比较小众的技术，却非常适合数字人应用。

在数字人领域中，唇形同步（Lip Sync）是非常重要的一环，直接影响数字人的逼真程度。现有的数字人唇形同步技术包括Wav2Lip、DeepFake、PaddleGAN、Audio2Face、FaceSwap、LSTM、Audio2Lip、Lip Generation和Talking Head Synthesis等。