虛擬數(shù)字人行業(yè)深度研究：元宇宙的主角破圈而來(lái)

虛擬數(shù)字人行業(yè)深度研究：元宇宙的主角破圈而來(lái)1.

名詞概覽：計(jì)算機(jī)技術(shù)打造虛擬數(shù)字人1.1.

定義：數(shù)字人、虛擬人、虛擬數(shù)字人被賦予特定人物身份虛擬人、數(shù)字人、虛擬數(shù)字人的目標(biāo)是通過(guò)計(jì)算機(jī)圖形學(xué)技術(shù)（ComputerGraphic，CG）

創(chuàng)造出與人類形象接近的數(shù)字化形象，并賦予其特定的人物身份設(shè)定，在視覺(jué)上拉近和人

的心理距離，為人類帶來(lái)更加真實(shí)的情感互動(dòng)。按照各定義特征的要求，數(shù)字人的范疇包

含虛擬人，虛擬人的范疇包含虛擬數(shù)字人。對(duì)于不要求必須具備交流互動(dòng)能力時(shí)，數(shù)字人、虛擬人、虛擬數(shù)字人這三者概念可

以認(rèn)為是等同的。但在嚴(yán)格意義下它們又有細(xì)微的差別。虛擬人的身份是虛構(gòu)的，

現(xiàn)實(shí)世界中不存在的。數(shù)字人強(qiáng)調(diào)角色存在于數(shù)字世界。虛擬數(shù)字人強(qiáng)調(diào)虛擬身份

和數(shù)字化制作特性。1.2.

劃分：人格象征和圖形維度是虛擬數(shù)字人常見(jiàn)的分類依據(jù)根據(jù)人格象征，虛擬數(shù)字人可分為虛擬

IP和虛擬世界第二分身；根據(jù)人物圖形維度，虛擬數(shù)字人可分為

2D和

3D兩大類，從外形上可分為卡通、寫(xiě)

實(shí)等風(fēng)格，綜合來(lái)看可分為二次元、3D卡通、3D超寫(xiě)實(shí)、真人形象四種類型。1.3.

框架：五大模塊構(gòu)成虛擬數(shù)字人通用系統(tǒng)框架人物形象根據(jù)人物圖形資源的維度，可分為

2D和

3D兩大類；語(yǔ)音和動(dòng)畫(huà)生成模塊可分

別基于文本生成對(duì)應(yīng)的人物語(yǔ)音以及人物動(dòng)畫(huà)；音視頻合成顯示模塊將語(yǔ)音和動(dòng)畫(huà)合成視

頻；交互模塊根據(jù)語(yǔ)音語(yǔ)義識(shí)別用戶的意圖，并決定數(shù)字人后續(xù)的語(yǔ)音和動(dòng)作。交互模塊為擴(kuò)展項(xiàng)，根據(jù)其有無(wú)，可將數(shù)字人分為交互型數(shù)字人和非交互型數(shù)字人。非交互型虛擬數(shù)字人系統(tǒng)依據(jù)目標(biāo)文本生成對(duì)應(yīng)的人物語(yǔ)音及動(dòng)畫(huà)，并合成音視頻呈

現(xiàn)給用戶。交互型數(shù)字人根據(jù)驅(qū)動(dòng)方式的不同可分為智能驅(qū)動(dòng)型和真人驅(qū)動(dòng)型。1）智能驅(qū)動(dòng)型數(shù)字人可通過(guò)智能系統(tǒng)自動(dòng)讀取并解析識(shí)別外界輸入信息，根據(jù)解析

結(jié)果決策數(shù)字人后續(xù)的輸出文本，然后驅(qū)動(dòng)人物模型生成相應(yīng)的語(yǔ)音與動(dòng)作來(lái)使數(shù)字

人跟用戶互動(dòng)。該人物模型是預(yù)先通過(guò)

AI技術(shù)訓(xùn)練得到的，可通過(guò)文本驅(qū)動(dòng)生成語(yǔ)

音和對(duì)應(yīng)動(dòng)畫(huà)，業(yè)內(nèi)將此模型稱為

TTSA（TextToSpeech&

Animation）人物模型。2.

行業(yè)情況分析：虛擬數(shù)字人市場(chǎng)廣闊，應(yīng)用領(lǐng)域不斷拓展2.1.

行業(yè)沿革：虛擬數(shù)字人已處高速成長(zhǎng)階段虛擬數(shù)字人從最早的手工繪制到現(xiàn)在的

CG（ComputerGraphics，電腦繪圖）、人工智能

合成，虛擬數(shù)字人大致經(jīng)歷了萌芽、探索、初級(jí)和成長(zhǎng)四個(gè)階段2.2.

產(chǎn)業(yè)鏈：隨理論技術(shù)日益成熟，商業(yè)模式持續(xù)演進(jìn)豐富產(chǎn)業(yè)鏈當(dāng)前虛擬數(shù)字人理論和技術(shù)日益成熟，應(yīng)用范圍不斷擴(kuò)大，產(chǎn)業(yè)正在逐步形成、不斷豐富，

相應(yīng)的商業(yè)模式也在持續(xù)演進(jìn)和多元化。2.2.1.

基礎(chǔ)層：廠商深耕軟硬件行業(yè)，具有深厚技術(shù)壁壘基礎(chǔ)層為虛擬數(shù)字人提供基礎(chǔ)軟硬件支撐，硬件包括顯示設(shè)備、光學(xué)器件、傳感器、芯片

等，基礎(chǔ)軟件包括建模軟件、渲染引擎。顯示設(shè)備是數(shù)字人的載體，既包括手機(jī)、電視、

投影、LED顯示等

2D顯示設(shè)備，也包括裸眼立體、AR、VR等

3D顯示設(shè)備。光學(xué)器

件用于視覺(jué)傳感器、用戶顯示器的制作。傳感器用于數(shù)字人原始數(shù)據(jù)及用戶數(shù)據(jù)的采集。

芯片用于傳感器數(shù)據(jù)預(yù)處理和數(shù)字人模型渲染、AI計(jì)算。建模軟件能夠?qū)μ摂M數(shù)字人的人

體、衣物進(jìn)行三維建模。渲染引擎能夠?qū)艄?、毛發(fā)、衣物等進(jìn)行渲染，主流引擎包括

UnityTechnologies公司的

Unity3D、EpicGames公司的

UnrealEngine等?？傮w來(lái)看，處于

基礎(chǔ)層的廠商已經(jīng)深耕行業(yè)多年，已經(jīng)形成了較為深厚的技術(shù)壁壘。2.2.2.

平臺(tái)層：提供多元技術(shù)支持，賦予虛擬數(shù)字人真實(shí)及靈動(dòng)感平臺(tái)層包括軟硬件系統(tǒng)、生產(chǎn)技術(shù)服務(wù)平臺(tái)、AI能力平臺(tái)，為虛擬數(shù)字人的制作及開(kāi)發(fā)提供技術(shù)能力。建模系統(tǒng)和動(dòng)作捕捉系統(tǒng)通過(guò)產(chǎn)業(yè)鏈上游的傳感器、光學(xué)器件等硬件獲取

真人/實(shí)物的各類信息，利用軟件算法實(shí)現(xiàn)對(duì)人物的建模、動(dòng)作的重現(xiàn)；渲染平臺(tái)用于模型的云端渲染。解決方案平臺(tái)基于自身技術(shù)能力為廣大客戶提供數(shù)字人解決方案。AI能力平

臺(tái)提供計(jì)算機(jī)視覺(jué)、智能語(yǔ)音、自然語(yǔ)言處理技術(shù)能力。平臺(tái)層匯聚的企業(yè)較多，騰訊、

百度、搜狗、魔琺科技、相芯科技均有提供相應(yīng)數(shù)字人技術(shù)服務(wù)平臺(tái)。2.2.3.

應(yīng)用層：帶領(lǐng)虛擬數(shù)字人切入商業(yè)化賽道應(yīng)用層是指虛擬數(shù)字人技術(shù)結(jié)合實(shí)際應(yīng)用場(chǎng)景領(lǐng)域，切入各類，形成行業(yè)應(yīng)用解決方案，

賦能行業(yè)領(lǐng)域。按照應(yīng)用場(chǎng)景或行業(yè)的不同，已經(jīng)出現(xiàn)了娛樂(lè)型數(shù)字人（如虛擬主播、虛

擬偶像）、教育型數(shù)字人（如虛擬教師）、助手型數(shù)字人（如虛擬客服、虛擬導(dǎo)游、智能助

手）、影視數(shù)字人（如替身演員或虛擬演員）等。不同外形、不同功能的虛擬數(shù)字人賦能

影視、傳媒、游戲、金融、文旅等領(lǐng)域，根據(jù)需求為用戶提供定制化服務(wù)。2.3.

政策：近期多項(xiàng)政策推動(dòng)虛擬數(shù)字人新興科技產(chǎn)業(yè)發(fā)展2.4.

行業(yè)趨勢(shì)：優(yōu)質(zhì)技術(shù)仍待普及，受眾群體仍待拓展虛擬數(shù)字人產(chǎn)業(yè)生產(chǎn)及運(yùn)營(yíng)成本高，優(yōu)劣差異化顯著，受眾群體不斷拓展，因而虛擬數(shù)字人價(jià)值凸顯，應(yīng)用領(lǐng)域不斷拓展，未來(lái)有望加速商業(yè)化進(jìn)程。采集制作流程簡(jiǎn)單化、一體化，迭代式提升真實(shí)感。未來(lái)虛擬數(shù)字人制作技術(shù)將更加簡(jiǎn)單，更加一體化、自動(dòng)化設(shè)備同步獲取模型、身體、表

情等所有數(shù)據(jù)，無(wú)需穿戴專業(yè)傳感設(shè)備。交互方式衍變，智能化程度不斷加深。全雙工技術(shù)將推進(jìn)數(shù)字人交互方式的演變，使得數(shù)字人擁有一次喚醒、多次交互能力﹐具

備實(shí)時(shí)智能響應(yīng)、只能打斷、智能糾錯(cuò)、多輪對(duì)話等功能。3.

技術(shù)架構(gòu)：建模、驅(qū)動(dòng)、渲染三大關(guān)鍵技術(shù)構(gòu)成底層架構(gòu)虛擬數(shù)字人基礎(chǔ)技術(shù)架構(gòu)包括“五橫兩縱”?！拔鍣M”是指用于數(shù)字人制作、交互的五大技

術(shù)模塊，即人物生成、人物表達(dá)、合成顯示、識(shí)別感知、分析決策等模塊。其中，人物生

成，即人物建模方面

2D數(shù)字人較為簡(jiǎn)單，3D數(shù)字人需要額外使用三維建模技術(shù)。人物

表達(dá)包括語(yǔ)音生成和動(dòng)畫(huà)生成。動(dòng)畫(huà)生成則包含驅(qū)動(dòng)和渲染兩大部分?！皟煽v”是指

2D、

3D數(shù)字人，2D數(shù)字人和

3D數(shù)字人在技術(shù)架構(gòu)方面基本一致。3D數(shù)字人需要額外使用

三維建模技術(shù)生成數(shù)字形象，信息維度增加，所需的計(jì)算量更大。3.1.

建模：主流技術(shù)仍為靜態(tài)掃描，動(dòng)態(tài)光場(chǎng)成為未來(lái)重點(diǎn)發(fā)展方向建模技術(shù)分為靜態(tài)掃描建模和動(dòng)態(tài)光場(chǎng)重建，目前主流技術(shù)仍為靜態(tài)掃描，相比靜態(tài)重建

技術(shù)，具有高視覺(jué)保真度的動(dòng)態(tài)光場(chǎng)三維重建技術(shù)不僅可以重建人物的幾何模型，還可一

次性獲取動(dòng)態(tài)的人物模型數(shù)據(jù)，并高品質(zhì)重現(xiàn)不同視角下觀看人體的光影效果，成為數(shù)字

人建模重點(diǎn)發(fā)展方向。靜態(tài)掃描建模技術(shù)靜態(tài)掃描建模技術(shù)可分為結(jié)構(gòu)光掃描重建和相機(jī)陣列掃描重建，結(jié)構(gòu)光掃描重建掃描時(shí)間

長(zhǎng)，對(duì)于人體這類運(yùn)動(dòng)目標(biāo)在友好度和適應(yīng)性方面都差強(qiáng)人意，更多的應(yīng)用于工業(yè)生產(chǎn)、

檢測(cè)領(lǐng)域。相機(jī)陣列掃描重建替代結(jié)構(gòu)光掃描重建克服了以上問(wèn)題成為人物建模主流方式。

隨著拍照式相機(jī)陣列掃描重建得到飛速發(fā)展，目前可實(shí)現(xiàn)毫秒級(jí)高速拍照掃描（高性能的

相機(jī)陣列精度可達(dá)到亞毫米級(jí)），并成功應(yīng)用于游戲、電影、傳媒等行業(yè)。國(guó)際上

IR、Ten24

等公司將靜態(tài)重建技術(shù)完全商業(yè)化，服務(wù)于好萊塢大型影視數(shù)字人制

作。凌云光近年來(lái)大力發(fā)展立體視覺(jué)并研發(fā)了高精度人體3D建模系統(tǒng)——Human3D+，

其中核心的三維幾何和彩色數(shù)據(jù)采集部分均使用了以佳能專業(yè)鏡頭，配合佳能

SDK軟件

開(kāi)發(fā)包及凌云光專用

3D建模軟件能快速、清晰成像并高速儲(chǔ)存，自動(dòng)完成高精度人體全

身或局部重建，再利用三維動(dòng)畫(huà)制作軟件對(duì)重建結(jié)果進(jìn)行處理，得到高真實(shí)度數(shù)字人物。動(dòng)態(tài)光場(chǎng)重建技術(shù)動(dòng)態(tài)光場(chǎng)重建是目前世界上最新的深度掃描技術(shù)，此技術(shù)可忽略材質(zhì)，直接采集三維世界

的光線，然后實(shí)時(shí)渲染出真實(shí)的動(dòng)態(tài)表演者模型，為

3D建模提供更加豐富的圖像信息，

它主要包含人體動(dòng)態(tài)三維重建和光場(chǎng)成像兩部分:3.2.

驅(qū)動(dòng)：智能合成，動(dòng)作捕捉遷移成為主流動(dòng)作生產(chǎn)方式3.2.1.

智能合成：2D、3D數(shù)字人均已實(shí)現(xiàn)嘴型動(dòng)作的智能合成，其他部位僅支持錄播2D、3D數(shù)字人嘴型動(dòng)作智能合成的底層邏輯類似，均建立在輸入文本到輸出音頻與輸出

視覺(jué)信息的關(guān)聯(lián)映射。其中

3D視頻驅(qū)動(dòng)方式為以下三個(gè)步驟：1）視頻算法訓(xùn)練：對(duì)已采集到的文本到語(yǔ)音和嘴型視頻的數(shù)據(jù)進(jìn)行模型訓(xùn)練，得到一個(gè)

輸入任意文本均可驅(qū)動(dòng)嘴型的模型。2）語(yǔ)音自動(dòng)識(shí)別：對(duì)語(yǔ)音進(jìn)行標(biāo)注，綁定數(shù)據(jù)與動(dòng)作,使得虛擬數(shù)字人對(duì)特定詞語(yǔ)或語(yǔ)境

做出相應(yīng)動(dòng)作。3）動(dòng)捕設(shè)備采集：需真人穿戴動(dòng)捕設(shè)備，動(dòng)捕設(shè)備與真人肢體動(dòng)作相綁定，可實(shí)時(shí)傳遞

到虛擬數(shù)字人身上。3.2.2.

動(dòng)作捕捉：動(dòng)作捕捉方案最高可實(shí)現(xiàn)毫米級(jí)誤差通過(guò)將捕捉采集的動(dòng)作遷移至數(shù)字人是目前

3D數(shù)字人動(dòng)作生成的主要方式，核心技術(shù)是

動(dòng)作捕捉。動(dòng)作捕捉是指通過(guò)數(shù)字手段記錄現(xiàn)實(shí)人們的運(yùn)動(dòng)過(guò)程。同時(shí)，動(dòng)作捕捉系統(tǒng)根

據(jù)實(shí)現(xiàn)原理的不同，可以分成光學(xué)動(dòng)作捕捉、慣性動(dòng)作捕捉、Track設(shè)備+IK算法的動(dòng)作

捕捉、以人工智能為主的動(dòng)作捕捉方案?，F(xiàn)階段，光學(xué)式和慣性式動(dòng)作捕捉占據(jù)主導(dǎo)地位，

基于計(jì)算機(jī)視覺(jué)的動(dòng)作捕捉成為聚焦熱點(diǎn)。光學(xué)動(dòng)作捕捉光學(xué)動(dòng)作捕捉是在演員身上粘貼能夠反射紅外光的

Marker（馬克點(diǎn)），攝像機(jī)通過(guò)反光來(lái)

捕捉這些馬克點(diǎn)的位置變化，從而完成對(duì)演員的動(dòng)作捕捉。目前，光學(xué)動(dòng)作捕捉方案能通

過(guò)高幀率的捕捉，實(shí)現(xiàn)毫米級(jí)誤差精度，能對(duì)人物動(dòng)作還原最為精細(xì)，但這類捕捉方案對(duì)

于背景環(huán)境的要求較高，技術(shù)門(mén)檻也同樣較高。受到光線傳播的限制，數(shù)據(jù)采集難免有丟失的情況發(fā)生，在相對(duì)較大的拍攝空間中，需要

同時(shí)修正幾十個(gè)攝像機(jī)的參數(shù)，稍微移動(dòng)一下就需要對(duì)攝像機(jī)參數(shù)進(jìn)行重新標(biāo)定，想做到電影級(jí)別的精確捕捉，還是很耗時(shí)費(fèi)力的。對(duì)于大范圍的行走和奔跑等日?；顒?dòng)，需要精

心控制的移動(dòng)攝像機(jī)來(lái)記錄足夠的運(yùn)動(dòng)信息，這也很難實(shí)現(xiàn)的。在光學(xué)動(dòng)作捕捉設(shè)備和方

案上，國(guó)內(nèi)外都涌現(xiàn)出一些較為優(yōu)秀的公司代表，比如英國(guó)的

Vicon，美國(guó)的

OptiTrack和魔神（MotionAnalysis），國(guó)內(nèi)的

Nokov、uSens、青瞳視覺(jué)等。慣性動(dòng)作捕捉主要是基于慣性測(cè)量單元（InertialMeasurementUnit，IMU）來(lái)完成對(duì)人體動(dòng)作的捕捉，

即把集成了加速度計(jì)、陀螺儀和磁力計(jì)的

IMU綁在人體的特定骨骼節(jié)點(diǎn)上，通過(guò)算法對(duì)

測(cè)量數(shù)值進(jìn)行計(jì)算，從而完成動(dòng)作捕捉。這種慣性動(dòng)作捕捉方案價(jià)格相對(duì)低廉且精度較低，

會(huì)隨著使用時(shí)間的增加產(chǎn)生累積誤差，發(fā)生位置漂移。這類捕捉方案需要大量復(fù)雜的硬件

設(shè)備和嚴(yán)格的影棚環(huán)境，技術(shù)門(mén)檻也同樣較高，并不適合大眾消費(fèi)者使用。我們常見(jiàn)的動(dòng)作捕捉服、手套等設(shè)備都是屬于這類慣性動(dòng)作捕捉范圍內(nèi)。在慣性動(dòng)作捕捉技術(shù)的賽道里，代表性企業(yè)有荷蘭的

Xsens，以及國(guó)內(nèi)的諾亦騰

（Noitom）、幻境、國(guó)承萬(wàn)通等。國(guó)內(nèi)廠商諾亦騰、國(guó)外廠商

XSens都擁有比較成熟的

產(chǎn)品。其中，諾亦騰通過(guò)全身

17

節(jié)點(diǎn)慣性傳感器、全身綁帶、傳感器充電盒以及

EVA便

攜箱等組成部分打造了入門(mén)級(jí)無(wú)線動(dòng)作捕捉系統(tǒng)

PerceptionNeuron3。計(jì)算機(jī)視覺(jué)的動(dòng)作捕捉視覺(jué)的動(dòng)作捕捉主要是通過(guò)采集及計(jì)算深度信息來(lái)完成對(duì)動(dòng)作的捕捉，是近些年才興起的

技術(shù)。這種視覺(jué)動(dòng)捕方式因其簡(jiǎn)單、易用、低價(jià)，已成為目前使用的頻率較高的動(dòng)作捕捉

方案。視覺(jué)動(dòng)作捕捉主要有兩種：1）Track設(shè)備+IK算法的動(dòng)作捕捉方案，主要通過(guò)

Track設(shè)備以及

IK算法相結(jié)合，模擬

出一定的動(dòng)作姿態(tài)。這種動(dòng)作捕捉方案在一些消費(fèi)級(jí)的產(chǎn)品上運(yùn)用較多，也頗受硬核技術(shù)

流玩家們的喜愛(ài)，他們可以搭建自己的動(dòng)作捕捉設(shè)備方案。2）以人工智能為核心的動(dòng)作捕捉方案，借助設(shè)備上自帶的攝像頭，如

iPhone里搭載的

深感攝像頭實(shí)現(xiàn)面部捕捉功能，并且通過(guò)深度學(xué)習(xí)，訓(xùn)練算法將

2D圖像轉(zhuǎn)換成

3D圖像，

從而讓一些坐著的主播可以擁有一個(gè)活靈活現(xiàn)的虛擬形象。由于這種動(dòng)作捕捉方案對(duì)硬件要求較低，多數(shù)依靠軟件層的算法，因此具有較為廣泛的應(yīng)

用空間和利潤(rùn)空間。代表性產(chǎn)品有

LeapMotion、微軟

Kinect等。3.3.

渲染：主打

Unreal和

Unity渲染引擎，真實(shí)性和實(shí)時(shí)性均大幅提升當(dāng)通過(guò)不同的設(shè)備記錄下動(dòng)作方案之后，還需通過(guò)渲染引擎，對(duì)毛發(fā)、衣物等細(xì)節(jié)盡量還

原。從引擎性能上來(lái)說(shuō)，游戲領(lǐng)域的渲染引擎達(dá)到最好的渲染效果。PBR（PhysicallyBasedRendering，基于物理的渲染技術(shù)）渲染技術(shù)的進(jìn)步以及重光照等新型渲染技術(shù)的

出現(xiàn)使數(shù)字人皮膚紋理變得真實(shí)，突破了恐怖谷效應(yīng)?？植拦刃?yīng)由日本機(jī)器人專家森政弘提出，認(rèn)為人們對(duì)機(jī)器人的親和度隨著仿真程度增加

而增高，但當(dāng)達(dá)到一個(gè)較高的臨界點(diǎn)時(shí)，親和度會(huì)突然跌入谷底，產(chǎn)生排斥、恐懼和困惑

等負(fù)面心理。數(shù)字人恐怖谷效應(yīng)主要由數(shù)字人外表、表情動(dòng)作上與真人的差異帶來(lái)，其中

外表真實(shí)感的關(guān)鍵就是皮膚材質(zhì)的真實(shí)感，無(wú)論是塑料感還是蠟像感都會(huì)給人類帶來(lái)不適。PBR（PhysicallyBasedRendering）PBR是基于真實(shí)物理世界的成像規(guī)律模擬的一類渲染技術(shù)的集合，它的關(guān)鍵在于微表面

模型和能量守恒計(jì)算，通過(guò)更真實(shí)的反映模型表面反射光線和折射光線的強(qiáng)弱，使得渲染

效果突破了塑料感。常見(jiàn)的幾款

3D引擎，如

UnrealEngine4,

CryEngine3,

Unity3D5，均有了各自的

PBR實(shí)現(xiàn)。重光照技術(shù)重光照技術(shù)通過(guò)采集模擬多種光照條件的圖像數(shù)據(jù)，測(cè)算數(shù)字人表面光照反射特性，并合

成出數(shù)字人模型在新的光照下的渲染結(jié)果，使計(jì)算機(jī)中的虛擬數(shù)字人在任意虛擬環(huán)境下都

可以呈現(xiàn)近乎真實(shí)的效果，它徹底改變了傳統(tǒng)渲染方式通過(guò)模擬皮膚復(fù)雜的透射反射來(lái)計(jì)

算渲染總會(huì)帶來(lái)誤差的局面。該技術(shù)在

2000

年初由南加州大學(xué)實(shí)驗(yàn)室創(chuàng)建

LightStage平臺(tái)時(shí)提出，并開(kāi)始了相關(guān)研

究，目前已經(jīng)經(jīng)過(guò)

7

代的迭代發(fā)展，已被成功應(yīng)用到《阿凡達(dá)》、《復(fù)仇者聯(lián)盟》等眾多經(jīng)

典影片的角色制作中。渲染技術(shù)也可分為實(shí)時(shí)渲染技術(shù)和離線渲染技術(shù)，二者在渲染時(shí)長(zhǎng)、計(jì)算資源計(jì)算量等方

面存在差異，所對(duì)應(yīng)應(yīng)用場(chǎng)景亦有所不同。4.

應(yīng)用場(chǎng)景：虛擬數(shù)字人落地場(chǎng)景豐富，偶像營(yíng)銷或?yàn)橄劝l(fā)賽道虛擬人及數(shù)字人應(yīng)用領(lǐng)域多元，主力文娛及服務(wù)行業(yè)。在畫(huà)面呈現(xiàn)方式日漸成熟的的基礎(chǔ)

下，疊加

5G、算力、AI等技術(shù)能力的提升，其落地場(chǎng)景日漸豐富。如今不再限于傳統(tǒng)文

娛如影視、動(dòng)畫(huà)在人物建模、CG等方面在虛擬形象塑造的應(yīng)用，還在社交、游戲、辦公

等場(chǎng)景實(shí)現(xiàn)了真實(shí)人類虛擬化身的身份職能，并逐漸于直播電商、偶像造星、陪伴服務(wù)等

AI虛擬數(shù)字人領(lǐng)域?qū)崿F(xiàn)商業(yè)變現(xiàn)。4.1.

游戲：玩家數(shù)字化身需求日益提升，頭部游戲廠商具有數(shù)字人技術(shù)積累中國(guó)游戲產(chǎn)業(yè)處存量博弈階段，角色扮演類游戲在市場(chǎng)收入方面居于首位。2021

年中國(guó)

游戲市場(chǎng)實(shí)際銷售收入

2965.13

億元，yoy+6.4%。2021

年中國(guó)游戲用戶規(guī)模

6.66

億，

yoy+0.22%，用戶數(shù)量漸趨飽和。2021

年中國(guó)移動(dòng)游戲收入排名前

100

位產(chǎn)品中，角色

扮演、卡牌、策略三類游戲占據(jù)半壁江山，表明了玩家的偏好，以及企業(yè)相對(duì)集中的市場(chǎng)

供給；此外，角色扮演、多人在線戰(zhàn)術(shù)競(jìng)技和射擊三類游戲占總收入

50%以上，反映這三

類游戲用戶基數(shù)較大的客觀現(xiàn)實(shí)。角色扮演類（RPG）游戲重視角色機(jī)制設(shè)定，開(kāi)放世界概念拉升數(shù)字人需求。據(jù)

GameRefinery，2021

年

RPG成為美國(guó)

iOS市場(chǎng)的第四大游戲類別，貢獻(xiàn)

14%的市場(chǎng)

收益，主要系年內(nèi)兩款大熱

RPG：《原神》和《我的英雄學(xué)院：最強(qiáng)英雄》上線所致。二

者均為開(kāi)放世界設(shè)定的

ARPG，注重單人游戲體驗(yàn)和故事線。與其他游戲不同，幾乎所有

開(kāi)放游戲都會(huì)有角色機(jī)制，游戲開(kāi)發(fā)者希望玩家以游戲世界中的角色形象進(jìn)行沉浸式探索，

并盡可能提供具有不同外觀、不同風(fēng)格、不同陣營(yíng)的數(shù)字人增添玩家的體驗(yàn)豐滿度，同時(shí)

還交給玩家體質(zhì)、敏捷、智力、力量等多方面屬性的的數(shù)字人內(nèi)在設(shè)定選擇。除玩家的初

始角色外，《原神》2019

年已擁有

33

個(gè)可玩角色，而在

2.0

版本更新后，可玩角色數(shù)量

將達(dá)到

36

個(gè)。制作團(tuán)隊(duì)預(yù)計(jì)每年為《原神》新增大約

17

個(gè)角色，這對(duì)開(kāi)放世界

ARPG來(lái)說(shuō)并非一個(gè)小數(shù)目。國(guó)內(nèi)頭部游戲廠商已具有數(shù)字人自動(dòng)生成技術(shù)沉淀，游戲捏臉成熟簡(jiǎn)便。在對(duì)于游戲內(nèi)虛

擬角色的設(shè)定以外，廠商亦重視玩家自身虛擬化身的打造。以中國(guó)主流

MMORPG類型

游戲?yàn)槔v訊《天涯明月刀》及網(wǎng)易《逆水寒》均在玩家捏臉以及角色畫(huà)面呈現(xiàn)上有先

進(jìn)優(yōu)勢(shì)。騰訊北極光工作室

2015

年發(fā)布端游《天涯明月刀》，當(dāng)時(shí)市場(chǎng)游戲普遍只提供

30-60

個(gè)可調(diào)參數(shù)的基礎(chǔ)上，天刀的開(kāi)發(fā)團(tuán)隊(duì)通過(guò)生物學(xué)、醫(yī)學(xué)和解剖學(xué)的深造和研究，根

據(jù)人類臉部骨骼和肌肉的自然分布，設(shè)定出

48

根骨骼上總共超過(guò)

200

項(xiàng)的可調(diào)參數(shù)。

在自研引擎的給力支撐下，天刀使用了大量的材質(zhì)特效，提供了

3S材質(zhì)的皮膚質(zhì)感，

極真模擬真實(shí)肌膚紋理，以及可調(diào)節(jié)的皮膚粗糙度和衰老度等設(shè)置。天刀捏臉系統(tǒng)提

供可視化操作。玩家點(diǎn)擊臉部

mask可直接進(jìn)行操作，同時(shí)也提供滑動(dòng)條和鍵盤(pán)+-

符號(hào)兩種操作方式。旋轉(zhuǎn)、位移、縮放，帶來(lái)細(xì)膩而便捷的操作感受。網(wǎng)易伏羲人工智能實(shí)驗(yàn)室的智能捏臉項(xiàng)目，于

2018

年底在端游《逆水寒》中上線。

這也是全球首次在

MMORPG游戲中實(shí)現(xiàn)基于單張照片的智能捏臉玩法。系統(tǒng)使用大量的隨機(jī)參數(shù)來(lái)模擬捏臉，訓(xùn)練

AI學(xué)習(xí)捏臉的過(guò)程。玩家上傳照片以后，系統(tǒng)就

會(huì)把照片拆解成

AI理解的形式，比如五官的位置、大小，妝容顏色等特征，AI就會(huì)

根據(jù)這些信息，對(duì)這些特征做復(fù)原。數(shù)字人建模技術(shù)及空間計(jì)算能夠有效簡(jiǎn)化和加快游戲

CG制作過(guò)程。技術(shù)沉淀使廠商

在有限成本的情況下讓游戲中更多的虛擬角色都具備豐富的肢體動(dòng)作和精細(xì)的面部

表情，給玩家?guī)?lái)更沉浸的游戲體驗(yàn)。例如網(wǎng)易伏羲實(shí)驗(yàn)室成功將虛擬數(shù)字人技術(shù)應(yīng)

用到《逆水寒》等多個(gè)游戲劇情動(dòng)畫(huà)場(chǎng)景制作中，在無(wú)手工參與下，快速生成動(dòng)畫(huà)，

這使得大量的虛擬角色都能富有視覺(jué)的表達(dá)能力。游戲引擎作為虛擬世界的賣水人，有望破圈助力多行業(yè)數(shù)字人打造。以

Unity，Unreal兩

大游戲引擎為首，游戲引擎的強(qiáng)大性能使得數(shù)字人形象擬真度進(jìn)一步提升。Unity的渲染技術(shù)

HDRP是基于可編程渲染管線（SRP）構(gòu)建的，具有完全統(tǒng)一基

于物理的渲染以獲得超高的畫(huà)質(zhì)表現(xiàn)，

HDRP的設(shè)計(jì)遵循三個(gè)原則：1）渲染基于

真實(shí)物理。2）光照統(tǒng)一、連貫。3）功能獨(dú)立于渲染路徑。HDRP的強(qiáng)大性能讓數(shù)

字人得以“逃離”恐怖谷，以更接近真人的狀態(tài)呈現(xiàn)在大眾面前。SUA的不同之處是全身都基于實(shí)時(shí)渲染實(shí)現(xiàn)?；趯?shí)時(shí)渲染，SUA不僅可以創(chuàng)建與

用戶實(shí)時(shí)交互的

4K內(nèi)容，速度高效至每秒

30

幀，這才讓

SUA與觀眾互動(dòng)成為可能。

通常的電影動(dòng)畫(huà)渲染中，使用的都是離線渲染，這種技術(shù)需要內(nèi)容創(chuàng)建者投入大量的

計(jì)算和時(shí)間才能生成高質(zhì)量的圖形。以單幀的高質(zhì)量畫(huà)面為例，剪裁需要數(shù)小時(shí)、計(jì)

算機(jī)渲染需要數(shù)十小時(shí)，制作

1

小時(shí)的視頻至少需要數(shù)百小時(shí)甚至更長(zhǎng)時(shí)間才能完成。Unrealengine于

21

年

2

月揭曉其虛擬數(shù)字人制作應(yīng)用

MetaHumanCreator。

MetaHumanCreator是一款云端流送應(yīng)用，旨在不犧牲質(zhì)量的前提下，使實(shí)時(shí)數(shù)字

人類的創(chuàng)作時(shí)間從數(shù)周乃至數(shù)月縮短到一小時(shí)以內(nèi)。工作原理是根據(jù)一個(gè)不斷增長(zhǎng)的、

豐富的人類外表與動(dòng)作庫(kù)進(jìn)行繪制，并且允許使用直觀的工作流程雕刻和制作想要的

結(jié)果，從而創(chuàng)作出可信的新角色。MetaHumanCreator會(huì)以數(shù)據(jù)約束的合理方式在

庫(kù)中的實(shí)際示例之間進(jìn)行混合。用戶可以從豐富的數(shù)據(jù)庫(kù)里選擇一系列預(yù)設(shè)人臉作為

創(chuàng)作起點(diǎn)，混合出想要的人臉。獲得人物后，用戶可以使用表演捕捉工具讓它動(dòng)起來(lái)——可以使用虛幻引擎的

iOS應(yīng)

用

LiveLinkFace，并提供對(duì)

ARKit、DI4D、Dynamixyz、Faceware、JALI、DigitalDomain、SpeechGraphics和

CubicMotion解決方案的支持——也可手動(dòng)制作關(guān)

鍵幀動(dòng)畫(huà)。為一個(gè)

MetaHuman創(chuàng)作的動(dòng)畫(huà)可以在其他任何

MetaHuman上運(yùn)行，

因此用戶可以將工作成果復(fù)用于各種項(xiàng)目。4.2.

偶像造星：虛擬偶像逐步滲透主流文化，國(guó)內(nèi)大廠紛紛入局虛擬藝人虛擬偶像市場(chǎng)高速增長(zhǎng)，帶動(dòng)衍生產(chǎn)業(yè)空間廣闊。據(jù)艾媒咨詢，2020

年中國(guó)虛擬偶像核心

產(chǎn)業(yè)規(guī)模為

34.6

億元，yoy+70.3%，預(yù)計(jì)

2021

年將達(dá)到

62.2

億元；另一方面，隨著商業(yè)

價(jià)值被不斷發(fā)掘，越來(lái)越多產(chǎn)業(yè)與虛擬偶像聯(lián)系在一起，虛擬偶像帶動(dòng)產(chǎn)業(yè)規(guī)模

2020

年

達(dá)

645.6

億元，預(yù)計(jì)

2021

年達(dá)

1074.9

億元。同時(shí)八成以上網(wǎng)民有追星行為，其中喜歡虛

擬偶像的網(wǎng)民占

63.6%，根據(jù)粉絲需求策劃的偶像，能最大程度滿足粉絲的想象，有利于

積累更龐大的粉絲群體。用戶對(duì)虛擬偶像付費(fèi)意愿較強(qiáng)，周邊產(chǎn)品豐富帶動(dòng)變現(xiàn)能力。據(jù)艾媒咨詢，八成網(wǎng)民為虛

擬偶像每月花費(fèi)在

1000

元以內(nèi)，且

37.6%的網(wǎng)民表示愿意花更多的錢支持虛擬偶像。隨著

虛擬偶像產(chǎn)業(yè)的延伸業(yè)態(tài)不斷發(fā)展，手辦、唱片等產(chǎn)品已經(jīng)成為了虛擬偶像流量變現(xiàn)的重

要渠道，粉絲愿意花費(fèi)更多的金錢和精力去支持虛擬偶像。虛擬偶像早期隨二次元文化滲透，國(guó)產(chǎn)

VUP直播崛起。早期具有代表性的虛擬偶像包括以

初音未來(lái)、洛天依為代表的虛擬歌姬（VSinger），此外還有主要在

YouTube、B站開(kāi)展活

動(dòng)的虛擬主播（VTuber/VUP）。20

年前，B站虛擬直播區(qū)基本都被日系

VTuber占領(lǐng)，而

隨著中國(guó)

VUP的崛起，據(jù)

CEO陳睿，截至

21

年

6

月，B站擁有

3.2

萬(wàn)位

VUP，每月有約

4000

多個(gè)虛擬主播開(kāi)播。據(jù)

darkflame，20

年

B站

VUP總收入約

1.8

億元，21

年至今（截

至

11

月

21

日）已達(dá)

4.5

億元，是去年全年的

2.5

倍。分季度看，21Q3VUP直播收入近

1.5

億元，月付費(fèi)人數(shù)提升至約

30

萬(wàn)人。目前頭部

VUP每月的直播收入在

50-200

萬(wàn)元不等，

20

年全球收入最高

VTuber收入約

1.5

億日元（約

840

萬(wàn)元），已被

VUP全面趕上。從專

業(yè)機(jī)構(gòu)來(lái)看，VirtualReal和

A-SOUL兩個(gè)專業(yè)化程度較高的機(jī)構(gòu)一直占據(jù)收入榜首位。互聯(lián)網(wǎng)大廠青睞虛擬藝人領(lǐng)域，破圈走向主流文化已是大勢(shì)所趨。大廠布局分為兩類：1）

推出技術(shù)平臺(tái)。2）搭建虛擬藝人的商業(yè)場(chǎng)景。4.3.

品牌營(yíng)銷：虛擬代言大幅提升用戶吸引效率，外部運(yùn)營(yíng)快速引導(dǎo)商業(yè)流量變現(xiàn)虛擬代言人市場(chǎng)空間充足，商業(yè)價(jià)值釋放領(lǐng)域多元。虛擬代言人可劃分為兩種類型：1）

品牌自主打造符合自身特性的虛擬代言人。2）品牌與外部團(tuán)隊(duì)商業(yè)合作，外部團(tuán)隊(duì)基于

技術(shù)引擎開(kāi)發(fā)具有高擬真人類形態(tài)的虛擬形象，并獨(dú)立運(yùn)營(yíng)。虛擬數(shù)字人商業(yè)價(jià)值集中于：

1）社交賬號(hào)潛力無(wú)限。大部分虛擬數(shù)字人的注冊(cè)時(shí)間集中于

2020-2021

年，雖然時(shí)間較

短，但是部分賬號(hào)漲粉迅速。同時(shí)在微博上，百萬(wàn)粉絲量級(jí)的虛擬數(shù)字人

KOL較少，仍有

流量洼地可供挖掘。2）活躍在社交平臺(tái)累積用戶粘性。虛擬數(shù)字人賬號(hào)在社交平臺(tái)上的

活躍，通過(guò)抽獎(jiǎng)、科普、安利等多種形式和用戶進(jìn)行高頻互動(dòng)，共創(chuàng)內(nèi)容。3）多種方式

釋放商業(yè)價(jià)值。虛擬數(shù)字人可以通過(guò)數(shù)字化、科技化、大數(shù)據(jù)為一體的諸多功能屬性，進(jìn)

行與真人一樣的品牌營(yíng)銷模式。視頻大片、直播連線、聯(lián)名產(chǎn)品、封面雜志、產(chǎn)品上身等。

為粉絲帶去更具想象并貼近完美的營(yíng)銷場(chǎng)景，釋放更多商業(yè)價(jià)值。虛擬代言人深度洞察

Z世代消費(fèi)新需求、助力品牌破圈。品牌打造符合自身文化和品牌調(diào)

性的虛擬形象代言人，成為與年輕人建立溝通的突破口。從屈臣氏推出首位虛擬偶像代言

人屈晨曦

Wilson拉進(jìn)與年輕人距離，王者榮耀借勢(shì)時(shí)下最流行電競(jìng)虛擬男團(tuán)“無(wú)限王者團(tuán)”

全面打開(kāi)社交屬性，到歐萊雅推出首位虛擬代言人“M姐”迎合年輕人走進(jìn)圈層，花西子

推出首個(gè)品牌虛擬形象“花西子“引領(lǐng)國(guó)貨新風(fēng)尚，虛擬形象代言人正幫助品牌迅速吸引

年輕人的注意力，助力品牌俘獲更多的目標(biāo)用戶。外部運(yùn)營(yíng)虛擬數(shù)字人更偏向流量引導(dǎo)，有效推進(jìn)直播帶貨場(chǎng)景應(yīng)用。虛擬數(shù)字人物柳夜熙于抖音上走紅，標(biāo)簽“會(huì)捉妖的虛擬美妝達(dá)人”。該賬號(hào)作品只有

5

條短視頻，獲得了

2087

萬(wàn)點(diǎn)贊，粉絲總數(shù)

835.4

萬(wàn)。截至

1

月

17

日，話題“

\t"/9508834377/_blank"#柳夜熙#

”播放量達(dá)到

9.4

億次?！傲?/p>

夜熙”賬號(hào)的公司名為創(chuàng)壹視頻，是剛成立三年的影視特效公司，旗下已經(jīng)有

“慧慧周”

“非非宇

Fay”“宇航員小五”等知名賬號(hào)，基本的賬號(hào)內(nèi)容遵循發(fā)揮劇情+特效實(shí)現(xiàn)粉絲

增長(zhǎng)。4.4.

社交：數(shù)字人為次世代社交的必要環(huán)節(jié)，增強(qiáng)用戶沉浸及交互體驗(yàn)數(shù)字人為次世代社交重要象征，用戶對(duì)個(gè)性化社交虛擬化身需求提升。次世代社交指的是

一個(gè)與現(xiàn)實(shí)平行、實(shí)時(shí)在線的虛擬世界，用戶可以憑借自己的虛擬化身，并基于自己的興

趣圖譜或推薦，體驗(yàn)多樣的沉浸式社交場(chǎng)景，在接近真實(shí)的共同體驗(yàn)中一起交流、娛樂(lè)，

最終找到志同道合的伙伴、建立社交連接。4.5.

影視：動(dòng)作捕捉技術(shù)推動(dòng)影視虛擬形象創(chuàng)作，打開(kāi)藝術(shù)創(chuàng)作想象空間數(shù)字人于影視行業(yè)成熟運(yùn)用，計(jì)算機(jī)化虛擬動(dòng)捕已成為電影主流特效。技術(shù)發(fā)展并非一蹴

而就，

而由大量技術(shù)突破和創(chuàng)作實(shí)踐積累疊加而成。通過(guò)觀察影史中虛擬形象的典型應(yīng)

用案例，我們將虛擬動(dòng)捕技術(shù)概括為影史中的四個(gè)不同發(fā)展階段：萌芽期（1990-1999）、

起步期（2000-2006）、成熟期（2006-2015）、新時(shí)期（2016-至今）。動(dòng)捕技術(shù)為追求高品質(zhì)影像的重要路徑，助力動(dòng)畫(huà)數(shù)字形象從現(xiàn)實(shí)提取真實(shí)性。數(shù)字時(shí)代

的背景下，計(jì)算機(jī)圖形技術(shù)不斷融入影像創(chuàng)作領(lǐng)域。影視動(dòng)畫(huà)通常通過(guò)

2D繪制、定格擺

拍或

3D手調(diào)（關(guān)鍵幀動(dòng)畫(huà)）的方式實(shí)現(xiàn)。為取得更真實(shí)的虛擬影像效果，動(dòng)捕技術(shù)應(yīng)運(yùn)

而生，從雛形動(dòng)畫(huà)轉(zhuǎn)描技術(shù)發(fā)展至今，形成以紅外式和慣性式為主的多元解決方案。動(dòng)捕

技術(shù)不斷強(qiáng)化，從動(dòng)作捕捉到表演捕捉、從非實(shí)時(shí)到實(shí)時(shí)、從關(guān)鍵幀動(dòng)畫(huà)為主到捕捉數(shù)據(jù)

為主，在經(jīng)歷一系列標(biāo)志性影片的助推后，達(dá)到如今《阿麗塔：戰(zhàn)斗天使》、《雙子殺手》

的高峰。接納及使用虛擬形象創(chuàng)作等新技術(shù)，放大科幻創(chuàng)作者想象力表現(xiàn)的空間。21

年

3

月，闊

別

12

年的經(jīng)典數(shù)字人電影《阿凡達(dá)》（2009）全球重映，以

28.47

億美元（184

億人民幣）

票房，從《復(fù)聯(lián)

4》中奪回世界票房冠軍，無(wú)宣發(fā)在中國(guó)大陸重映獲得

17

億票房。歸結(jié)其

原因，在于早期超前使用

3D、數(shù)字人動(dòng)捕、CG等技術(shù)改革，至今仍保留最先進(jìn)科幻電影

的世界觀及格局。隨數(shù)字技術(shù)發(fā)展，實(shí)時(shí)渲染、交互影像等新技術(shù)不斷加入影視創(chuàng)作中。

如何熟捻地使用數(shù)字技術(shù)為好故事服務(wù)，提升影視敘事和角色情感體驗(yàn)，是影視行業(yè)對(duì)待

數(shù)字技術(shù)發(fā)展與藝術(shù)創(chuàng)作辯證關(guān)系的真正思路。5.

大廠布局：海內(nèi)外廠商多角度布局虛擬數(shù)字人賽道5.1.

國(guó)內(nèi)廠商：國(guó)內(nèi)廠商在產(chǎn)業(yè)鏈基礎(chǔ)層、平臺(tái)層和應(yīng)用層均衡發(fā)力國(guó)內(nèi)廠商在產(chǎn)業(yè)鏈基礎(chǔ)層、平臺(tái)層和應(yīng)用層發(fā)展較為均衡，虛擬數(shù)字人從開(kāi)發(fā)到落地的體系逐漸趨于完整?；A(chǔ)層相關(guān)廠商主要著力點(diǎn)在人工智能、動(dòng)作捕捉、建模渲染以及虛擬

數(shù)字人的技術(shù)服務(wù)?？拼笥嶏w、捷成股份、新華網(wǎng)、標(biāo)貝科技、追一科技和小冰等專注人

工智能，云舶科技專研動(dòng)作捕捉，環(huán)球墨非、億真科技、虛谷未來(lái)科技、半人貓、疊鏡數(shù)

字、相芯科技以及

Ta