基于5G的沉浸式視頻發(fā)展與關(guān)鍵技術(shù)

1、基于5G的沉浸式視頻發(fā)展與關(guān)鍵技術(shù)2019年6月6日，工信部正式向中國(guó)電信、中國(guó)移動(dòng)、 中國(guó)聯(lián)通、中國(guó)廣電發(fā)放了 5G商用牌照，這標(biāo)志著中國(guó)5G 商用的大幕正式拉開(kāi)。隨著5G商用牌照的發(fā)放將加快網(wǎng)絡(luò)和硬件的成熟，催生5G應(yīng)用的快速落地。未來(lái)在5G的高性 能網(wǎng)絡(luò)中跑什么樣的業(yè)務(wù)呢？沉浸式視頻是5G技術(shù)應(yīng)用的一個(gè)主要場(chǎng)景，本文主要研究基于5G的沉浸式視頻的應(yīng)用場(chǎng)景、關(guān)鍵技術(shù)及產(chǎn)業(yè)基礎(chǔ)和發(fā)展趨勢(shì)。一、5G網(wǎng)絡(luò)特點(diǎn)5G網(wǎng)絡(luò)具有高帶寬、低時(shí)延、廣通路的特點(diǎn)，相較于 4G,在傳輸速率方面，5G峰值速率為10-20Gbps,用戶(hù)體驗(yàn) 速率將達(dá)到 0.1Gbps-1Gbps；端到端時(shí)延方面，5G將達(dá)到1ms

2、級(jí)?；诖颂攸c(diǎn)，在 5G網(wǎng)絡(luò)通路上視頻產(chǎn)品被公認(rèn)為是最 重要和最早可開(kāi)展的應(yīng)用。5G、超高清等新興技術(shù)的發(fā)展將給視聽(tīng)內(nèi)容的生產(chǎn)、傳播鏈路帶來(lái)革命性的變革，同時(shí)，結(jié)合人工智能、大數(shù)據(jù)、 虛擬現(xiàn)實(shí)等其他交叉技術(shù)，將從影像呈現(xiàn)與交互的角度進(jìn)一 步提升高新視頻的內(nèi)容吸引力，從而在內(nèi)容產(chǎn)業(yè)領(lǐng)域產(chǎn)生更 多創(chuàng)新性的高新視頻應(yīng)用，為用戶(hù)帶來(lái)全新的視聽(tīng)體驗(yàn)。數(shù)據(jù)顯示，未來(lái)個(gè)人消費(fèi)者網(wǎng)絡(luò)流量的 80%和行業(yè)應(yīng)用流量的70%以上都將是視頻數(shù)據(jù)。 面向5G的高新視頻，“高 格式”應(yīng)該理解為融合了4K/8K、3D、高幀率（HFR）、高動(dòng)態(tài)范圍（HDR）、廣色域（WCG）、沉浸式聲音（ImmersiveSound） 等高

3、新技術(shù)格式的影像內(nèi)容?！靶赂拍睢睉?yīng)該理解為具有新 奇的影像語(yǔ)言和視覺(jué)體驗(yàn)的創(chuàng)新應(yīng)用場(chǎng)景，能夠引發(fā)觀眾興 趣并促使其產(chǎn)生消費(fèi)。二、沉浸式視頻超高清視頻、三維聲技術(shù)等先進(jìn)的視聽(tīng)技術(shù)與5G廣播技術(shù)結(jié)合，將給用戶(hù)帶來(lái)圖像更為清晰細(xì)膩、畫(huà)面更為連貫流暢、色彩飽和逼真、聲音如臨其境的節(jié)目?jī)?nèi)容。5G時(shí)代 下的沉浸式視頻應(yīng)用聚焦于超高清視頻、全景式音頻以及更 具沉浸感的終端設(shè)備，將極大發(fā)揮廣播電視行業(yè)善于制作高 水平視頻內(nèi)容的優(yōu)勢(shì)，制作和傳輸更高質(zhì)量、更強(qiáng)沉浸式體 驗(yàn)的內(nèi)容，結(jié)合超高清電視、環(huán)幕屏等各種形態(tài)的新型終端, 從而讓受眾獲得前所未有的沉浸式的感官體驗(yàn)。二、應(yīng)用場(chǎng)景4K/8K超高清視頻制作技術(shù)日趨成熟

4、，結(jié)合5G廣播技術(shù)將可以更廣泛地應(yīng)用于大型賽事/活動(dòng)/事件直播領(lǐng)域，帶來(lái)超高清沉浸式的直播體驗(yàn)。在“ 5G+超高清”的直播場(chǎng)景 下，圖像更為清晰細(xì)膩、畫(huà)面更為連貫流暢、色彩飽和逼真、 壓縮損傷大幅降低，輔以三維聲（ 3D音頻）和音響系統(tǒng)的 配套，通過(guò)4K/8K超高清電視等內(nèi)容接收終端，受眾能夠獲得前所未有的沉浸式的感官體驗(yàn)。在移動(dòng)視頻業(yè)務(wù)領(lǐng)域，終端設(shè)備的更新迭代已經(jīng)能夠支持超高清、HDR及三維聲等沉浸式的聲畫(huà)體驗(yàn)，隨著未來(lái)柔性屏等屏顯技術(shù)的發(fā)展，結(jié)合5G技術(shù)會(huì)使移動(dòng)端非常流暢地享受到更高質(zhì)量的沉浸式視頻內(nèi)容，并實(shí)現(xiàn)隨時(shí)隨地的視頻分享、上傳、面對(duì)面?zhèn)鬏數(shù)取Ｒ苿?dòng)端的視頻消費(fèi)模式也將從現(xiàn)有的“觀看、

5、點(diǎn)播”視頻內(nèi)容過(guò)渡到更多新的模式，最顯著的兩大趨勢(shì)是社交視頻和移動(dòng)實(shí)時(shí)視頻，人們將可以隨時(shí)隨地觀看和分享視頻。與此同時(shí)，隨著用戶(hù)收看體驗(yàn)的日趨個(gè)性化和多樣化， 也有可能催生更具沉浸感的影院級(jí)沉浸式收看終端。如基于 多面屏或者環(huán)幕屏的沉浸式視頻體驗(yàn)，將帶來(lái)更高清晰度和 更大的畫(huà)面，結(jié)合環(huán)繞立體聲效果可給予觀看者身臨其境的 視聽(tīng)感受。5G技術(shù)與多面屏或者環(huán)幕屏等各種新型方式的 融合應(yīng)用會(huì)衍生由新的內(nèi)容交互模式和場(chǎng)景，可廣泛應(yīng)用于 大型賽事/活動(dòng)/事件直播、視頻監(jiān)控、遠(yuǎn)程現(xiàn)場(chǎng)實(shí)時(shí)展示等 需求領(lǐng)域。四、5G關(guān)聯(lián)度及其他關(guān)鍵支撐技術(shù)超高清沉浸式視頻對(duì)傳輸帶寬提由更高的要求。4K、8K視頻傳輸速率至少為

6、12-40Mbps、48-160Mbps , 4G網(wǎng)絡(luò)己無(wú) 法滿(mǎn)足4K、8K視頻傳輸對(duì)網(wǎng)絡(luò)流量、存儲(chǔ)空間和回傳時(shí)延 等技術(shù)指標(biāo)要求，5G網(wǎng)絡(luò)以其良好的承載力正成為解決該 場(chǎng)景需求的有效手段。利用5G高帶寬特性可以對(duì)高質(zhì)量的視音頻數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，實(shí)時(shí)傳輸至后端信息處理中心， 通過(guò)服務(wù)端的大數(shù)據(jù)信息分析，最后實(shí)時(shí)分發(fā)給用戶(hù)，猶如 身臨現(xiàn)場(chǎng)一樣、無(wú)時(shí)差地捕捉每一個(gè)細(xì)節(jié)。基于 5G技術(shù)的 輸入傳輸設(shè)備，利用其高帶寬、低時(shí)延的優(yōu)勢(shì)，不僅可以實(shí) 現(xiàn)4K、8K等超高清視頻的實(shí)時(shí)傳輸及用戶(hù)數(shù)據(jù)反饋，滿(mǎn)足 傳統(tǒng)顯示娛樂(lè)及互動(dòng)的需求，還可以拓展至大型賽事/活動(dòng)/事件直播、遠(yuǎn)程現(xiàn)場(chǎng)實(shí)時(shí)展示等應(yīng)用場(chǎng)景，實(shí)現(xiàn)更具現(xiàn)場(chǎng)

7、感 的視聽(tīng)體驗(yàn)。超高清沉浸式視頻的其他主要支撐技術(shù)包括超高清制作技術(shù)、超高清呈現(xiàn)技術(shù)、沉浸式音頻技術(shù)、高效音視頻壓縮編碼技術(shù)等。目前無(wú)論是超高清視頻制作技術(shù)、超高清呈現(xiàn)技術(shù)還是沉浸式音頻技術(shù)，都已是較為成熟的技術(shù)，并且 在市場(chǎng)上也有相關(guān)產(chǎn)品。在視聽(tīng)內(nèi)容制作領(lǐng)域，隨著計(jì)算機(jī)運(yùn)算能力的提升，包括高分辨率、高動(dòng)態(tài)范圍、廣色域、高幀率、高比特?cái)?shù)等在內(nèi)的超高清制作技術(shù)飛速發(fā)展。目前4K制作設(shè)備和制作能力均已比較成熟， 8K在攝制方面已經(jīng)有 部分前后期設(shè)備的支持，甚至能夠?qū)崿F(xiàn) 8K 120P的拍攝和剪輯制作。在沉浸式音頻方面，已經(jīng)有杜比全景聲和Auro 3D 等行業(yè)內(nèi)應(yīng)用較多的標(biāo)準(zhǔn)，可將音頻擴(kuò)展到三維空間

8、，未來(lái) 將幫助沉浸式視頻拓展空間表現(xiàn)力和臨場(chǎng)感。在壓縮編碼領(lǐng)域，H.265/HEVC、谷歌 VP9編碼全面支持 4K與8K的超高 清視頻壓縮編碼，我國(guó)也自主制定了最新 AVS2視頻標(biāo)準(zhǔn)用于 滿(mǎn)足4K超高清視頻應(yīng)用；止匕外，NHK正在制訂和研發(fā)專(zhuān)門(mén) 面向8K的H.266視頻編碼標(biāo)準(zhǔn)。在超高清呈現(xiàn)技術(shù)方面， 超高清電視機(jī)已經(jīng)成熟并已產(chǎn)品化，柔性屏幕已初步在手機(jī) 終端試驗(yàn)應(yīng)用，未來(lái)將幫助實(shí)現(xiàn)屏幕的移動(dòng)伸縮，讓觀眾能 夠在家中、車(chē)內(nèi)、辦公室等任何場(chǎng)合選擇合適大小的屏幕觀 看；其他多面屏或者環(huán)幕屏顯示系統(tǒng)在影院或者游樂(lè)場(chǎng)所等 其他領(lǐng)域已有類(lèi)似應(yīng)用。五、產(chǎn)業(yè)基礎(chǔ)及發(fā)展趨勢(shì)在內(nèi)容制作領(lǐng)域，目前國(guó)內(nèi)的超高清和

9、三維聲的內(nèi)容制 作才剛剛起步。在超高清內(nèi)容制作上，已有較為成熟的方案, 但仍有部分環(huán)節(jié)受技術(shù)瓶頸制約。如前期拍攝已能夠較為流 暢的完成，但受到 8K監(jiān)看設(shè)備缺乏影響，在對(duì)焦、構(gòu)圖上 對(duì)拍攝速度有一定程度的限制要求。在后期制作上，主要受 到計(jì)算機(jī)運(yùn)算能力和超高清海量素材量的制約，在存儲(chǔ)速度 和生成速度上還存在瓶頸，制作效率還沒(méi)有能夠達(dá)到高效。 在沉浸式音頻方面，國(guó)內(nèi)產(chǎn)業(yè)支持程度較為滯后，一方面現(xiàn) 存機(jī)頂盒不能支持解碼，另一方面多聲道音響難以部署在普 通用戶(hù)家中，而 SoundBar等簡(jiǎn)化解決方案價(jià)格較高還難以 普及。在傳輸方面，基于 5G網(wǎng)絡(luò)的超高清直播正在多地展開(kāi) 試驗(yàn)。直播已能夠較好的解決現(xiàn)

10、階段后期制作上的速度瓶頸 問(wèn)題，目前基于 5G網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)的4K傳輸較為成熟，但是 8K傳輸仍然受制于編碼效率和網(wǎng)絡(luò)狀況，存在碼率比較低 的問(wèn)題，還不能達(dá)到非常高質(zhì)量的8K傳輸。在終端方面，4K/UHD電視機(jī)已經(jīng)發(fā)展成熟，占據(jù)了全 球一半以上的市場(chǎng)份額，據(jù)預(yù)測(cè)，更低的價(jià)格和新的服務(wù)訂 閱模式將使2020年全球一半的電視觀眾使用 4K/8K電視。 在移動(dòng)端，華為、蘋(píng)果等最新推由的手機(jī)型號(hào)都已經(jīng)支持虛 擬三維聲和HDR等更富沉浸感的觀看體驗(yàn)，而 LG、三星、 京東方已研發(fā)由柔性 AMOLED顯示屏幕，將應(yīng)用在下一代 的手機(jī)終端上。另外，在影院級(jí)的屏幕顯示方面，2018年初， CJ4DPLEX在影廳推由了 ScreenX多面投影系統(tǒng)，通過(guò) 270 度多面投影將熒幕擴(kuò)展至兩側(cè)墻面，將電影中的畫(huà)面投放到三面空間。未來(lái)通過(guò)液晶顯示或者投影的方式將多面屏、環(huán)幕甚至穹幕引入家庭，并利用5G網(wǎng)絡(luò)傳輸適合特種屏幕顯示的視頻信號(hào)，使用超高清節(jié)目的帶寬，有可能實(shí)現(xiàn)讓用戶(hù) 在家里體驗(yàn)影院級(jí)的觀影感受。更優(yōu)質(zhì)的視音頻體驗(yàn)，毫無(wú)疑問(wèn)是未來(lái)發(fā)展趨勢(shì)，將會(huì)普及至大眾家庭。推動(dòng)超