來源：新浪微博

今年春晚周董帶來的《mojito》節(jié)目由于過于精致炫酷而被懷疑是直接播放錄好的MV。

春晚節(jié)目《mojito》

由于疫情原因，周董本人當時真的在臺北，而節(jié)目方又辟謠說這不是MV，是周董現(xiàn)場直播的節(jié)目，那到底是什么魔法讓周董空降到央視春晚的呢？

要講清這項技術(shù)，就不得不介紹一下VR、AR和MR技術(shù)了。

VR

(Virtual Reality)

VR技術(shù)大家應(yīng)該并不陌生，各大商場常設(shè)有VR體驗館，VR游戲也是不少玩家的心頭好，斯皮爾伯格導演的《頭號玩家》正是基于一款虛構(gòu)的VR游戲展開劇情的。

《頭號玩家》海報

VR技術(shù)全稱虛擬現(xiàn)實技術(shù)，它是基于計算機模擬出虛擬環(huán)境給人三維環(huán)境沉浸感。

來源：amazon

VR最簡單的構(gòu)造便是：一個殼+兩個鏡片+一個顯示屏。通過透鏡的成像原理將小范圍的圖像視角“放大”，形成大范圍的虛像。

來源：zhihu

由于人的雙眼有視覺差異、變焦功能等等，再通過軟硬件結(jié)合，符合人體結(jié)構(gòu)，優(yōu)化圖像通過人眼傳遞到大腦的感受，然后你就可以得到一臺：

PlayStation VR headset

大家玩VR游戲的時候可能都會沉浸在炫酷的3D世界中，忘記現(xiàn)實，以致于你以為你玩VR游戲的樣子：

來源：youtube

而其他人看到你們的樣子：

來源：微博

來源：澎湃新聞

當然，VR的應(yīng)用遠不止于此，它可以給學生身臨其境的教育場景，給技術(shù)人員模擬工作的體驗，在教育、科普、醫(yī)療、旅游等很多方面都有優(yōu)勢。

AR

(Augmented Reality)

AR技術(shù)全稱增強現(xiàn)實技術(shù)，是一種實時地計算攝影機影像的三維位置并加上相應(yīng)圖像的技術(shù)。簡單來說就是在現(xiàn)實的場景中再擴充疊加信息，讓真實世界與虛擬世界“無縫”集成。

來源：zhihu

AR是人工智能和人機交互的交叉學科，基礎(chǔ)技術(shù)包括計算機視覺（CV）、機器學習、多模態(tài)融合等。

累壞你家狗子的游戲《Pokemon Go》便是一個典型的AR游戲。

AR游戲 《Pokemon Go》

AR技術(shù)的應(yīng)用相比較而言更廣泛也更親民，有一部智能手機便可以享受AR技術(shù)，比如手機里可以進行測量的app：

找不到方向時給你指路的實景導航：

如今的AR設(shè)備可以是頭戴式顯示器（如Google Glass）、移動設(shè)備（如智能手機和平板）等。隨著軟硬件的升級，未來AR技術(shù)將會變得更加智能。

來源: IPCS

MR

(Mixed Reality)

MR技術(shù)全稱是混合顯示技術(shù)，比較像VR+AR混合，一邊利用虛擬環(huán)境展示出更多的信息，一邊利用真實環(huán)境帶來更好的沉浸感。因此為了讓人有逼真的MR體驗，離不開強大的計算能力，所以目前只有少量產(chǎn)品展問世，比如Microsoft HoloLens。

Microsoft HoloLens

說完這些，我們迎來今天的主角——XR技術(shù)。

XR

(Extended Reality)

XR技術(shù)全名為拓展現(xiàn)實技術(shù)，x也有變量的意思，現(xiàn)實世界與虛擬世界通過這個技術(shù)巧妙地結(jié)合在一起。它的實現(xiàn)離不開上文提到的VR、AR、MR技術(shù)，通過這些強大的工具，創(chuàng)造出新的“現(xiàn)實”。

來源：zhihu

目前，XR技術(shù)最為人所熟知的應(yīng)用便是智能舞臺與虛擬制作(Smart Stage & Virtual Production) 。各種炫酷的背景，植物的枝葉，處于另一個空間的人，動物通通都可以通過XR技術(shù)放置在表演者的周圍。

來源：AED Studios

你可以在北京的演播室拍攝身處4000多公里以外的珠穆朗瑪峰的場景，甚至還可以躺在38萬公里外的月球之上，只有你想不到，沒有XR技術(shù)做不到。

XR技術(shù)的強大之處還在于，表演者和攝影機可以在舞臺上自由移動。XR技術(shù)會讓虛擬世界永遠以正確的視角實時展示在觀眾的面前，以確保屏幕前都是邏輯正確的圖像。因此，在觀眾看來，表演者或者主持人似乎實時地身處虛擬世界。

英雄聯(lián)盟S10開幕式表演直播版

如何在舞臺上創(chuàng)造XR世界？

在傳統(tǒng)的影視制作中，要想將一個實物放入設(shè)想的虛擬世界，可以用綠幕摳像與影視后期制作來完成。但是這個過程需要前后期準備，缺乏時效性。隨著人們獲得新奇視覺體驗的需求量越來越高，我們開始尋問：如果想實時地獲得這些效果該怎么辦？

實際上，構(gòu)成我們眼前屏幕上畫面的元素包括背景，真實物體以及前景 (即空間邏輯關(guān)系在真實物體之前的虛擬物體)。

來源：bilibili

除了實物以外的畫面，都是通過3D渲染引擎渲染完成的。想要在攝影機運動的情況下得到實時的反饋，虛擬內(nèi)容就需要跟隨著攝影機的位置時刻變化。這就要求3D渲染引擎擁有強大的實時渲染能力，如Notch、UE4等等，它們能在有限的時間內(nèi)渲染大量的視頻畫面以適應(yīng)攝影機時刻變換的位置。

來源：google

如何讓虛擬畫面出現(xiàn)在真實物體周圍呢？

不難想到，投影機加投影屏幕的組合或者搭建LED屏幕可以實現(xiàn)大部分的背景顯示，只要合理地搭建這些顯示設(shè)備，我們就能在一個有限的空間內(nèi)達到沉浸式的顯示效果。

來源：google

將渲染引擎實時渲染完成的符合攝影機拍攝時空間透視關(guān)系的畫面實時地映射到這些顯示器上，就能得到一個三維的虛擬空間，再將另一個實時渲染出來的前景疊加在這個拍攝信號之上，觀眾便可以看到更符合認知的前中后關(guān)系的畫面。

來源：AED Studios

攝像機的運動則是通過一套追蹤系統(tǒng)完成追蹤的，攝影機的位置又包括固定機位，搖臂或者云臺控制的機位，它們通過特定的協(xié)議傳輸攝像機所在的空間位置信息以及鏡頭的某些參數(shù)，以幫助渲染引擎理解攝像機的位置。

有了攝像機追蹤系統(tǒng)，實時渲染系統(tǒng)和LED或者投影構(gòu)成的顯示系統(tǒng)，我們還需要一個虛擬制作系統(tǒng)進行收發(fā)，解包，修整，對齊等工作，將三者配合起來，以完成我們眼前的畫面。

來源：bilibili

這其實是一個工作量巨大的任務(wù)：在半秒之內(nèi)，追蹤系統(tǒng)將攝影機的位置信息傳輸給虛擬制作系統(tǒng)，信息被解讀和翻譯之后傳輸給實時渲染引擎，引擎再將渲染完成的畫面?zhèn)魉突厝?，虛擬制作系統(tǒng)將其投送到搭建好的屏幕上。

當然，在強大的追蹤系統(tǒng)、渲染引擎、媒體處理器之外，實時的數(shù)據(jù)傳輸也是不可或缺的一環(huán)。要想XR技術(shù)真正走進日常生活中，在超高通量的數(shù)據(jù)傳輸任務(wù)要求下，5G技術(shù)的發(fā)展也是至關(guān)重要的。

但其實現(xiàn)在XR技術(shù)只能服務(wù)于屏幕前的觀眾，在現(xiàn)場的觀眾只能看到2D的效果，如下圖所示。

LOL S10開幕式表演現(xiàn)場版 | 來源：B站用戶

XR技術(shù)的前景

正如前文所說，目前XR技術(shù)的確只能服務(wù)于屏幕前的觀眾，但想象一下將來每個人都能在眼前有一塊“屏幕”，XR技術(shù)或許真的能給每一個人的生活帶來不一樣的改變。

在現(xiàn)實世界中玩帶有特效的真人cs，或是全方位的沉浸式音頻體驗，隨時隨地體驗周董在你耳旁唱聽媽媽的話哄你入睡。。。

來源：google

在教育和醫(yī)療上，XR技術(shù)的前景也是廣闊的，未來，老師在上課時也許能實時地把學生們帶到課文中的情景之中；醫(yī)生在做一些復雜的手術(shù)之前，或許還能通過XR技術(shù)模擬手術(shù)操作，機器學習和人工智能則可以提供咨詢服務(wù)，以提高手術(shù)的成功率等。

讓我們一起期待XR給我們的生活帶來更多改變！

參考資料：

[1] “V”來已來——淺談光學VR實現(xiàn)原理

[2] 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）背后的核心技術(shù)是什么？

[3] 一文看懂XR科技（擴展現(xiàn)實）——人類交互方式的終極形態(tài)零日情報局

[4] Extended Reality at AED Studios

[5] xR？虛擬制作？2020年最火爆的舞臺技術(shù)原理解析——hecoos虛擬制作系統(tǒng)

編輯：啵啵蟶&小林綠子

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.