沉浸式科技前沿：2019計(jì)算機(jī)圖形學(xué)會(huì)議SIGGRAPH上都有哪些新探索？
優(yōu)質(zhì)的沉浸式娛樂體驗(yàn)一定離不開藝術(shù)與技術(shù)的完美結(jié)合，作為具有產(chǎn)業(yè)研究視角的專業(yè)媒體，NeXT SCENE除了從藝術(shù)和商業(yè)層面介紹和報(bào)道沉浸式體驗(yàn)項(xiàng)目之外，也一直關(guān)注沉浸式娛樂科技發(fā)展的最前沿。
SIGGRAPH是由ACM SIGGRAPH（美國計(jì)算機(jī)協(xié)會(huì)計(jì)算機(jī)圖形專業(yè)組）組織的計(jì)算機(jī)圖形學(xué)頂級(jí)年度會(huì)議，是全球影響最廣、規(guī)模最大、最權(quán)威的計(jì)算機(jī)圖形學(xué)會(huì)議。每年這個(gè)時(shí)候，全球頂尖的科技公司、研究人員和高等學(xué)府會(huì)齊聚一堂，分享各自的研究成果。而近幾年的SIGGRAPH也著重強(qiáng)調(diào)了沉浸式體驗(yàn)的影響力，每年都會(huì)有VR Theater和Immersive Pavilion。NeXT SCENE作為產(chǎn)業(yè)研究媒體受邀參加了整個(gè)SIGGRAPH活動(dòng)，快來跟隨我們的研究員看一下沉浸式娛樂科技都有哪些最新前沿吧。
SIGGRAPH全稱：SpecialInterestGroup on ComputerGRAPHics and Interactive Techniques
圖片來自 ACM SIGGRAPH Media
Immersive @ SIGGRAPH
15個(gè)VR劇場(chǎng)體驗(yàn)，29個(gè)沉浸式場(chǎng)館體驗(yàn)
圖片來自 Muso
作為一個(gè)集科學(xué)、藝術(shù)和商業(yè)為一身的CG展示會(huì)與學(xué)術(shù)研討會(huì)，SIGGRAPH給我的第一印象是"Geek"（極客）。對(duì)計(jì)算機(jī)圖形學(xué)最感興趣的人，無疑就是對(duì)科技的最新發(fā)展密切關(guān)注的電腦工程師和圖形設(shè)計(jì)師了。在會(huì)場(chǎng)，各場(chǎng)學(xué)習(xí)講座座無虛席。他們尊重知識(shí)，對(duì)新事物保持好奇心，并孜孜不倦的探究問題，這樣的精神給了我很大的震撼。
“Geek Bar”這個(gè)溫馨的角落一天不間斷地為參會(huì)者充電
圖片來自 ACM SIGGRAPH Media
除了能見到學(xué)術(shù)大牛以外，會(huì)場(chǎng)內(nèi)會(huì)有很多“Real Geek”
圖片來自 Muso Instagram
展會(huì)最新資訊
在SIGGAPH的每一天，你都能聽到有關(guān)計(jì)算機(jī)圖形學(xué)的重磅新聞。
NVIDIA
NVIDIA（英偉達(dá)）在這次研討會(huì)上宣布現(xiàn)已有超過35個(gè)專業(yè)的創(chuàng)意應(yīng)用程序支持旗下的RTX GPU的光線追蹤技術(shù)（Raytracing），并有多家全球領(lǐng)先的軟件制造商推出了采用RTX技術(shù)的應(yīng)用程序。此款GPU不僅可以最大化地加速圖形渲染任務(wù)，提高娛樂體驗(yàn)中的實(shí)時(shí)光線追蹤性能，而且可以支持深度學(xué)習(xí)（Deep Learning）和高級(jí)人工智能技術(shù)的運(yùn)用。
支持RTX的程序包括：Adobe Substance Designer, Autodesk Flame, Blender Cycles, Daz 3D Studios, Foundry Modo, Dimension 5 D5 Fusion, and Luxion Keyshot 等等
圖片來自 作者Lia
在NVIDIA的展會(huì)現(xiàn)場(chǎng)，個(gè)性化的“登月之旅”體驗(yàn)項(xiàng)目（Moon Landing）吸引了眾人的眼球。正值阿波羅11號(hào)登月50周年，NVIDIA運(yùn)用RTX GPU重新創(chuàng)造了一次別開生面的實(shí)時(shí)登月體驗(yàn)。通過攝像頭捕捉姿態(tài)后，體驗(yàn)者會(huì)與經(jīng)過3D渲染后的宇航員角色相匹配，通過實(shí)時(shí)光線追蹤渲染各個(gè)細(xì)節(jié)。之后將其與開發(fā)式協(xié)作平臺(tái)Omniverse相結(jié)合，即時(shí)生成逼真的3D影像。
讓玩家重溫歷史時(shí)刻
圖片來自 Nvidia
這個(gè)技術(shù)的特別之處在于，屏幕上的每個(gè)像素都是通過追蹤光束進(jìn)入相機(jī)后實(shí)時(shí)生成的。在這個(gè)過程中，場(chǎng)景中的人物變化會(huì)引發(fā)光線的交互作用，智能化調(diào)節(jié)畫面并生成新影像。對(duì)創(chuàng)作者來說，這項(xiàng)技術(shù)可以讓他們即時(shí)而準(zhǔn)確地看到光線的反射、 陰影的柔和度、全局照明以及其他視覺效果，從而更好的調(diào)整設(shè)計(jì)方案。而以往，特效渲染人員要花上好多天時(shí)間才能達(dá)到同樣的逼真度。
說到NVIDIA，不能不提它發(fā)布的AI繪畫的網(wǎng)頁應(yīng)用GauGAN。這款取名于畫家高更的應(yīng)用，在大會(huì)評(píng)選中獲得了本次Siggraph的最佳實(shí)時(shí)現(xiàn)場(chǎng)演示獎(jiǎng)(Real-Time Live! Best in Show)以及觀眾選擇獎(jiǎng)(Audience Choice awards)。無論是職業(yè)電腦畫師還是業(yè)余的繪畫愛好者，都可以利用現(xiàn)場(chǎng)的演示品在幾分鐘內(nèi)創(chuàng)作出高水平的繪畫圖像。
筆者初次嘗試，感覺AI還是跟我不搭
圖片來自 Lia
Khronos Group
在增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）方面， Khronos Group發(fā)布了OpenXR 1.0規(guī)范，公開免版權(quán)費(fèi)的開源技術(shù)標(biāo)準(zhǔn)。OpenXR工作組旨在幫助AR/VR的開發(fā)者創(chuàng)建跨平臺(tái)混合現(xiàn)實(shí)（XR）體驗(yàn)，免去在不同的軟件開發(fā)工具包中轉(zhuǎn)換的麻煩。
PIXAR
自從2015年皮克斯宣布將開源動(dòng)畫軟件Universal Scene Description（USD）之后，它逐漸成為動(dòng)畫和視覺特效行業(yè)內(nèi)的標(biāo)準(zhǔn)。這款軟件可以幫助創(chuàng)作者完整地將動(dòng)畫制作中的各項(xiàng)應(yīng)用組裝到其他應(yīng)用中，有效減少數(shù)據(jù)烘培。因此不同創(chuàng)意人員可以在同一設(shè)計(jì)場(chǎng)景中協(xié)同工作，而無需等待對(duì)方完成。除了The Foundry、Unity、Epic Games (Unreal Engine)、Pixar、Animal Logic之外，Autodesk和Nvidia也均已使用和支持USD。
說到這里，不得不提一下皮克斯的Renderman軟件。最新上映的《玩具總動(dòng)員4》中就應(yīng)用到了這款強(qiáng)大的渲染引擎。
特別展廳中等人高的塑像
圖片來自 Lia
如果你看過電影的話，你一定記得胡迪和牧羊女在古董店里面對(duì)琳瑯滿目的吊燈場(chǎng)景。這個(gè)場(chǎng)景用了大概一萬七千多個(gè)燈泡，全部都是在Renderman的支持下呈現(xiàn)的！
除了上述展位之外，筆者還發(fā)現(xiàn)展會(huì)現(xiàn)場(chǎng)有不少動(dòng)作捕捉公司的展臺(tái)：例如帶來現(xiàn)場(chǎng)體操表演的Optitrack和Qualisys，展示的無需外部相機(jī)的連體衣的Rokoko，甚至是筆者偶爾攀談的來自中國的Noitom等。
吸引人眼球的Optitrack的動(dòng)作捕捉展示
圖片來自 ACM SIGGRAPH Media
Noitom展臺(tái)
圖片來自 Lia
我們可以看到動(dòng)捕技術(shù)的商業(yè)化之路越來越成熟，在5G技術(shù)推廣的助推下，以后也許人人都可以自由創(chuàng)作。
體驗(yàn)中心分享
在SIGGRAPH會(huì)場(chǎng)中，筆者最喜歡的地方非體驗(yàn)中心（Experience Hall）莫屬了。這里是整個(gè)SIGGRAPH創(chuàng)作者和科研人員的大舞臺(tái)，也是藝術(shù)與科技完美結(jié)合的地方。
Experience Hall
圖片來自 ACM SIGGRAPH Media
除了人流如織的VR劇場(chǎng)(VR Theatre)之外，體驗(yàn)中心還包含藝術(shù)展廳(Art Gallery)、新興技術(shù)展廳(Emerging Technologies)，體驗(yàn)展廳(Experience Presentation)、沉浸樂園(immersive pavilion) 以及工作室 (studio)。
藝術(shù)展廳 展位推薦
今年的藝術(shù)展旨在探索人們?nèi)绾蚊鎸?duì)充滿不確定性的未來。參展的作品不僅展現(xiàn)了我們?cè)诋?dāng)下所取得的藝術(shù)成就，更提出了我們?cè)谌蚧纳鐣?huì)中所發(fā)現(xiàn)的問題和可能的應(yīng)對(duì)思路。
不斷增長的可能性：藝術(shù)與設(shè)計(jì)猜想的未來
圖片來自 Lia
在這里，藝術(shù)家們通過混合不同的藝術(shù)形式和數(shù)碼制作手段，結(jié)合科學(xué)、建筑、設(shè)計(jì)，以及虛擬和增強(qiáng)平臺(tái)來提出對(duì)社會(huì)問題的思考。
RUSHI：如是
色彩與中國玄學(xué)山水的結(jié)合
圖片來自 ACM SIGGRAPH Media
來自中國香港的John Wong受到了中國的風(fēng)水理論和生辰八字算命方法的啟發(fā)，創(chuàng)作了“如是”，一個(gè)算法交互式裝置藝術(shù)。這個(gè)充滿了藝術(shù)美感的體驗(yàn)，背后卻是一些看似違而又奇妙融合的元素：大數(shù)據(jù)與人工智能、命運(yùn)與迷信。參與者只需要輸入他們的出生日期，屏幕就會(huì)顯示不同受眾的可視化數(shù)據(jù)，最終通過顏色的變化表現(xiàn)出來。
作者提到，數(shù)據(jù)科學(xué)家和算命先生在某種程度上都是將不確定的世界量化成可以理解的數(shù)字或者答案。這么說來，大數(shù)據(jù)和人工智能是否也是一種新的迷信呢？
Robotic Voice Activated Word Kicking Machine
這個(gè)真正的“文字游戲”讓筆者玩的不亦樂乎。
圖片來自 Lia
參與者對(duì)著話筒說的任何話會(huì)被即時(shí)轉(zhuǎn)化成文字。如果文字若掉入右下角的聽筒中，會(huì)被念出來。若文字不幸碰到了右上角的腳，則會(huì)被“踢”回來。這件有趣的裝置探討了虛擬與現(xiàn)實(shí)間的交互，讓我看到了聲音可視化的另一種有趣的應(yīng)用。如果周星馳在《九品芝麻官》里對(duì)著大海練口才的場(chǎng)景中運(yùn)用這件作品，場(chǎng)景會(huì)更壯觀呢！
NoiseAquarium
有關(guān)海洋的藝術(shù)作品總給人一種溫暖而安心的感覺。這個(gè)看似普通的虛擬現(xiàn)實(shí)體驗(yàn)其實(shí)并不簡(jiǎn)單。很少有人知道，人為產(chǎn)生的水下噪音對(duì)海洋生物有著毀滅性的影響。不僅像鯨魚和海豚這類靠聲音交流的高級(jí)生物深受人類噪音之害，大量的浮游生物的生存空間也被日益威脅著。
圖片來自 Lia
這個(gè)充滿浮游生物的交互裝置，利用3D掃描技術(shù)監(jiān)測(cè)微生物在噪音影響下的生存狀態(tài)，結(jié)合數(shù)據(jù)分析后，通過動(dòng)畫的方式向體驗(yàn)者呈現(xiàn)壯麗的景象。肉眼看不到的生命，也是值得被尊重的生命，何況這些生命和海洋生態(tài)系統(tǒng)息息相關(guān)。事實(shí)上，這不僅僅是浮游生物的問題，更是我們?nèi)祟愃媾R的問題。
新興技術(shù)展廳 展位推薦
360-Degree Transparent Holographic Screen Display
圖片來自 Lia
出自索尼日本設(shè)計(jì)研究中心的這款360度透明的全息屏幕給參會(huì)者提供了一種很獨(dú)特的“存在性”現(xiàn)實(shí)。實(shí)際上，在透明圓柱的背后是2D影像和高速攝像頭傳感技術(shù)的結(jié)合。
Arque: Artificial Biomimicry-Inspired Tail for Extending Innate Body Functions
人類要是有了尾巴會(huì)怎樣？你知道長了尾巴的感覺嘛？這款同樣出自于日本的研究作品在現(xiàn)場(chǎng)吸引了不少眼球。
人工仿生機(jī)械尾巴
圖片來自 Lia
鑒于尾巴對(duì)大多數(shù)脊椎動(dòng)物的重要性，設(shè)計(jì)師們提出了一種以人造仿生學(xué)為基礎(chǔ)制作的擬人尾巴，讓體驗(yàn)者可以通過改變尾巴而影響身體沖力，加強(qiáng)對(duì)觸覺的反饋與應(yīng)用。
Matching Visual Acuity and Prescription: Towards AR for Humans
新型穿戴式增強(qiáng)現(xiàn)實(shí)設(shè)備
圖片來自 Lia
對(duì)于廣大眼鏡佩戴者而言，戴上額外的眼鏡既麻煩又破壞體驗(yàn)感。來自NVIDIA研究組的研究人員設(shè)計(jì)了兩款新型的增強(qiáng)現(xiàn)實(shí)設(shè)備：一款是將度數(shù)矯正整合到5毫米厚的圖像合成器中，這樣無需多余的鏡片就能看到增強(qiáng)現(xiàn)實(shí)影像；一款是通過調(diào)整分辨率和焦點(diǎn)深度來適應(yīng)用戶的視野。
體驗(yàn)展廳 展位推薦
OZ Immersive
OZ游戲系統(tǒng)
圖片來自 Lia
這家來自法國的公司可謂是我本次的意外收獲。高水準(zhǔn)的虛擬現(xiàn)實(shí)游戲影像，有趣的游戲設(shè)計(jì)和社交元素，身臨其境般的體驗(yàn)，OZ沉浸式游戲系統(tǒng)讓人眼前一亮。
游戲原理示意圖
圖片來自Twitter @BlackLight
Mary and the Monster
瑪麗和怪物（Mary and the Monster）是一場(chǎng)戲劇與混合現(xiàn)實(shí)的完美結(jié)合。
圖片來自 Parallux
科幻小說之母瑪麗雪萊本人的生活和她創(chuàng)作的故事《弗蘭肯斯坦》一樣精彩。這款增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)體驗(yàn)，通過年輕瑪麗的視角將讀者帶回了怪物的身邊。其獨(dú)特之處在于它將增強(qiáng)/虛擬現(xiàn)實(shí)的優(yōu)勢(shì)和舞臺(tái)劇的觀看體驗(yàn)成功地結(jié)合在了一起，讓觀眾可以更加沉浸于主人公獨(dú)特的內(nèi)心世界，并更加自由地選擇不同視角來體會(huì)怪物誕生的心路歷程。
Wolves in the Walls: Chapter 2, It's All Over.
圖片來自 ACMSIGGRAPH Blog
曾在圣丹斯和翠貝卡兩大電影節(jié)首映過，改編自Neil Gaiman同名小說“墻壁里的狼”的虛擬現(xiàn)實(shí)體驗(yàn)作品，也來到了本次SIGGRAPH。這不僅僅是一個(gè)童話故事，更是一次無與倫比的心靈之旅。
一個(gè)人玩耍的童年，和虛擬朋友的互動(dòng)，對(duì)黑暗與未知的恐懼，急需家人信任的心情，這一切都完美的融入到這場(chǎng)驚心動(dòng)魄的VR冒險(xiǎn)之中。在這個(gè)體驗(yàn)里，我不再只是一個(gè)旁觀者，更是一場(chǎng)故事的參與者。我目睹了天馬行空的狼群向我襲來；我也在黑暗里和那個(gè)小女孩一起涂鴉、交談；我在一個(gè)鬼影幢幢的大房子里找尋真相；最后戛然而止的不僅是女孩一家人的命運(yùn)，更是我糾葛的心。
VR劇場(chǎng) 作品推薦
VR劇場(chǎng)內(nèi)部
圖片來自 ictus_audio instagram
小備注：整個(gè)VR劇場(chǎng)的3D聲學(xué)系統(tǒng)是由位于溫哥華的Ictus Audio負(fù)責(zé)設(shè)計(jì)實(shí)施的，值得驕傲的是，Ictus Audio的兩位創(chuàng)始人Yao Wang和Sherry Li都是華人，也是NSR研究團(tuán)隊(duì)主管 Muso老師的朋友。
KaiJu Confidential
圖片來自 Lia
這個(gè)僅五分鐘的VR電影無疑是本次VR展映的驚喜。作為特?cái)z片愛好者，我第一次發(fā)現(xiàn)原來在怪物的視角看被摧毀的城鎮(zhèn)是件如此有趣的事情。
Kate
圖片來自 ACM SIGGRAPH Media
說起VR電影，不得不提迪士尼動(dòng)畫的第二部VR短片“風(fēng)箏”（Kate）�？粗鴺O具中國風(fēng)的龍風(fēng)箏起起伏伏，我不禁回憶起了小時(shí)候放風(fēng)箏的日子。這里的風(fēng)箏，有人性有活力，無需任何言語。其實(shí)簡(jiǎn)單的東西，往往最能觸動(dòng)人心了。
電腦動(dòng)畫節(jié) 作品推薦
這場(chǎng)在電子劇場(chǎng)（Electronic Theatre）舉行的電腦動(dòng)畫節(jié)可謂聲勢(shì)浩大。在將近三小時(shí)的時(shí)間里，幾十個(gè)動(dòng)畫佳作輪番上演：有的畫面質(zhì)量達(dá)到了業(yè)界的最高水準(zhǔn)，有的故事內(nèi)容發(fā)人深省，有的作為計(jì)算機(jī)圖形技術(shù)發(fā)展的范例展示。不得不說Siggraph的動(dòng)畫可謂業(yè)界上乘。
Stuffed
圖片來自 ACMSIGGRAPH Media
這個(gè)獲得最佳學(xué)生作品獎(jiǎng)項(xiàng)的動(dòng)畫讓人意猶未盡。在眾多CG加成的作品中，Stuffed不僅高水準(zhǔn)的完成了定格動(dòng)畫的制作，更是用心講了一個(gè)引人深思的故事。盡管動(dòng)畫沒有臺(tái)詞，看完后我能感受到作者想要表達(dá)的那種失落，焦慮和無助。能夠傳遞情感和心情的故事，讓人印象深刻。
Passage
圖片來自 ACMSIGGRAPH Media
來自塞爾維亞的動(dòng)畫制作者則向觀眾展示了什么是藝術(shù)與人文。這個(gè)人物均由幾何構(gòu)成，沒有過多言語的故事讓人深受震撼。
戰(zhàn)爭(zhēng)與暴力，文明與家族，命運(yùn)與輪回，我想不同的觀眾會(huì)有不同的體會(huì)�？吹侥切┠脴屩钢迕竦膽�(zhàn)爭(zhēng)機(jī)器，我不禁想起了那些令人不寒而栗的屈辱的歷史。更可怕的是，這些歷史或許正在不斷輪回，或許正在世界的某個(gè)角落上演。
鑒于篇幅限制，筆者只選擇了一些最有趣的見聞和大家分享。今年的SIGGRAPH展會(huì)展示了最前沿的電腦繪圖技術(shù)與藝術(shù)結(jié)合的更多可能性，而這些可能性也為沉浸式體驗(yàn)的發(fā)展提供了新的空間。
我們看到了沉浸式體驗(yàn)與游戲相結(jié)合的嘗試，也看到了沉浸式體驗(yàn)不再只限于視覺，而更多地涉及觸覺、溫度的熱感應(yīng)甚至痛覺。正是有了這些電腦工程師、繪圖設(shè)計(jì)師在技術(shù)上的不斷探究和創(chuàng)新，才讓更多動(dòng)人的作品從一個(gè)想法變?yōu)榭赡堋Ｎ磥沓两襟w驗(yàn)會(huì)如何發(fā)展，讓我們拭目以待。
