《Meta 官方消息》Jesse Schell 談 VR 的歷史、MR 的興起以及數位世界的潛力|奧斯丁國際有限公司 OURSTEAM Internationl

以防萬一您錯過了，今年是 Reality Labs 成立 10 週年。我們最初在 4 月發表了一篇部落格文章來紀念這一時刻，介紹了過去十年的一些亮點。隨著本週 Meta Quest 3S 的推出，這一勢頭得以延續——這是進入混合實境的最簡單方式。今天，我們將繼續慶祝活動，推出為期五週的新系列，聚焦那些讓魔法成為可能的開發人員。

每週，我們都會與不同的混合實境先驅坐下來談論他們在這個行業的經歷、學到的一些經驗教訓以及他們對未來最期待的事情。首先，我們採訪了遊戲設計師、作家兼 Schell Games 執行長Jesse Schell，談論他自己的起源故事以及《我期望你死》 (I Expect You To Die) 的誕生。

Oculus 被收購已經 10 年了，我們正在慶祝這個週年紀念日，但你們在混合實境方面的背景顯然可以追溯到更早。我希望您能向我們講述一些早期的經歷，以及是什麼讓您對虛擬實境及其他領域產生興趣。

Jesse Schell：我開始從事虛擬實境工作大概是在 1992 年左右。那是虛擬實境首次真正進入市場。雖然之前它一直在研究實驗室中，但這是第一次有產品問世，有第三方頭盔面世，諸如此類的東西，這真是令人興奮。這是我聽說過的事情並且我認為它看起來非常有趣。我最終去了 Carnegie Mellon University，在那裡學習電腦網路。我必須完成一篇論文，有一個團隊試圖創建一個網路虛擬實境藝術博物館。

哦，哇哦。

JS：這確實是一個超越時代的項目，所以我和其他幾個學生聚在一起說：「嘿，也許我們可以幫忙做這個項目。」我的論文主題是大型多人虛擬實境世界的網路架構。對 1993 年來說，這件事發生得有點早，但這正是我們當時思考和努力的事情。這是非常令人興奮的，因為它非常新穎——以前從來沒有人嘗試過這樣的事情。我們實際上能夠在紐約 Guggenheim 美術館舉辦一個展覽，這非常令人興奮。

那真是難以置信。

JS：我畢業後不久，在從事另一份工作時，聽說迪士尼有這個虛擬實境實驗室。我在迪士尼樂園看到他們的一些作品，然後又看到了他們工作室的招募啟事。我很感興趣，而且事實證明我的背景恰好符合他們的需求，所以我開始在那裡工作。那應該是在 90 年代中期，當時迪士尼開始建造一個名為「迪士尼探索」的項目，這是一個虛擬實境主題樂園。這就是我真正被吸引進入虛擬現實世界的原因。

您認為 1992 年和 1990 年代中期虛擬實境領域的活力與今天，甚至 10 年前的活力有何不同？

JS：我的意思是，按照當時的情況來看，我們肯定是在為未來而努力。我們使用的機器價值數十萬美元。這真是令人難以置信。我們正在研究的一些機器價值高達五十萬美元。它就在那裡。

能夠參與某件事並看到它的發展方向是件很令人興奮的事，但這麼早就參與其中並進行探索更令人興奮。同時，這也非常孤獨，因為沒有人可以溝通。你知道，我會去參加遊戲開發者大會，人們在那裡談論的事情與我們日常處理的問題截然不同。成為先驅者是令人興奮的，但在邊境森林深處也很孤獨。

十年前是令人興奮的，因為這是第一次有頭盔進入消費市場。我們一直在關注的頭盔是面向企業市場的，而這款頭盔現在將成為人們在家中使用的產品。對我來說，這是令人興奮的。

我在這兩件事之間建立了一個很好的橋樑，因為我在 21 世紀初就開始在卡內基美隆大學教授虛擬實境課程。從迪士尼探索計畫開始到虛擬實境出現在市場上，我的學生們一直在持續研究虛擬實境。我參與過一千多個創建虛擬實境世界的學生專案。當它最終出現在市場上時，我想，「哦，好吧。我想我知道該怎麼做。我想我知道這是怎麼回事。」

《直到你墜落》的概念藝術。

有趣的是，您的教育背景和論文都是關於虛擬實境的，還有您在 MMO(大型多人在線遊戲) 方面的工作，都直接影響了您在迪士尼的工作，包括您參與的 Toontown MMO，而現在——

JS：實際上，Toontown MMO 的網路架構部分是基於我所做的論文。能夠在一場真正的比賽中發揮出其中的一些作用——一場至今仍在進行的真實比賽——這真是太好了。

是的，那麼，看看您在 MMO、教育內容、虛擬實境方面的豐富經驗，您的主線是什麼？是什麼一直激勵著您並且現在繼續激勵著您？

JS：當有機會創造一些以前沒有人能夠創造的東西時，我總是感到最興奮——透過做一些以前沒有人做過的新事物來讓世界變得更美好。這總是令人興奮的，並且有很多不同的方法可以實現。這可以透過娛樂實現，娛樂體驗對人們來說確實具有強大的影響力。可以透過教育——以新的方式幫助人們變得更好、提升自己，這可能令人興奮。有很多不同的方法可以做改善世界的事情。

絕對地。那麼，您對我們現在看到的從完全沉浸式虛擬實境（過去 10 年一直是該行業的主要內容）到現在開始出現的混合實境體驗的轉變有什麼看法？

JS：我認為這是非常令人興奮的，從純粹的沉浸式虛擬實境轉變為擴增實境和混合實境的領域。有很多原因讓它令人興奮，在某種程度上，我認為混合實境體驗的受眾群體要大得多。很多人對於完全沉浸在虛擬世界中感到畏懼，因為你可能會與周圍的實體環境失去聯繫，這對他們來說是一種威脅。現在，混合實境可以讓你同時享受兩個世界的優點，你仍然身處現實世界，但這裡有一些神奇的東西與你同在。我認為，這對很多人來說非常有吸引力，看到這樣的事情發生真是令人興奮。從技術上來說這非常困難，但技術已開始使之成為可能。關於這到底是做什麼用的，有許多大問題，也有很多人在該領域探索不同的東西——但我們都在一起學習。

《我期望你死 3：機器中的齒輪》的概念藝術。

那麼您認為過去 10 年左右混合實境領域最大的技術進步或最大創新是什麼？

JS：這絕對是光學追蹤——毫無疑問，能夠同時追蹤頭盔、手和控制器——能夠透過光學方式做到這一點，這改變了一切。這基本上是我們自 90 年代以來經歷的唯一真正的變化，那時候，我們用磁力追蹤一切事物，這很麻煩，因為你必須掛一個大天線，這很複雜而且很奇怪。能夠以光學方式做到這一點——它給你這種自由，因為一旦你能做到這一點，現在你就不需要電線了。

能夠無線地做事使得一切變得更加自由，我們已經看到了這一點。一旦有了手部追蹤和無線頭盔，我們就會看到 Quest 像火箭一樣起飛。它確實帶來了變化並讓更多的人定期體驗虛擬實境和混合實境。

展望未來，您預測哪種控制方案會在混合實境持續流行過程中佔據主導地位？我們有追蹤控制器和手部追蹤。眼球追蹤技術正開始逐漸流行起來。您認為它會是其中之一還是完全不同的東西？

JS：我認為蘋果已經證明眼球追蹤有助於帶來出色的體驗，因此我預計這將繼續成為常態並成為事物的重要組成部分。我確實認為，雖然對於輕鬆的體驗來說，免持有其用武之地，但對於更嚴肅的體驗，對於遊戲玩家的體驗來說，我們現在擁有的控制器可能會在相當長的一段時間內保持相當的標準。有時會發生這種情況：您得到一個控制器，並且您做對了。看看電腦滑鼠，它最後一次改變是什麼時候？由於它有效，因此沒有發生太大的改變，它做了它該做的事。因此我預計我們現有的控制器可能會持續很長時間。

《直到你墜落》的概念藝術。

說到控制器，我很好奇：您喜歡之前帶有追蹤環的 Touch 控制器設計，還是更喜歡控制器可自我追蹤的新型無環設計？

JS：我的意思是，控制器越輕越小越好。環的主要問題是，有時它會擋路並撞到東西。所以，是的，我認為他們幹擾得越少就越好。

回顧過去 10 年，在打造虛擬實境遊戲和體驗的過程中，有哪些趣聞或故事讓您印象深刻？您有最喜歡的一段或幾段嗎？

JS：我經常想到的一個故事是，每當出現一種新媒介時，人們總是很難弄清楚如何創造新的東西，對嗎？他們總是試圖複製以前的東西。您可以回顧一下電影發明的時代，人們說：「哦，太好了，現在我們可以用電影來講述故事，我們可以去看一齣戲劇，把攝影機對準戲劇，這就是我們的電影。」對嗎？但現在人們發現，拍一部電影不僅僅是用攝影機拍攝一齣戲劇。

當觸控螢幕出現時也發生了同樣的事情，人們說：「太好了，我們要把電腦遊戲搬到觸控螢幕上。」但這並沒有起到什麼作用。為了真正利用這種媒介，人們必須發明觸覺導向的遊戲。

我們在虛擬實境中也看到了同樣的情況。我們親身體驗過這種感覺的一次是當我們嘗試在 Schell Games 建立虛擬實境原型時，有些開發人員對此並不十分熱衷，他們不喜歡在虛擬實境中感受到的限制。

我與一位正在開發原型的開發人員進行了交談。我說：「確保不要做太多的鏡頭運動，因為有時會讓人感到不舒服，因此也許在這次體驗中只需要進行一些瞬間傳送。他完全無視我所說的話，把相機移到各處，讓人很不舒服。我說：「嘿，我要求你不要這樣做，你為什麼要這麼做？」他說：「看看吧，這就是虛擬實境的問題所在。當你戴上頭盔時，你想像超級英雄一樣飛來飛去，但你卻被綁在椅子上——沒有人願意這樣。」

我們面面相覷，然後說：「喔！超級英雄被綁在椅子上！」就像這種事情實際上一直在發生，但沒有人製作過關於它的遊戲。就在那一刻，我們想出了《我希望你死》——因為我們想到了 James Bond 被困住，而他必須逃離這個死亡陷阱的那些時刻。

這是一個很棒的故事。

JS：那是發揮媒介力量並向前邁進的時刻。虛擬實境的優點在於：你可以擁有更大的親密感，能夠對物體進行精細的操縱，而這是普通遊戲無法做到的。因此我們不禁要問：「如果我們構建一款傾向於此的遊戲會怎麼樣？」

當然，現在情況不同了，人們對於動態越來越適應，我們正在學習更好的動態技術，因此人們在世界各地穿梭。但當我看到虛擬實境作為一種媒介的優勢時，我發現它更多的是關於操控和親密感，而不僅僅是無休止的奔跑。每當說到我們在那場比賽中取得的成功時，我常常會想到這個故事，一切都源於這樣一個問題：「這個系統到底能做什麼？」

《我期望你死 3：機器中的齒輪》的概念藝術。

這真的很有趣。這也讓我想起了《我們之中》。因為原版《我們之中》在疫情最嚴重的時候開始流行，我的孩子們開始有點喜歡它了。於是我嘗試著玩了一下，但我完全無法理解。然而一旦戴上頭盔，它就變得非常直觀，並且是一種非常有趣的社交體驗。

JS：對我們來說這是一個有趣的事。並非所有遊戲都能順利過渡到虛擬實境——事實就是如此。所以，我們正在研究《我們之中》的問題，從某種程度上來說，這似乎行不通。這是一款二維遊戲，遊戲講的是對話，那麼它是如何運作的呢？它是二維的，需要大量的打字。但隨著我們不斷思考，我們意識到：這是一個偷偷靠近的遊戲，一個需要小心謹慎的遊戲。所以就有了這樣一種概念，即用你的雙手完成一項任務，但隨後必須向後看，真正注意你的背後。就像是，「哇，感覺真的很好。感覺這部分就是這個目的。」

當然，事實上，你有整合式麥克風——現在你可以進行演講，並進行關於誰是冒名頂替者的辯論。我覺得所有這些都可以奏效。

一切都回歸到那個問題：《我們之中》的本質是什麼？它實際上可以很好地轉化為虛擬實境的物理特性。

這是我們常說的一句話：在虛擬實境或混合實境中所做的任何事情，總是從身體開始，因為這種媒介的不同之處在於你擁有這種身體存在。如果你沒有做任何與身體相關的事情，那為什麼要用虛擬實境來做呢？為什麼不直接在平面螢幕上做呢？

來自《我們之中》Bone Bash 限時活動的截圖。

是的，我很好奇。我知道現在人們常說的一個陳腔濫調——雖然現在不多了，但在我剛開始的時候，經常聽到人們這麼說——就是有兩種人：一種人認為虛擬實境是未來，另一種人認為虛擬實境是未來。但是，您第一次看到這種媒介的潛力時是什麼時候？它是用那些價值五十萬美元的機器運作的嗎？您能記得住哪個特定的時刻讓您突然頓悟了嗎？

JS：我能想到幾個，我一聽到這件事，就非常直觀地感受到了。有一期《Mondo 2000》雜誌，這是一本 90 年代早期的科技未來主義雜誌，他們正在刊登虛擬實境頭戴裝置的廣告。所以就我記憶而言，這是我第一次真正接觸到這種媒介的存在，而這種不僅能觀察世界，還能置身於世界之中的觀念對我來說立刻就變得有意義了，我立刻意識到了這個概念的潛在沉浸力。

我能想到的另一個時刻是當我試圖讓我們工作室的人們了解這種媒介並對它感到興奮時。早期的 Oculus 體驗其實並不具備互動性。你坐在這張桌子旁，桌子上有很多有趣的東西，房間裡有很多有趣的東西，然後你就可以向窗外看去，看到巨大的俄羅斯方塊掉下來了。我意識到我甚至沒有進行互動，但我感覺如此沉浸其中——我不得不停下來思考，為什麼？我為何感覺沉浸其中？

這只是因為經驗告訴我們很多事情都是對的。它將我的物理身體與虛擬身體對齊，對嗎？我做事的時候是坐著的，體驗的時候也是坐在桌子旁邊的。有太多有趣的東西可以看，當有有趣的東西可看時，整個環境看起來就更真實。透過把有趣的東西放在窗外，它會讓你環顧四周，我們大腦中建立沉浸感的方法之一就是轉動的動作，對嗎？環顧四周。

實際情況是，我們的大腦正在對環境進行三維掃描並建立模型。這就是讓它感覺真實的部分原因。當你的經歷讓你逐漸轉過頭來審視細節時，它開始看起來和感覺起來非常真實，而且它還有非常強大的音訊環境。它所做的一切都是正確的，我記得當時我在那裡想，「如果這麼簡單的事情都能讓人感覺如此真實，那麼考慮以此為基礎，然後將其變成更具互動性的東西。」那只是一瞬間的事，我記得當時我當時想：「好吧，我對這種媒介的沉浸感的力量毫不懷疑。」

《直到你墜落》的概念藝術。

回到現在，展望未來，未來 10 年最讓您興奮的是什麼？

JS：我認為正在發生的混合實境非常令人興奮，我認為這會非常有趣。改變一切的最大因素是人工智慧，人工智慧和虛擬實境之間將會出現交叉，我認為這是人們意想不到的，因為人工智慧帶來的力量將是這些——行為舉止逼真的遊戲角色。

他們講話連貫，可以和你交談，可以有真實的情感，這一切都顯得非常真實。並將其與虛擬實境的沉浸感相結合，讓這些角色和你一起在房間、在空間、在所有地方——我認為我們將看到一種全新的以對話為主的故事類遊戲媒介。

我一直預測的遊戲類型之一是所謂的自適應家庭故事遊戲。想像一款混合實境遊戲，你戴上耳機，正看著屋內，門鈴就響了。於是你起身，走向你現實中的門，你打開實體的門，外面站著一個虛擬人物，他說：「嘿，我需要進來。」他們有一袋雜貨，然後你就可以跟著他們進入廚房，因為頭盔知道你整個房子的佈局。於是角色開始把這些物品放在櫃檯上並說：「我需要你幫我。」然後你開始幫助他們，您切開虛擬麵包、切蔬菜，然後把所有東西都準備好。他們正在和你討論這個問題以及如何烘烤這些東西來製作可以用作誘餌的物品，所以你幫助他們完成所有這些工作，然後他們將虛擬物品放入你的實體烤箱中烹飪。

當這一切發生時，角色會向你解釋發生了什麼事：「問題就出在你的閣樓。那裡有這些生物，你和我要去那裡抓住它們，但首先我們需要準備好誘餌。」

我們將能夠以自己的家為基礎構建這些故事，我們知道故事的內容，但角色現在會根據您房子的運作方式進行即興創作。我們會讓這個故事在你居住的地方發生，它會看起來非常真實，角色也會看起來非常真實。我認為這些體驗在未來幾年內就有可能實現，我認為這將是最大的變化：一些活生生的角色將出現在你自己的家裡。

《直到你墜落》的概念藝術。

我們已經討論了很多內容，還有什麼我們沒有涉及的嗎？

JS：有一件事我們沒有談到，但我認為非常重要，那就是電子遊戲世界往往把重點放在 16 至 30 歲的男性身上。這項技術有望吸引更多的人，其機會是巨大的。具體來說，我們看到的一個現象就是人們變得越來越年輕，我們發現，在 10 至 15 歲的年輕人中，虛擬實境領域的成長最為迅猛。他們很興奮，他們喜歡到處跑，他們有豐富的想像力，所以這對他們來說是一種非常自然的媒介，到目前為止，他們還沒有太多關注這一點。

我們已經看到了這個方向的成長，看看《Gorilla Tag》和《我們之中》等遊戲的受歡迎程度，他們在這些年輕球員中很受歡迎，我認為這將會成為一種大趨勢。隨著我們進入混合現實領域，我認為這將成為更大的趨勢，這些肯定都是我對未來走向思考的問題。

這真的很酷。我很好奇您對安全的看法，尤其是當我們看到女性、性別不合規範者、LGBTQ+ 人士進入這些空間，以及年輕人進入這些空間時，對於那些可能不屬於（至少歷史上）目標族群（年齡在 16 到 30 歲左右）並且對參與虛擬實境感到有些不安的年輕男性，您會說什麼呢？您想與他們分享什麼智慧之言？

JS：對開發人員來說，當然有機會創造出非傳統的內容，例如，我們創建了《Lost Recipes》，一款關於在歷史遺跡烹飪的虛擬實境遊戲。我們經常看到有人說：「哦，我通常不玩遊戲，但這個——這就是我想要的。」這對我來說很有意義，這很令人興奮，因為我們有機會為人們創造東西。

我個人很喜歡為那些因為感激而意想不到的觀眾創作遊戲。我們曾經創建過一款專為急診室醫生設計的遊戲，沒有其他人可以玩這個，因為如果你沒有醫學學位，你就不可能玩這個。這是一款訓練遊戲，旨在幫助他們，但你可以看到他們非常喜歡它，能夠利用他們擅長的東西、他們關心的東西，並將其作為遊戲世界中取得成功的關鍵。

因此對於開發者來說，這裡存在著大量的機會，令人興奮又有點害怕的事情之一是適度的概念。這些世界可能令人興奮，因為它們可以如此親密、如此強大，但同時，如果有壞演員試圖在這個空間裡做混蛋，那就會變得非常緊張。對於《我們之中》，我們正在盡我們所能使其受到監管並確保其安全，並且很高興看到我們在使用人工智慧系統和其他系統方面取得的所有進展，讓這些地方對於所有人而言都是安全且溫馨的。我們越來越常看到，這已成為常態——人們已經預料到需要這種程度的安全，否則可能會讓人感到害怕。

好消息是，世界確實朝著安全、友善的方向發展。還有很多工作要做，但這肯定是事情發展的方向。

《我期望你死 3：機器中的齒輪》的概念藝術。

我一直認為非常有力的一件事是，在物質世界中，你無法控制自己的表現——你的身體和整體自我是什麼樣的。這些世界令人興奮的部分在於你可以按照你想要的方式展現自己，對很多人來說，能夠向世界展示「這就是我看待自己的方式」，真的是一種解放和自由。

欲了解更多信息，請收聽我們與 Jesse Schell 的播客節目，他在節目中談論了自己從馬戲團雜耍演員到遊戲開發者的歷程。