Categories
科技報導

視效公司聯合藝術家用虛擬人技術“復活”馬丁·路德·金



這是馬丁·路德·金(以下簡稱為 MLK)第六次登上《時代周刊》的封面。不同於以往的是,這位美國民權運動領袖以“虛擬人”的面目出現。這同時也是《時代周刊》第一次在封面刊登現實人物的數字形象。

封面上如同照片般寫實的臉龐,是由好萊塢頂級視效公司數字王國聯合藝術家 Hank Willis Thomas 通過虛擬人技術創作而成。而這只是《時代周刊》和眾合作方籌備了 3 年之久的《大遊行》預告。

據籌備方介紹,“《大遊行》是一個開創性的沉浸式展覽,將重現美國歷史上最具標誌性的時刻之一——1963 年人們為爭取就業和自由的『向華盛頓進軍』遊行”。戴上VR 頭顯後,觀眾看到的不再是以往二維的,粗顆粒感的黑白影像,MLK 彷彿就在人們面前,如歷史刻畫的那樣激昂,最後脫稿呼喊著“我有一個夢想” 。

一位前往芝加哥 DuSable Museum 體驗的觀眾彷彿身臨其境,他說廣場上熙熙攘攘,甚至擔心會被人群踩扁。那一年,超過 25 萬不同種族的民眾浩浩蕩盪聚集在林肯紀念堂,一直延伸至國家廣場和倒影池周圍。

復活馬丁·路德·金

《大遊行》的總體驗時長約 40 分鐘,除了音頻史料播放和更傳統的博物館展示外,籌備方還製作了 10 分鐘左右的 VR 體驗。在只有 14 平方米大的空間裡,4 位觀眾將同時戴上 VR 頭顯“穿越”回 1963 年。

“幾千小時的鑽研,就為了真實還原8 月那特殊的一天。”《時代周刊》的CEO Edward Felsenthal 說道,“我們希望,它不僅能改變我們看待歷史的方式,還能幫助我們所有人意識到,我們自己的聲音能夠對世界產生積極的影響。”而要想達到Felsenthal 想要的效果,當天的場景和發表演講的MLK 必須足夠真實。為此,數字王國的工作人員前往國家廣場,並利用被攝物體影像來重建物體空間位置和三維形狀,數字化繪製遊行地點的地圖。再結合史料和遊行親歷者的描述,最後,團隊將數據轉化成 50 年前的場景。

視效公司聯合藝術家用虛擬人技術“復活”馬丁·路德·金 1

“體驗”,而不是“閱讀”,這是人們能感受到更多力量的原因|維基百科

他們啟用了過去十年裡一直在公開表演《我有一個夢想》的演講家 Stephon Ferguson,這樣,重現 MLK 就有了一個紮實、可信的動作基礎。數字王國用動作捕捉系統Masquerade 跟踪了Ferguson 的身體和麵部的細節,再將眼睛位置、頭骨形狀、膚色、體型等信息和MLK 進行比較,動畫師會在這個完成了50% 的模型上繼續填入MLK 的特徵。

團隊收集了大量相關的視頻和圖片,提取出 MLK 在當天不同角度的姿態和光影體現。在動捕方面,他們設計了一些能夠盡可能觸動 Ferguson 面部肌肉的“愚蠢句子”,開始對錶演者進行三維成像捕捉。接著,他們在 Ferguson 臉上畫了 190 個標記點,並在給他戴上一個以 60 幀每秒速度運行的頭戴式攝像機,再讓他穿上一套動作捕捉服。隨後,Ferguson 開始演繹《我有一個夢想》。通過對他面部和肢體的捕捉,團隊將這些信息映射到 MLK 已有的數字肖像上。得益於基於龐大數據收集的機器學習,動畫師們只需在細節上進行微調和完善,以不斷接近真實。

《時代周刊》形容這段 VR 體驗是“迄今為止在虛擬現實中最逼真的人類表演”。 “體驗”,而不是“閱讀”,這是人們能感受到更多力量的原因,聯合創作者 Alton Glass 表示。

Chicago Tribune 記者Steve Johnson 這樣描述,“當他結束最後一段時,他激動地說『終於自由了』,然後從講台上走下來,直視著你這個觀察者的眼睛——然後保持著那個眼神,就像配音演員問的那樣,『你將因什麼上街去?』——那種魔力,會讓你不寒而栗。”

生成“人”,而非副本

用虛擬人技術復活死者,並不是一件新鮮的事。 2012 年,數字王國就用全息影像技術“復活”了已故說唱歌手 2Pac,在當年的 Coachella 音樂節上,2Pac 和同台歌手一起點燃了現場。一年後,他們又“復活”了鄧麗君。

如果說“2Pac”和“鄧麗君”是為現實中的人生成一個副本,那由三星旗下創新實驗室 STAR Labs 獨立開發的“人工智人”NEON,則是從模仿人再到完全脫離人的形態。

“NEON 就像是一個全新物種”,它的發明者Pranav Mistry 在CES 2020 的展台上介紹說,“地球上現存有幾百萬種生物,我們希望NEON 可以成為其中新的一員。”據官方介紹,NEON 是一種由AI 所驅動的虛擬存在,擁有和真人一致的音容、笑貌和言談舉止,擁有表達情感和智慧的能力。

視效公司聯合藝術家用虛擬人技術“復活”馬丁·路德·金 2

視效公司聯合藝術家用虛擬人技術“復活”馬丁·路德·金 3

它同樣真實到讓人不寒而栗。

NEON 的生成基於 CORE R3 和 SPECTRA 兩個引擎。前者是現實、實時、回應(Real, Realtime, Responsive)的縮寫,“它使得NEON 能夠生成栩栩如生的現實,並實時地做出回應。甚至可以控制NEON 眼睛睜開的大小。”另外,“CORE R3系統的時延幾毫秒不到,”Mistry 說道。後者則負責提供情報,學習,情感和記憶,就這樣,NEON 虛擬人在對人物原始面部、聲音等數據進行捕捉並學習之後,可以自主創建未錄入過的新的表情、動作、對話,甚至能說其他語言。

和虛擬 MLK 不同的是,NEON 虛擬人的每個姿態或許都可以稱為“原創”。前者更多的是重現被複製者的意識,更多的是一種“聯動”;而後者則更像是把已有的,被打碎的數據重新組裝出另一個全新的人。

STAR Labs 戰略負責人 Bob Lian 告訴鈦媒體,NEON 將在服務業和娛樂業施展拳腳,虛擬人不會倦怠,理論上能保證他們在消息交流上提供更好的客戶體驗。

在娛樂業,“NEON 可以被用在電影、短片甚至 MV 中,創造新內容。”Bob 說道。數字王國的業務主要是為電影作品、大型直播活動和前沿應用量身構建虛擬人、生物與角色。

在虛擬 MLK 問世之前,國內的巨頭也看到了虛擬人的潛力。騰訊除了在2018 年領投了“只需一張照片和語音片段就能打造一個『虛擬明星』”的ObEN,其旗下AI Labs 在2019 年6 月還發布了首個電競虛擬人“TEG(天鵝靜)”。阿里達摩院也於今年 1 月宣布了與 AI 數字明星開發商環球墨非的戰略合作。