與 AI 共舞,日本數位表演團體藉由深度學習培訓創造能與表演者共舞的虛擬舞者

2019.02.11 01:49PM
Artificial intelligence, , Intelligence, Theatre, Deep learning, Dance, Music, , Creativity, Performance art, Artificial intelligence, Performance, Performance art, Performing arts, Stage, Fashion, Choreography, Event, Dance, Scene, Musical theatre

藉由深度學習技術, AI 不再像過往死板,也使 AI 能應用在更多的領域,先前已有透過 AI 創作音樂、寫作的情境,而日本數位藝術團體 Rhizomatiks 、日本多媒體舞團 Elevenplay (椎名林檎演唱會、 MV 合作的舞團)與數位藝術家合作 Kyle McDonald 合作,在一部名為 discrete figures 的國際巡迴演出作品中,透過深度學習 AI 創作的虛擬舞者與真人舞者進行互動。

Kyle McDonald 透過八位即興表演的舞者蒐集達 2.5 小時的動作捕捉的數據,將其基於 NVIDIA GPU 搭配 dance2dance 的神經網路進行培訓,藉此產生基於 AI 的虛擬舞者。

在這項表演中由舞者 Masako Maruyama 與 AI 共同演出, AI 產生的虛擬舞者一開始以傳統的銀色多邊形 3D 形象,慢慢轉化為類似 Masako Maruyama 的外型,而剛開始 AI 虛擬舞者預先表演 AI 進行的舞蹈,而後變為人形後,開始表演 Masako Maruyama 編排的舞蹈,當 Masako Maruyama 漸漸離開舞台後,  AI 又漸漸變回原本的銀色人物並且再度回到 AI 的表演。

除了 AI 與專業舞者互動的部分,在每一場表演開場前由 16 位年齡與舞蹈經驗相當的觀眾進入特殊的區域,並且記錄他們一分鐘的表演內容,再透過 NVIDIA GPU 搭配 pix2pixHD 以 15 分鐘時間進行培訓,最後把這些表演產生的影片投影到 discrete figures 表演中的段落。

新聞來源: NVIDIA Blog