藝術結合科技怎麼結合，無人機、全息投影、AR如何與舞蹈藝術相容？看日本藝術家Rhizomatiks 真鍋大度、石橋素與 Mikiko怎麼說。
「舞蹈是種單憑藉身體完成的表演藝術。其精髓在於每一個動作展演出的肢體語言，讓觀眾深刻感受舞者的手臂、四肢已伸展到超越原本身體，展現新的意義；但科技正可以把這份原本無形的意義，用另一種有形的方式展演出來。」
這段簡單卻精準的註解出自長年為日本女團 Perfume 編舞，同時也是演唱會導演的舞蹈家 Mikiko。今年 2018 臺北流行音樂國際論壇邀請到曾製作里約奧運閉幕式的 Rhizomatiks 真鍋大度、石橋素與 Mikiko 三位數位藝術巨匠，來檯面對演出製作產業人士展開一連串的論壇與工作坊。
他們到底如何結合科技、音樂和舞蹈，一次又一次地創造讓世人驚豔的舞台？本文將以參與全場活動的密集報導，帶您一覽 Rhizomatiks 與 Mikiko 精心用尖端科技與演演算法所描繪出的藝術世界。
實作：讓無人機與人共舞
工作坊這天只見位於西門町 Woolloomooloo 三樓場地搭起一面巨大投影，螢幕上面則架滿了動態捕捉攝影機，真鍋大度、石橋素與 Mikiko 三人正帶領大家一步步示範怎麼使用無人機編舞。
原理其實很直覺。石橋素說明這些無人機配有空間感應器，搭配場地上方的動態攝影機可精準抓到無人機在該空間的 X、Y、Z 軸定位資訊。有了這些空間定位資訊，就可以精準紀錄並遙控無人機的飛行路徑。
真鍋大度跟 Mikiko 也用 Ableton Live10 剪輯一段長達約 16 小節的電子音樂，作為今天的編舞示範，再使用 MAX 語言把編曲順序、影像捕捉與無人機的控製程式連結起來，並透過 dmxusbpro 軟體控制與燈光變化。
在軟體、硬體這些技術面一切準備好後，就輪到 Mikiko 發揮。只見 Mikiko 捧著無人機走了進去，搭配電子舞曲舞動起來，並且讓動態攝影機紀錄無人機的飛行路徑。隨後，無人機就能照著 Mikiko 剛剛捧在手心中的舞蹈位置，自己飛舞起來。
ELEVENPLAY 充滿和諧感，卻又富含畫面張力的人機共舞就是這麼被創造出來。
醍醐味：讓觀眾享受藝術結合科技的箇中樂趣
但無人機僅僅是 Perfume、ELEVENPLAY 充滿科技感的諸多表現手法之一。Rhizomatiks 在科技藝術領域過人之處不僅在於採用無人機、LED、VR 或 AR 等尖端技術，而是一方面能完美把這些虛擬科技與現實表演部分連結至近乎無縫接軌的境界，一方面卻又能讓觀眾清楚理解並享受結合科技所產生的箇中樂趣。
石橋素在 7/3 講座上舉了一個很傳神的例子：2012 這年 Rhizomatiks 跟 Mikiko 合作演出「Eclipse Blue」，採用全息投影技術為藝人量身打造一個以「光」和「影」為主的表演。從截圖中可以看到 Mikiko 想透過投影，創造出「影」跟隨「人」卻又截然不同的美感。觀眾不只看見舞者的身體動作，也看到了投影影像與舞者互動的合成效果。這必須使用相機不斷捕捉舞者並搭配電腦即時運算，讓投影設備能即時跟得上舞者動作。
「這即時投影系統在剛開始創造出來的時非常笨重，但我們不斷的改進下，」真鍋指出：「半年後 Perfume 的演唱會，這套系統已變成攜帶型的設備了。」同時他們還做到能辨認舞者身上的反光材質，進而投影在舞者身上不同部位，做出更精密的投影效果。
Rhizomatiks 就是這樣不斷系統與技術疊加起來，從中創造每每比前一次更具追求未來感的舞台。「一場成功的演唱會，一定是個跨領域科技整合的成果，當中包括服裝材質、運算能 力、投影技術，以及鉅細靡遺的整合集成。」
另一個例子是 Rhizomatiks 內部稱「seamless AR」，擴增實境的影像用 CG 動畫來銜接，把動畫和實體拍攝的畫面完整接合起來的技術。一般如果用相機拍攝，鏡頭轉換時需要切換，切換的中間就會有空檔，但是運用了這種新技術，切換之間的空檔用 CG 動畫來銜接。Perfume 在美國 SXSW 演出就使用該技術，再一次展現令人驚豔的效果。
當然，Rhizomatiks 也沒錯過目前科技界最被廣泛使用的機器學習技術，讓 CG 舞者可以學習真人舞者來跳舞。他們首先紀錄 ELEVENPLAY 舞者三小時的舞蹈動作，並加入特定參數。虛擬舞者一開始還跳得很奇怪，既不流順也不像人類的動作，但透過機器學習不斷自我訓練，最終就能跳出相同舞步。
後來他們機器學習的過程加上即時運算，用在投影舞者背後的影子。系統會先設定虛擬光源，讓觀眾在一開始誤認為真實的影子，但透過背板移動，讓影子瞬間放大，縮小，或 是三人的影子做出與前方藝人不同的動作，成為另一個表演的元素。
集大成：里約奧運閉幕《東京 8 分鐘》
令人驚艷的里約奧運閉幕表演《東京 8 分鐘》可說是 Rhizomatiks 與 Mikiko 的一次技術集大成，不只用上了他們最精湛的即時投影技術，讓舞者與場地完美互動，而且也用上大型 LED 光架展現十足未來感，讓這場表演以美學方式把「科技日本」之印象展現無遺。
「這可能是奧運史上使用最多 AR 的節目，」Mikiko 說一開始許多人都不看好在奧運場館做這麼複雜的演出，但是他們認為 2020 東京奧運的時候，日本一定會使用更多的 AR 技術呈現給全世界，因此希望在里約奧運就能帶給大家一些驚喜。
但 Rhizomatiks 技術精湛還不只如此。當時時程非常趕，該場地前一天都還在舉行比賽，他們只有一個晚上的實際場勘時間。怎麼辦？靠的就是十分精準的事前 3D 模擬運算。真鍋說他們的工作人員在奧運舉辦前，就完成了該會場的 3D 全景掃描，然後回日本做出模擬的全景圖，接下來再考慮攝影機、舞者、佈景的設置位置。有了這些精準的模擬工作做完後，他們成功只用了一個晚上，就完成現場布展。
創新：來自理解本質
筆者很好奇，Rhizomatiks 跟 Mikiko 到底怎麼每一次都能創作出前所未有的驚人表演？在專訪中，石橋素表示 Rhizomatiks 的工作並沒有什麼試一次就 OK 的東西，每次表演都是不斷實驗、嘗試所累積的經驗，而且很多時候也不是用最新科技就能做出新東西。
「如果要做出新的表演，就得了解呈現手法的本質。」真鍋大度說他每次創作時，一定都得仔細回朔這個想法根源為何？過去有誰做過什麼樣的詮釋？如果單單用投影呈現一幅具有歷史的名畫或許也很美，但並沒有原創性。
他以影像捕捉為例。回溯歷史 19 世紀就有人做過類似的動作捕捉，當時是用在體操、馬術表演等等，德國包浩斯大學也很早就做過影像捕捉的研究，1998 年就有人把影像捕捉運用在舞蹈動作。當時雖因為技術限制，投影在 panel 上呈現有很多限制，但只要找出過去的藝術家是怎麼做的，有什麼做不到的，就會讓自己想做的事情逐漸清晰起來。
最後回到 Mikiko 身上：對一個舞蹈家而言，到底怎麼與科技合作，跳出一場嶄新的表演？她認為關鍵點還是要回到舞者本身的「自覺」。「舞者得想像自己的動作如何引導無人機的移動。當他有這種新技術如何與他的身體動作結合起來的概念，才能深刻的創造出新的感動。」
影像科技的確日新月異，但這不意味現場演出者就可以比較輕鬆。Mikiko 指出舞者每個動作影響整體展現的程度比起以前其實更重要，所以每一個動作要求反而更嚴格。真鍋也補充這種新的演出手法，仰賴的是舞者每次的表演，手擺的動作、身體的姿勢、站立的位置都得一模一樣，比以往的難度更高。
「身為演唱會技術人員，我必須說讓觀眾感動的關鍵其實不是技術。能夠感動人的，終究還是人。Perfume 是以他們自己本身的魅力讓觀眾感動，技術則是讓強化她們的演出，突顯她們的才能，讓她們演出更完美，這就是我們努力的目標。」真鍋在講座最後為自己工作下了這一段註解。或許，也正是科技與藝術的關係之間最好的詮釋吧。
2018 臺北流行音樂國際論壇場次：
- 村松亮太郎 | Naked Inc. 8/28（8/7 開始線上報名）
- Danny Tull | 瑪丹娜御用影像導演 9/04（8/14 開始線上報名）
