拜影像辨識技術的進步與硬件價格的下降，動作擷取技術不但成熟而且容易取得；像是由日本影片製作人淺井宣通（Nobumichi Asai）團隊，所開發的臉部投影特效影片「OMOTE」，以及 58 屆葛萊美獎（Grammy Awards）頒獎典禮中，女神卡卡在表演開頭的實時妝容特效，都是透過高速攝影機等設備，辨識臉部與追蹤動態，並將視覺效果實時投影到表演者頭部，進行容貌的改變。這樣的作品運用了動作捕捉技術、配合光雕投影（Projection Mapping）呈現形式，讓科技展演有了新的可能性。
光學動作擷取技術：將現實世界納入虛擬世界
前面提到的這種動作擷取技術技術，在本質上就是「光學動作擷取技術」；所謂光學動作擷取技術，是先將要偵測的人或物體，配戴一種特殊的光球（稱爲Marker 或 Optical），接着運用多臺高分辨率攝影機，來記錄偵測對象運作的軌跡；這些高分辨率攝影機的周邊會設置紅外線發射器，並投射出肉眼不可見、高頻的紅外線閃光。前面提到的光球，由於會反射紅外線的光點，再透過多臺高分辨率攝影機接收後，經過對比的運算後，取得光球在實體空間當中的三維 X、Y、Z位移動作，便可進一步得到被偵測物的動態；而由於光點是被動反射光線，所以稱爲又稱「被動式」光學動作擷取系統。動作擷取技術在實務的使用上已有很長一段時間，舉凡電影、遊戲、表演藝術幾乎都能看見它的應用，就其根本而言，將實體世界的動態轉譯爲虛擬世界的形態變化，是一種跨越了虛實的科技。下面影片是《魔戒三部曲》中扮演咕嚕的知名英國導演、演員 Andy Serkis，談談動作擷取在電影中的應用。
擴增實境：「神奇寶貝」出現在現實當中
就跨越虛實的科技而言，這裏我們來談談時下熱門的「擴增實境」（Augmented Reality，AR）技術，所謂擴增實境，是一種將數字訊息或是計算機產生的信息，實時覆蓋在真實空間當中的一種技術，一般而言，擴增實境可以擴增人的「五感」，但現今大多數的擴增實境技術僅用來強化視覺感受。這裏提到的所謂「實時覆蓋信息」的手法，可以是直接讓觀衆直接用身體感官感受的，也可以是間接透過裝置進行體驗的。舉凡近兩年席捲全球的熱門遊戲 Pokémon GO（即便過去AR功能總是被玩家關掉），以及最新的 iOS 11 ARKit 技術應用，就是家喻戶曉擴增實境的典型運用。若以 1994 年 Milgram 等人，所提出的現實-虛擬連續系統（Reality-Virtuality Continuum）（下圖），則可以更清楚地知道，擴增實境（AR）是較爲傾向以「真實環境」做爲呈現基底。這與時下熱門的「虛擬現實」（Virtual Reality, VR）不同，擴增實境技術主要試圖將虛擬對象嵌入現實當中，因此「真實空間」在擴增實境當中被視爲一項非常重要的元素。總體而言，擴增實境可視爲介於全真實環境與全虛擬環境的一種「混合物」或是「中間地帶」。這是當代社會一個非常奇特的現象，透過數字科技，我們把想象與真實介接在一起，並且穿梭往來兩地進行工作、娛樂與生活。
透過「擴增」貼近舞蹈的核心
還記得多年以前，在松煙有一個很特別的展覽：「與佛塞同步─威廉‧佛塞新媒體藝術系列展覽」，這個展覽，運用信息可視化的方式，讓我們得以用更貼近編舞家的想法，去看透、欣賞一件舞作。一般近年來我們看到的表演藝術，若要使用互動科技於其中，大多是運用各種電子傳感器，實時偵測表演者的位置與動作，並讓計算機或機械設備（如空拍機、機械手臂），反饋出對應的視覺影像或是對象動態，與表演者一同在舞臺上呈現。但「與佛塞同步」這個展覽，卻不是實時的，是一種「好好紀錄當下的軌跡，儲存、分析後，再用不同手法進行再現」的表演藝術。
「與佛塞同步」整個展覽的內容，基本上都是來自於名爲「Synchronous Objects」的計劃，該計劃由舞蹈家威廉 ‧ 佛塞（William Forsythe），與美國俄亥州立大學共同合作，目的在於以佛塞 2000 年舞作《重製一道平面》（One Flat Thing, reproduced）爲基礎，藉由科技進行不同型態的紀錄與分析，讓舞蹈以不同的方式再現。進入「Synchronous Objects」官網，可以在副標題發現計劃的核心概念：「透過將舞蹈轉化爲數據，再轉爲對象，讓編舞結構進行視覺再現」（visualizing choreographic structure from dance to data to objects）官網當中收錄很多整體制作的細節、參與學生的構想等等文字、靜態、動態影像之數據，簡直就是一座寶庫，充分地呼應了展覽的主要求，也讓觀衆用不同的角度去了解所謂舞蹈、編舞，其底層所呈現的訊息。若不以實時互動的角度進行檢視，大致上「Synchronous Objects」計劃某種程度上也運用了科技，去擴增了原始舞蹈的實境；而透過這種「擴增」，作品則提供了一種新的、較爲客觀方式來看待「編舞」，讓觀衆可以直接感受到編舞家的感受，而不只是透過專家、或舞評家的看法。
「混合實境」科技表演，捕捉現場混合虛擬
談到科技表演，最近有一個很有趣的作品：《CyberCube》，這是以黑川互動媒體藝術（新媒體藝術家胡縉祥）爲主導，整合多個藝術創作團隊所進行的新媒體展演。《CyberCube》讓表演者進行立方體表演，並透過實時追蹤的技術（運用本文最前面的動作擷取技術），配合 LED光條、計算機燈、以及網絡直播（呈現實時特效），形塑了一個「混合實境」（Mixed Reality）跨界創新創作展現。《CyberCube》靈感來自於科幻小說作家威廉 ‧ 吉布森（William Gibson）的作品《神經漫遊者》（Neuromancer），故事描述由於科技的快速發展，人類穿梭在真實與虛擬兩個的世界中的痛苦與掙扎。《CyberCube》中的 LED 立方體象徵網絡世界，表演者操控着立方體直到無法自拔，暗喻人在虛實空間中，存在、逃離、融合、穿梭等不同的面向。表演空間當中，設置了數臺高速攝影機，這些攝影機，所偵測到的表演者動態，將實時運算後，影響立方體的 LED 光條變化，與現場的計算機燈投射效果；此外，攝影機所捕捉的實景與 3D 對象結合後，透過網絡直播的方式，讓在線觀衆實際看到×××交融的視覺效果，靈活地將整個表演場域，轉化爲被重新定義的有機生命體，更是此表演的一大亮點。
低成本強化情境：快來動手做吧！
本文最末，再來談一下另一個感覺上不太一樣，但我個人認爲本質雷同的趣味應用：Nintendo Labo，這是任天堂公司於 2018/1/18 日，發表了一個針對 Nintendo Switch 主機所開發的新玩法。透過任天堂所釋出的影片可以知道，這些新的遊戲包含紙板、繩子、橡皮筋等動手做的材料，讓玩家自行組合諸如：釣竿、遙控器、鋼琴、設備揹包、踏板等對象。
遊戲無非就是要讓玩家沈浸到一種情境的體驗當中，任天堂採取的這個策略，是材質上相對較爲便宜的手段（連橡皮筋都跟官方買應該也很貴），去強化一種體驗的情境，讓玩家無論從動手做，一直到上手玩，都可以徹底擴大、加深感官的體驗，讓遊玩的時候，更能投入的遊戲所建構的虛擬情境當中。若回到本文前面所提到的，現實─虛擬連續系統（Reality-Virtuality Continuum），Nintendo Labo 應可以被視爲「擴增虛境」（Augmented Virtuality，簡稱 AV），這是將真實世界的訊息，加入到虛擬環境裏；Nintendo Labo透過橡皮筋、紙板等對象，讓玩家能夠保持遊戲應有的動作與姿勢，進而將現實中才有的重力、肢體運作軌跡，加入到遊戲中，用來調整、控制遊戲的運作。
有一篇很不錯的文章〈擴增不到的實境，是沒有陰陽眼的焦慮：關於Pokémon Go的一點人類學觀察與解讀（二）〉曾提過，關於「虛擬現實」（VR）與「擴增實境」（AR）的區別可以歸納成以下的公式：
VR虛擬現實 vs. AR擴增實境 = 觀落陰 vs. 陰陽眼沒有錯！這種比喻真是恰到好處，當數字裝置已成了現代人的新感官之後，虛擬世界所發生的事情，只要你透過屏幕這道跨越虛實的窗，就能看見。人在虛境與實境之間穿梭往來的生活型態，其實很早就有這樣的概念，但直至現今，數字科技運算的強大能力，才讓許多不可思議的應用不斷髮生。數字化強化了影像的製作與傳播能力，並降低製作門坎與成本，再透過行動裝置的普及，大小屏幕所呈現的影像，更是充斥在生活各種細節當中，不斷地引導觀衆沉浸到內容開發者其所安排的幻覺當中，讓人人都可以在虛擬與真實的世界來去自如。