史元春和孫正興：人機交互
(2011-04-20 15:02:40)
智能空間:和諧的人機交互環境
智能空間是研究和諧人機交互原理與技術的典型環境，智能空間的應用價值還可以直接體現在其具體用途上，如智能會議室、作戰指揮室、智能教室、能照料人的智能家居等，本文將對智能會商室進行重點介紹。
智能空間（Smart Space）是嵌入了計算、信息設備和多模態的傳感裝置的工作或生活空間，具有自然便捷的交互接口，以支持人們方便地獲得計算機系統的服務。人們在智能空間的工作和生活過程就是使用計算機系統的過程，也是人與計算機系統不間斷的交互過程。在這個過程中，計算機不再只是一個被動地執行人的顯式的操作命令的信息處理工具，而是協作人完成任務的幫手，是人的夥伴，交互的雙方具有和諧一致的協作關係。這種交互中的和諧性主要體現在人們使用計算機系統的學習和操作負擔將有效減少，交互完全是人們的一種自發的行爲。自發（spontaneous）意味着無約束、非強制和無須學習，自發交互就是人們能夠以第一類的自然數據（如語言、姿態和書寫等）與計算機系統進行交互。
當前，普適計算（Pervasive Com-puting）是計算技術研究和應用的熱點，而自發交互是普適計算脫離桌面計算交互模式束縛的關鍵問題，具有重要的研究價值，智能空間成爲研究和諧人機交互原理與技術的典型環境。
認識智能空間
普適計算將使計算和信息服務以適合人們使用的方式普遍存在於我們的周圍，以往相互隔離的信息空間和物理空間將相互融合在一起。在這個融合的空間中，人們可以隨時隨地、透明地獲得計算機系統的服務。普適計算中信息空間和物理空間的融合可以在不同尺度上得到體現，其在房間、建築物這個尺度上的體現就是智能空間。
NIST（美國國家技術標準研究院）給出的智能空間具備的功能和爲用戶提供的服務包括:
● 能識別和感知用戶以及他們的動作和目的，理解和預測用戶在完成任務過程中的需求;
● 用戶能方便地與各種信息源（包括設備和數據）進行交互;
● 用戶攜帶的移動設備可以無縫地與智能空間的基礎設施進行交互;
● 提供豐富的信息顯示;
● 提供對發生在智能空間中的經歷的記錄，以便在以後檢索回放;
● 支持空間中多人的協同工作以及與遠程用戶的沉浸式的協同工作。
有學者指出，將來不太可能存在一個全球統一的普適計算系統，而會存在許多因爲管理區劃、地域區劃和文化區劃而互相分離的、有明確邊界的智能空間系統。這些智能空間系統間可以有一定的交互，人和各種可攜帶設備可以透明地在它們之間移動。
智能空間的特點
目前國際上對智能空間的研究開展得相當廣泛，表明了智能空間在普適計算研究中的重要作用。這些研究計劃中，智能空間以不同的應用形態展現出來，並被分別賦予了研究者希望中的普適計算的特性，對這些研究計劃的分析，能夠分析出智能空間的三個主要特徵和三個發展階段。
首先，處於計算環境中的計算設備不再像在桌面計算模式下，要求用戶端坐在計算機前或者處於某個固定位置才能完成計算任務。大量的計算設備、多模態交互技術模塊、情景感知（context awareness）模塊被嵌入並隱藏在實際的物理環境中,這些模塊需要能互相協作並能主動爲用戶提供服務，使得智能空間能擁有立體、連續的交互通道。例如一個智能書房能檢測到用戶在其中閱讀書籍，它可能會打開窗簾來爲用戶提供足夠的照明; 隨着時間的推移，夜幕降臨，智能書房還可能根據當前的光照條件，逐漸加強房間中的燈光照明。
其次，智能空間的一個重要特性稱爲遊牧服務（cyber foraging）。它是指用戶攜帶入空間的無線手持設備可以充分利用其周圍基礎設施中的相對較強的設備的能力，同時其上運行的模塊也可以與空間中的其他模塊進行交互和協作，以共同爲用戶提供增強的服務。這也是信息空間與物理空間融合的一個體現。這種融合使得空間距離對計算的含義與傳統分佈式計算正好相反。傳統的分佈式計算是試圖用網絡消滅空間距離，而智能空間是強調找到離用戶最近的各種資源和服務。反過來，基礎設施也應該能夠利用用戶所攜帶的移動設備的功能，爲用戶提供個性化或者增強的服務。例如，當用戶甲在一個智能會議室開會時，系統檢查到乙給甲發了一個重要的E-mail，並希望甲馬上能閱讀其內容。智能會議室則應該根據當前的情景（在開會）以及甲所攜帶的移動設備（手機或者PDA）做出判斷，將此E-mail轉發到手機上，並通過震動提醒甲，而不是通過會議室的大屏幕顯示出來。而如果只是甲單獨待在智能會議室，該E-mail則可經由聲音提示，顯示在大屏幕上。
作者簡介:史元春
清華大學計算機系教授，系學術委員會副主任，人機交互與媒體集成研究所所長，兼任中國計算機學會理事、普適計算專業委員會主任、IEEE北京分會教育委員會主席。曾在MIT人工智能實驗室作高級訪問學者。主要研究方向爲人機交互、分佈式多媒體信息處理、普適計算、遠程教育。
最後，不同的空間之間也應該能夠自發地發生交互。當一個空間的資源無法滿足用戶的需要時，智能空間應該根據用戶的要求向臨近的空間發出請求來完成用戶的任務。例如，處於智能空間用戶需要打印一張彩色圖片，由於該空間中只有黑白打印機，智能空間可能會拒絕用戶的請求並告訴用戶任務無法完成。但是，如果智能空間發現在附近的環境中存在一個彩色打印機，則它有可能向用戶提示該彩色打印機的位置，並詢問用戶是否需要使用該打印機來打印。
智能空間的發展階段
上面所列舉的三點可以被看作是三個具有遞進關係的特點。事實上我們認爲這三個特點是智能空間發展的三個不同階段的特徵體現。圖1描述了智能空間發展的這三個階段，並說明了每一個階段所重點關心和研究的問題。
獨立智能空間（Individual Smart Space）系統是智能空間研究的第一個階段。在這個階段裏，其主要的研究內容是空間內模塊的通信與協調方式、自然的人機交互接口，同時還要求系統具有持久性以及透明性的特點。爲了支持模塊間的協調，人們研究了協調模型、多Agent系統以及通信語言等，構築智能空間的軟件支撐平臺，並應用大量可觸摸接口、傳感器以及感知模塊來獲得更友好的人機交互能力。鬆散耦合結構應用系統提高了系統的持久性，而嵌入式技術的應用使得計算設備能夠退到環境中去，並從人們的視線中消失。
智能空間發展的第二個發展階段是開放的智能空間（Open Smart Space），要同時關注大量應用的移動設備。移動設備隨着用戶在空間的漫遊，它們能發現計算環境的存在，同時自發地與計算環境發生交互。這個階段需要研究的問題涉及了計算環境的發現、異構通信信道的互通、資源管理、代理以及複合服務等技術應用。
事實上，我們認爲，在將來智能空間可能會構成層次的結構。空間與空間之間將會互聯，並且單個智能空間可能聯合起來構成一個大的空間（例如清華大學的媒體所的所有房間構成整個清華的智能媒體所）。這些空間同樣可能繼續構成更爲複雜的空間（例如清華媒體所、清華網絡所、清華軟件所、清華高性能所、清華電子系等構成整個清華的東主樓）。最終，智能空間將構成一系列智能社區（Smart Community）。智能社區中的智能空間將以怎樣的形式組織在一起，如何進行跨空間的交互，如何進行跨空間的資源訪問則是需要研究的問題。
需要說明的是，這些問題是按照邏輯關係而不是按時間關係出現的（如圖1所示，在從左向右的發展中，新的問題不斷加入）。各個階段之間連接使用的是調製符號，以表示在原有問題的解決過程中因新問題的加入而使之變得更爲複雜。階段論的觀點同時也表示前一個階段提出的問題並不意味着它們在後一個階段不重要，只是我們在後一個階段中不去重點考慮這些問題，而是假設這些問題已經有了比較好的解決方案。我們在前一階段的基礎上重點開展後一階段的研究。
就目前的研究現狀而言，多數項目已經對第一個階段（智能空間內部的協作機制）進行了比較深入的研究，研究的重點開始向第二個階段轉移。也有少數項目（如MIT的AIRE計劃）已經開始就第三個階段的問題展開了一定程度的研究。
智能會商室原型系統
在信息時代，面臨重大突發事件時，決策小組需要在很短的時間內瞭解大量複雜的信息，並在決策人員間進行充分的交流討論，以迅速做出正確的決策。
決策過程是人對信息綜合的過程，單純的決策支持軟件系統作用的有限、尤其是人機隔閡的使用方式不利於決策人員獲取和交流信息。只有把決策人員和信息化系統有機地結合起來，在兩者之間建立自然、高效的交互通道才能充分利用信息、高效決策。
智能會商室（SEMIC: Smart Environment for Multi-user Interactive Cooperation）以重大突發事件的戰略決策爲應用背景，通過開發和集成先進的和諧交互技術，爲決策人員提供一個高效的信息獲取、交流的工作空間，從而促使顯著提高決策效率。
在智能會商室中，多種來源的相關信息將集成顯示在會商室的三維物理空間中，會商人員可以在多個顯示錶面上以自然便捷的方式直接與信息系統交互、或與遠程的同事進行充分的協作交流，整個會商過程還將被自動存放爲可索引的決策記錄或參考案例。智能會商室是一個典型的多用戶和諧人機交互環境，目標是促使決策人員在複雜的情況下儘快地理解和掌握當前形勢並快速地做出合理的決策，關鍵是要爲開放式信息集成、多用戶自然交互提供支撐技術。
圖2是智能會商室原型系統的一個現場照片。該原型系統建立在一個5米×6米的房間中，開發和集成的硬件設備主要有: 一個交互顯示牆、一個大屏幕觸摸式顯示板、一個交互桌面、一個平板電腦、2個PDA、多功能交互筆（每個用戶配備1支）、線陣麥克風陣列2個、室內定位系統1套（包括7個接收器和5個用戶徽章）、用於識別交互筆和過程記錄的攝像頭4個、計算機主機7臺。開發和集成的軟件模塊主要有: 基於多Agent的軟件支撐平臺、過程記錄與檢索、無縫數據管理、遠程協作、手寫標註識別以及GIS地理信息系統。
圖2 智能會商室實驗系統
智能會商室基於普適計算中的智能空間技術營造全方位信息顯示與和諧交互環境，將大大提高決策的快速性和可靠性。其創新特點主要體現在:
● 新型交互方式自然便捷，能使決策人員集中精力於信息本身，決策效率將大幅提高;
● 鬆耦合的計算平臺能較好地與現有信息系統快速集成，最大限度地增進多系統的協調工作;
● 遠程實時的深度協同提高了決策過程中遠程協作時的效率，能有效降低決策的風險;
● 超媒體的過程記錄和多線索的索引技術爲決策分析提供了真實全面的記錄。
集成化的信息顯示
會商過程中需要理解和交流的各種信息被集成顯示在整個房間中，營造出一個全方位的信息空間。根據決策過程中不同的信息訪問方式，配置了不同類型的顯示設備（如大面積的交互顯示牆、交互桌面、觸摸式掛板、便攜終端等），一改目前信息顯示通道與信息交互通道相分離的應用模式，均支持在信息顯示錶面上直接操作信息內容，提供用戶全方位、高效率的信息訪問界面。同時，各種顯示設備通過底層的計算平臺互聯起來，使得信息在不同顯示設備上的遷移直觀便捷。
會商過程中有新的重要信息源時，例如隨身攜帶的個人筆記本或來自網絡的新的數據，智能會商室的底層計算平臺可以通過協議自動發現信息源，並調度軟硬件資源，提供合適的調度和信息顯示方式，無需複雜的手工配置。
1．軟件支撐平臺——Smart Platform
軟件支撐平臺是智能會商室計算平臺的系統軟件，負責智能會商室中各種軟硬件模塊的協調與通信，最終將各種功能模塊組成一個有機的整體。平臺面臨的主要問題是要集成各種異質的具有計算、傳感能力的交互設備，實現設備間數據的交互、資源的發現、協作等。
軟件平臺Smart Platform基於多Agent模型，原因是: 它鼓勵計算實體行爲自主，以適應系統組成和結構的動態性; Agent封裝程度和抽象層次更高，可降低複雜系統的構建難度; 計算實體間通過較高層的Agent間語言協調，耦合度小，利於系統的魯棒性和功能擴展。
圖3是我們設計的基於多Agent模型的系統軟件結構，(a)表示系統軟件是在底層操作系統和網絡之上的中間件，應用、資源和服務等將被封裝成爲Agent，系統的通信層、協調層和通用服務將提供Agent的運行環境和上層應用開發工具; (b)表示系統的運行時結構: Container管理單機本地的Agent，DS（Directory Service）負責Agent全局註冊、運行環境的管理及消息轉發。其特點是:
圖3 多Agent軟件支撐平臺Smart Platform
● 鬆耦合結構使系統具有良好的可擴展性，並有利於提高系統的魯棒性。
● 點到點通信通道和層次轉發通信通道相結合，兼顧了Agent間消息和實時數據流交互的需要。
● 協調層採用基於消息組的發佈/訂閱模式，可有靈活的訂閱粒度控制，利於Agent間自發交互; 基於XML的消息格式描述能力強，支持異構，便於開發和移植。
● 充分的通用服務支持應用層功能的開發。
2．無縫數據管理——Liquid
Smart Platform協調層的無縫數據管理模塊（Liquid）能夠統一管理存儲在不同計算設備上的信息源（以文件爲粒度）。從用戶的角度來看，進入會商室後，不同計算設備上的信息被放置在一個系統中，用戶無需關心信息的上傳和下載，只需利用下文介紹的多功能交互筆就能在不同顯示設備上方便地顯示、切換、標註這些信息，使得用戶的注意力能主要放在討論和信息理解的過程中，無需過多理會計算系統的細節。遠程用戶被允許接入會商室後，也能利用無縫數據管理模塊來提供和共享信息。圖4是該模塊的結構圖。
便捷的交互方式
在多種顯示設備集成的信息空間中，決策人員可以通過物理環境（如牆面、桌面）、日常用具（如筆、激光筆），新型信息設備（如PDA、麥克風陣列），以及語音命令等自然便捷的方式與信息系統交互，無需依賴傳統的鼠標鍵盤，以使對計算機不熟練的人員也能夠直觀地訪問、處理信息。原型系統主要通過語音命令和多顯示錶面上的筆式交互提供直接的支撐技術。
1．多功能交互筆——uPen
在會商室這樣一個包括多種顯示設備的三維交互空間中，用傳統的鼠標鍵盤進行交互是相當繁瑣的: 每個顯示設備都需要單獨配備鼠標或鍵盤; 對於不熟練的計算機用戶來說，這種交互方式效率很低; 對某些操作，例如繪製圖標，即使是熟練的計算機用戶用鼠標和鍵盤也很麻煩。
我們設計實現了一種多功能交互筆uPen，它是一個具有壓力傳感器的觸摸筆，可以發射激光，筆身上還有激光發射和鼠標左右鍵共三個功能按鍵。結合觸摸板和計算機視覺技術，用戶利用一隻uPen就能夠以便捷的方式在會商室中與各種顯示設備進行交互。這種筆勢交互的模式擺脫了鼠標鍵盤，使用戶在會議室的各個位置都能與顯示設備交互，而且交互方式統一便捷。
每一支uPen在使用過程中能向系統發送惟一的ID信息，爲多支uPen同時工作提供了基礎。結合室內定位系統，就能夠確定使用人員的當前交互狀態，爲系統的主動服務和用戶相關的過程記錄提供了可能。
2．交互顯示牆——iWall
顯示牆是多人協同工作情況下的有效的信息呈現手段。目前，高級指揮或決策中心大都已經使用了一定的顯示牆技術來提供多路信息的同時呈現。智能會商室中的交互顯示牆包括利用投影儀投放到普通牆面的主屏幕，以及若干個小面積顯示屏組成的輔助屏幕（圖2中的牆面投影及右側牆面及其下方的輔助小屏幕）。主屏幕的大小和輔助屏幕的數量可以根據需要方便地擴展。
用戶對交互顯示牆的操作通過uPen完成，其基本原理是用視覺跟蹤的技術識別uPen發出的激光點在交互顯示牆上的位置，用戶手持uPen可以改變激光點的位置和發出無線命令信號。系統根據識別得到的激光點軌跡和接收到的無線命令信號執行操作，例如改變交互顯示牆上的內容，完成在主輔顯示屏之間的切換等。
3．交互桌面——iTable
在決策的多人討論交流過程中，決策人員仍然喜歡圍坐在桌旁利用紙和筆方式進行交流，其原因是操作更爲快捷和直觀，也便於多人面對面的交流。但這種方式失去了計算機可以提供的許多文檔顯示、編輯功能和聯網協作功能。我們設計的交互桌面（iTable）結合了兩種方式的優點，即: 使用者可以用筆或手指直接在大尺寸的桌面式顯示平面上與計算機交互、又保留了傳統的會議桌的討論方式。
iTable結合uPen，能夠提供多人同時操作的解決方案。基本原理是基於壓力傳感和視覺跟蹤的技術。交互桌面的表面裝備攝像頭跟蹤uPen的軌跡，用戶手持的uPen筆尖裝有壓力傳感器，當筆尖接觸到交互桌面時，通過uPen軌跡、筆的當前受壓時間和自身的 ID，系統將可區分多支筆在桌面上同時操作時的當前位置和ID。進一步地考慮用戶在繪製過程中像素的連續性和運動特性，即可把各支筆和它們各自繪製的筆畫對應起來，從而解決了多人在桌面上進行同時操作的問題，目前支持兩人並行工作。
4．室內定位系統——Cicada
智能會商室是一個典型的多人協作的工作環境。利用室內定位系統、麥克風陣列以及能區分人員身份信息的交互筆來自動區分決策人員以及他們當前的活動狀態。在此基礎上，結合具體的決策流程，爲決策人員提供與其職責相匹配的主動服務，提高決策效率。
同時，智能會商室內的人員可以與遠程決策人員進行不同於傳統的視頻會議系統的充分的遠程協作。智能會商室除具備音視頻通道外，將爲身處不同地點的決策人員提供豐富的信息共享和自如的交互能力，使各方能充分覺察對方決策所依據的思路過程，在共享的工作空間上克服空間阻隔充分交流協作。
會商室是一個典型的多用戶工作環境，爲支持不同身份人員的高效工作，一個重要的前提是能夠區分不同的人員，檢測當前人員的活動狀況。清華大學研製了一種新型室內定位系統——Cicada，它基於射頻和超聲波達到時間差來測量距離。Cicada不僅能對靜止和移動物體進行準確定位（靜止誤差在5cm以內），而且擁有全向型的工作區。由於它的小巧和輕便（如圖6所示），可以配置在用戶的胸牌等隨身攜帶的物品中。
圖5 Cicada的系統架構
圖6 電子徽章和接收器
自動記錄決策過程
決策過程記錄是重要的參考，單純的文字記錄或者視頻錄像都是不夠的，前者丟失了對於理解決策過程十分關鍵的數據本身，而後者無法對信息進行精確的還原，同時視頻本身缺乏結構性，不便於檢索。智能會商室能夠實現對空間中發生的事件的多線索數據流的同步記錄、索引和回放。
我們研製的過程記錄模塊能夠對決策全過程做多線索數據流的同步記錄，包括交互顯示牆、交互桌面等設備顯示的各種信息和數據、決策人員對交互設備操作，如交互顯示牆主屏幕的切換過程、交互桌面上的動作以及基本的現場音頻、視頻等; 這些不同線索流上的數據在時間上保持同步，這樣回放時可以全面地重現決策過程。記錄下來的數據用XML語言描述，保證了通用性。爲便於記錄的快速瀏覽和查詢，過程記錄模塊從用戶、時間、位置和事件四個維度上自動建立起索引結構，並且開發了用戶友好的圖形查詢界面，支持快速回放和圖形化查詢。
鏈接:智能教室
普適計算研究中的一個重要問題是如何把這項研究與當前的應用相結合，遠程教育是一個很好的結合點。圖7示例的是清華大學研製的一個智能教室系統。
圖7 智能教室系統示意圖
智能教室（Smart Classroom）是一個依靠智能交互空間技術增強了的真實的教學環境。除了傳統教室中的講臺、課桌椅，智能教室的講臺上方投影的是電子講義（如圖7所示），左側牆壁上顯示的是遠程學生的情況和教室虛擬管理員的頭像。系統的運行需要多臺計算機的支持，但教室中的師生並不需要面對和操作計算機本身。教師可以像在傳統教室一樣自然而方便地進行教學活動，他通過板書、語音命令、激光筆指點等方式獲得計算機輔助教學和遠程教學的便利，從而擺脫遠程教學桌面交互模式的限制。同時，大量的參加遠程學習的學生可以以不同的接入方式通過互聯網加入這個課堂。這個教室還可以自動判別課堂當前的焦點，自動地將合適鏡頭的視頻傳送給遠程的學生。遠程學生可以和教室中的學生一樣參與課堂教學，如發言和板書等。講課過程還可被自動記錄成爲可檢索的複合多媒體文檔，作爲現場課件使用。
作爲一個研究實驗平臺，智能教室在智能空間和多媒體遠程交互等課題方向上已取得了一定進展: 多模態信息融合、智能空間中基於上下文的行爲語義、智能交互空間的分佈計算環境、內容相關的自適應傳輸、可伸縮羣組交互機制、無縫的可移動性、過程記錄、基於內容的多媒體檢索等。這個課題還集成了清華大學計算機系多年來在計算機視覺和語音處理方面的優秀成果，包括人的跟蹤、基於生物特徵的身份鑑別、虛擬人合成等。該課題成果已經投入清華大學繼續教育學院的遠程教學的實際應用。傳統的遠程教育系統中的教師是面向計算機的屏幕，而不是學生，這阻礙了教師與學生之間的面對面的交流。在基於智能空間的遠程教育系統中教師可面向學生進行教學，同時又可充分地享受信息訪問和交互的服務，從而把遠程教育技術提高到一個新的水平。
目前，清華大學智能空間的研究已經從面向一個教師爲主的教室環境，發展到面向多個用戶的會議室環境，隨着用戶數和開放程度的增加，交互和服務的複雜度將增加維度，面臨的問題將更具挑戰性。
http://www.e-gov.org.cn/xinxihua/news008/200807/91012.html
人機交互技術
人機交互技術(Human-Computer Interaction，HCI)致力於人與計算機的協調，旨在消融這兩個智能系統間的通訊和對話界線，使得人與機器的信息交流便捷而通暢。計算機系統的人機交互是以用戶界面(User Interface，UI)爲中介的人與計算機間信息傳遞和轉換過程：人向計算機傳達交互意圖 — 用戶通過其側重於多媒體信息接受的感覺通道(包括：視覺、聽覺、觸覺和嗅覺等)對用戶界面中諸如語音、圖形和圖像等多媒體信息的感知，先利用邏輯思維和形象思維能力產生對交互意圖的心理描述，再按用戶界面對交互的輸入要求使用其側重於過程控制與信息輸入的效應通道爲(包括：手、嘴、眼、頭、足及身體等)來實施交互行；計算機向人傳遞計算和反饋結果 — 它利用其感知機制從精確的用戶界面框架結構中獲取用戶的交互信息，並完成獲取交互行爲信息的感知處理、判斷用戶交互意圖的認知處理和回饋交互結果的響應處理等一系列計算過程，最終運用其輸出機制以用戶界面所定義的特定形式輸出其計算結果。
從信息傳遞的角度來看，用戶界面的任務是爲人類的感覺和效應通道與計算機的感知和輸出機制提供通信接口，計算機系統的人機交互包含互不可分的兩類感知過程：一類是人對計算機所提供信息的感知過程。在這個過程中，計算機利用其計算能力和各種媒體處理技術將計算機可供交互的輸入要求或交互處理結果的反饋以適當形式在用戶界面上呈現給用戶；而人類使用感覺通道(如：視覺和聽覺)接受和理解用戶界面所提供的各種信息。這種感知過程的關鍵是用戶界面所呈現信息的形式和豐富程度，並部分與用戶的心理因素及其認知能力相關，這決定了人機交互中計算機與人間通信的輸出帶寬。另一類是計算機對人及其所處環境的感知過程。在這個過程中，人類按照計算機所要求的輸入事件使用效應通道(如：語音和動作等)在用戶界面中輸入交互操作和指令；計算機則通過對來自用戶界面的用戶交互媒介信號的處理和分析來獲取和識別用戶交互意圖，並以適當形式在用戶界面上呈現給用戶。這種感知過程不僅取決於計算機感知和識別人和物及其檢測用戶情緒變化或用戶個性等信息處理能力，而且取決於用戶有意識地將交互意圖“分解”和“組織”爲計算機所特有輸入事件過程中所付出的“認知努力”，這決定了人機交互中計算機與人間通信的輸入帶寬。此外，如果計算機是可以感知外部世界的機器，還存在兩種特殊的感知：一種是計算機感知並傳遞人及其環境信息，人藉助於計算機傳遞感知信息，它基本上不屬於人機交互的感知，但可以作爲人機交互感知的基礎。例如：在視頻會議、遠程教學和遠程醫療等系統中，計算機並不一定需要識別人的交互行爲和信息，而只成爲兩人或多人之間的相互交流的媒介；另一種是人作爲虛擬世界中的成員而從計算機中獲得的感知，這種感知是人機交互的感知，而且人和計算機的感知地位是等同的，其感知信息的形態不僅內容豐富，而且可以是現實世界裏所看不到的(例如：虛擬的場景、文本和語音等)。
從信息轉換的角度來看，用戶界面的作用是實現“用戶認知空間”與“計算機信息處理空間”間信息的雙向映射。由於人類的交互意圖通常是一個涉及人的認知和行爲因素的高維複雜信息，且這些信息是非精確的或模糊的；而計算機遵循線性信息表示和存儲模式來表示和處理交互信息，所能捕獲和處理的必須是形式化的精確信息，且其感知和處理結果不一定能夠依從人的感知規則。兩者間的差異決定了其雙向映射實現的技術複雜性和方式多樣性，因此，人機交互技術的任務就是要選擇合適的映射方式來解決其技術實現的複雜性與用戶交互的易用性問題。技術實現的複雜性主要體現在如何提升計算機感知和識別用戶交互行爲和狀態並進而理解其交互意圖；用戶交互的易用性則表現爲如何充分利用和協調人類的多個感覺和效應通道並進而降低其完成交互行爲所需付出的“認知努力”。顯然，一個良好的映射方式將會極大地提高人機交互的自然性和高效性。在人機交互技術發展歷程中，人機交互的界面形式經歷了手工作業、命令接口(作業控制語言及交互命令語言批處理)、(文本)菜單到多通道、多媒體人機交互和虛擬現實系統；人機交互的信息載體經歷了以文本和符號爲主字符用戶界面(Character UI)、以二維圖形爲主的圖形用戶界面(Graphic UI)、兼顧視聽感知的多媒體用戶界面(Media UI)及綜合運用多種感覺(包括觸覺等)的虛擬現實系統(VR：Virtual Reality)；人機交互的信息維度從一維(主要指文本流)、二維(主要是利用色彩、形狀、紋理等維度信息的二維圖形技術)、三維(主要是三維圖形技術，但圖形顯示仍以二維平面爲主)向多維空間(利用人的多個感覺通道和效應通道的信息)發展，計算機與用戶間的通信帶寬不斷提高。就其技術機理本質而言，這種發展蘊涵着對人機交互中兩個主體不同側重點的映射方式演化：
一種是以機器爲中心的受限方式。這種方式強調將計算機的信息處理需求有效地呈現給用戶，爲用戶提供一個形式化、半雙工、串行的低維度信息展現和操作界面，主要表現在兩個方面：一是人的交互需基於離散事件，用戶界面等同於一個解釋器，它接受事件輸入並反饋計算機處理的結果，在此過程中，多維信息矢量被壓縮爲一個低維矢量，形成一個串行的輸入流；二是人的交互必須基於精確交互：用戶在交互中需要把意圖按模型要求“分解”並“組織”爲計算機所特有的輸入事件，以完全說明用戶交互目的和意度。用戶必須面對機器操作定義的限制並付出較多的認知努力來使用計算機。從用戶角度來看，這種方式支持的是受限人機交互(Formal HCI)，用戶需飽受命令記憶和新功能學習之苦。例如，用戶通過使用鼠標、鍵盤和顯示器來與傳統的桌面計算機進行交互時，與計算機及其上運行軟件間的交互存在着“受限的”交互次序：完成特定序列的操作來創建Word文檔、輸入文本並將其打印，等等。這種方式的實現關鍵在於計算機及其軟件處理能力展示的有效性和合理性及用戶操作的簡便性和易記憶程度，具體表現爲兩個方面的問題：一是如何充分而有效地展示計算機及其軟件的處理能力，即：如何定義操作及其佈局，如：彈出菜單、下拉菜單、分層菜單等；二是如何讓用戶方便地使用和記憶，即：用戶採用何種方式進行操作，如：命令語言、文字菜單和圖標點擊，等等。顯然這種方式限制了人機間的通信帶寬，使得既不能有效地利用當今計算機的強大計算和處理能力，也給用戶使用電腦有諸多不便。
傳統用戶界面都是採用了這種映射方式。它主要包括三大類：
(1). 命令語言交互(Command HCI)：這種人機交互始於聯機終端的出現，用戶與計算機間藉助一種雙方都能理解的語言進行對話。根據語言特點可分爲：① 形式語言。這是一種人工語言，特點是簡潔、嚴密、高效，如：應用於數學、化學、音樂、舞蹈等各領域的特殊語言，計算機語言則不僅是操縱計算機的語言，而且是處理語言的語言；② 自然語言。特點是具有多義性、微妙、豐富。③ 類自然語言。這是計算機語言的一種特例，命令語言的典型形式是動詞後面接一個名詞賓語，即：“動詞+賓語”結構，二者都可帶有限定詞或量詞。命令語言可以具有非常簡單的形式，也可有非常複雜的語法。它要求驚人的記憶和大量的訓練，且容易出錯，但具有靈活和高效的特點，適合於專業人員使用。
(2). 圖形交互(Graphic HCI)：圖形用戶界面(Graphics UI，GUI)是當前人機交互的主流，成熟的商品化系統有Apple的Macintosh、IBM的PM(Presentation Manager)、Microsoft的Windows和運行於Unix環境的X-Window、OpenLook和OSF/Motif等。這種界面包含三個重要思想：① 桌面隱喻(Desktop Metaphor)，即在用戶界面中用人們所熟悉的桌面上的物品來清楚地表現計算機可處理的能力；② WIMP(Windows、Icons、Menu and Pointer)是組成圖形用戶界面的基本單元，以可重疊多窗口管理的窗口管理系統爲核心，使用鍵盤和鼠標器作爲輸入設備，並廣泛採用事件驅動(Event-Driven)技術；③ 直接操作及所見即所得(What You See is What You Get)的界面，交互過程極大地依賴用戶視覺和手動控制的參與，具有強烈的直接操作特點。菜單(Menu)本身與圖形人機交互並沒有必然聯繫，在圖形用戶界面出現前，字符型菜單已經在用戶界面中得到了廣泛應用。但圖形人機交互中菜單的表現形式比字符人機交互更爲豐富，在菜單項中可以顯示不同的字體、圖標甚至產生三維效果，同時，還可以諸如層疊式(Hierarchy)、彈出式(PopUp)、下拉式(PullDown)和滾動式(scrolling)及其組合等多種形式出現，菜單式人機交互與命令語言人機交互相比，用戶只需確認而不需回憶系統命令，從而大大降低記憶負荷，其缺點是靈活性和效率較差，可能不適合於專家用戶。圖形人機交互具有一定的文化和語言獨立性，並可提高視覺目標搜索的效率；其主要缺點是需要佔用較多的屏幕空間，並且難以表達和支持非空間性的抽象信息的交互。
(3). 直接操縱(Direct-manipulation HCI)：直接操縱更多地藉助物理的、空間的或形象的表示，而不是單純的文字或數字表示。前者已爲心理學證明有利於“問題解決”和“學習”。視覺的、形象的(藝術的、右腦的、整體的、直覺的)人機交互對於邏輯的、直接性的、面向文本的、左腦的、強迫性的、推理的人機交互是一個挑戰。直接操縱人機交互的操縱模式採用“賓語+動詞”結構，Windows 95設計者稱之爲“以文檔爲中心”，用戶最終關心的是其欲控制和操作的對象，即：只關心任務語義，而不用過多爲計算機語義和句法而分心。對於大量物理、幾何空間及形象的任務，直接操縱表現出巨大的優越性，但它在抽象而複雜的應用中具有侷限性。對於用戶界面設計者來說，圖形的設計比較因難，需大量測試和實驗；而複雜和抽象語義的表示比較困難，不容易實現交互與應用程序的獨立設計。
另一種是以用戶爲中心的非受限方式。這種方式強調將對人類自然能力(尤其交流、運動和感知能力)與計算設備及其感知和推理結合起來，通過採用多種模態(Multimodal)感知人類的自然行爲，並以易理解的多媒體(Multimedia)形式實現多通道(Multichannel)通信，建立“以人爲中心”的感知用戶界面(Perceptive User Interface，PUI)[10]。這種界面旨在充分使用人類諸如語音、手勢、視線及頭部跟蹤等多個感覺和效應通道，並使之可選擇地並行和協作來實現多通道、非精確、高帶寬、高效及不限制地點的人機通信[11]，以拓展人機間信息通信的“帶寬”，減少人類的交互認知努力，提高人機交互的自然性和高效性。從用戶角度來看，這種方式支持的是非受限人機交互(Informal HCI)[12][13]，其主要出發點是藉助於媒體感知技術獲取並理解用戶動作、行爲、習慣、偏好及其它相關交互信息，來緩解以至於消除計算機和用戶對交互意圖的認識和描述存在的精確信息(人機系統的內部表示)和非精確信息(人機系統的外部表示)間的“鴻溝”；其實現的關鍵在於計算設備對人的動作和行爲識別的有效性，因此，支持這種交互方式的用戶界面又稱爲基於識別的用戶界面(Recognition-based User Interface)。
這種方式的用戶界面則代表着人機交互技術的發展方向，體現了對人的因素的重視，標誌着人機交互技術從“人適應計算機”向“計算機不斷地適應人”方向發展，就是要給用戶“充分的自由”，使得人類不再需要按機器的要求扭曲自己最自然的思維和行爲方式，而可以像在電腦出現前人類那樣自由地工作和生活。傳統的界面事實上成爲隔離物質世界和信息世界之間的屏障，虛擬現實、網絡計算、智能代理和軟件機器人、計算機支持的協同工作等技術的應用，將實現“虛物實化”和“實物虛化”，消除物理對象和抽象對象、輸入裝置和輸出裝置在交互空間中的差別，併爲人提供多感覺通道的自然臨境體驗；語音及文字識別和自然語言理解等言語計算，手寫體和手繪草圖識別等筆式計算及手勢和表情識別、視覺-目標拾取認知技術等視覺計算等技術的不斷髮展和完善，將不斷提高人機交互的智能化程度，使機器能夠根據上下文及使用者的特點主動識別人的身體姿態、手勢、語音和表情等各種自然行爲，進而判斷出人的意圖。同時，機器的功能齊全、高效，既適於人的操作使用，也能滿足人的審美和認知需要，機器的操控和使用將更加符合人的習慣，並具備聽、看和說的能力，人可以語言、文字、圖像、手勢、表情等自然方式與機器打交道，恰如與他人交流一樣自然。因此，用戶界面是能模擬多種智能和真實環境的虛擬空間，人們能夠在任何時間、任何地點與任何需要的環境(包括人)以最自然和“身臨其境”的方式來完成所需要完成的工作；實現“無形而又無處不在，有形而又自然和諧”的普適交互(Ubiquitous/Pervasive HCI)模式，這種方式的特性體現在以下三個方面：
• 以用戶爲中心(Human-Centered)：以用戶對人機交互的需求變化爲出發點，使人機交互的外在形式和內部機制能符合不同用戶的需要。人類的交互行爲是自然的，用戶將可利用語音、手勢、筆劃等自然方式，不受地點限制地與計算機進行交互，既能滿足用戶個性化的需要，又使得用戶不脫離自然社會關係(包括社會經濟環境和人類溝通交流)。
• 多模態(Multimodal)交互：充分利用人類多種感覺和效應通道的互補特性，並使之可選擇地、充分地並行和協作來捕捉用戶的交互意圖，從而增進用戶交互的自然性。模態(modal)和通道(Channel)間的聯繫和區別主要在於：人類通過視覺、聽覺、觸覺、味覺和嗅覺這五種感官的信息發送和接收來實現與世界交互的，一種模態對應一種官能；而通道是指信息傳遞的過程或途徑。在人機交互應用中，通道描述一種交互技術，這種技術可基於某種特殊設備，如：鍵盤或鼠標，也可基於某種特殊行爲，如口語、書面語或手勢。如：命令語言用戶界面中的每個命令都會使用視覺和觸覺等多種模態；而圖形用戶交互既使用了視覺和觸覺等多種模態，又用到了諸如鍵盤、鼠標和聲音及圖像等多種通道。多模態人機交互是使用同等方式將兩種或兩種以上輸入模態相結合的技術，其重點是將基於諸如語音識別、筆形手勢識別、計算機視覺等傳感識別的輸入技術集成到用戶界面中。也就是說，多模態人機交互使用多種模態來實現多種通道通信。使用多種模態生成單獨的通道，如：利用視覺和聲音進行三維用戶定位，屬多傳感器融合(Multisensor Fusion)；類似地，使用一種模態生成多種通道，如：左手鼠標指示，右手鼠標選擇，則屬於多通道或多設備(Multichannel or multi-device)人機交互。
• 多媒體感知((Multimdia Perceptive)：機器利用其感知及推理能力對來自用戶感覺和效應通道的交互信號進行識別、集成和協調，並獲取用戶動作和行爲習慣、偏好及其它相關信息，並以人類易理解的多媒體信息方式爲用戶提供輸出信息，從而提供不受時空限制而又效能最大化的個性化計算服務。這種人機交互方式的雙向信息流動是以多媒體感知和處理爲核心的：用戶通過其感覺和效應通道傳遞的交互意圖在計算機內表示爲文本、語音、圖形和圖像等多媒體信息，人到機(Human to Compute)信息流動是多媒體信息的獲取及識別過程；計算機經過處理的信息需要以文本、語音、圖形和圖像等用戶理解概念所需的多媒體信息形式展現出來，機到人(Computer to Human)的信息展流動是多媒體信息的合成和呈現過程。
自Weiser博士提出普適計算(Ubiquitous/Pervasive Computing)以來，人類開始向未來計算探索的進程，也催生了以網格計算(Grid Computing)和雲計算(Cloud Computing)爲代表的計算分佈化(Distribution)、以嵌入式計算(Embed Computing)爲代表的計算透明化(Transparent)、以虛擬現實(Virtual Reality)和可穿戴計算機(Wearable Computer)爲代表的計算機系統擬人化(Personate)和有形化(Tangible)、以手持電腦(PDA)和智能手機(Smart Phone)爲代表的計算機系統微型化(Micromation)和隨身化(Mobile)及以智能空間(Smart Space)和環境智能(Ambient Intelligence)爲代表的計算機系統嵌入化(Embeded)和無形化(Invisible)等衆多新型計算技術，推動着“機箱時代”邁向一個嶄新時代：計算設備將從人類視野中“消失”，那些裝在機箱中的聲音、視頻和通信等將“遊蕩”於我們周圍環境中而變得“無處不在”。這個時代具有兩個重要特徵：一方面，小型化嵌入式計算設備將使得人類生活的自然環境“具有”計算能力，它能自主感知人的存在，並在人類需要時出現和對其行爲作出反應；另一方面，計算將日常生活化，能幫助人類安排、構造和控制日常生活，人類將能享受的計算服務，人類能以最自然的方式、在任何時間、任何地點、通過任何設備從環境中“無意識地”獲取“有感覺”的計算資源和計算服務。概括地講，在這個時代，人類生活將片刻離不開機器，人與機器間的交流更加自然和沒有阻礙，人和計算間將是非侵入且不可見的交互，現實世界就成爲用戶界面，用戶只需運用其日常技能來操作和使用計算設備，而不再關注交互媒體形式，也無需特定的用戶界面，即：Idea Interface is no interface。這既對人機交互技術提出了更高的要求和新的挑戰，也爲人機交互技術的發展注入了新的動力，因此，自然、高效、無障礙的新型人機交互技術成爲該領域發展方向和研究熱點。
新型人機交互技術的最主要特性就在於用戶交互的“非受限性(Informaity)”：機器給人以最小的限制並對人的各種動作做出反應，人是主動參與者，可以最大的自由度操作機器，如日常生活中人與人間的交流一樣自然、高效和無障礙。這種人機交互技術強調兩個關鍵特徵：一是交互隱含性。理想的人機交互應當使用戶把所有注意力集中於完成任務而無需爲交互操作分心，且應允許使用模糊表達手段來避免不必要的認識負荷，有利於提高交互活動的自然性和高效性。傳統用戶界面都是等待用戶輸入命令纔開始採取行動，而新穎人機交互技術的用戶界面則應是積極地感覺和理解世界，並讓用戶在各個層次上根據目標和已有知識採取行動，並以充分性代替精確性。理想地，這是一個使用“被動”或“非侵入性”感知的“主動”交互方式，無需用戶顯式說明交互成分，僅在交互過程中隱含地表現而允許非精確的交互，如：用戶視線自然地落在所感興趣的對象上；用戶的手自然地握住被操縱的目標；等等。二是交互多模態性和雙向性。允許使用多種感知模態(如：視覺、聽覺、觸覺等)或多個感覺和效應通道，突破了模態和鼠標鍵盤顯示器通信通道的限制，使用連續形式和並行形式在內的多種模態。儘管感覺通道側重於多媒體信息的接受，效應通道側重於交互控制與信息輸入，但兩者是密不可分、相互配合：只用一種通道不能充分表達意圖，就需要其它通道信息輔助。有時，使用輔助通道僅爲增強表達力，否則，就必須允許充分地並行和協作的通道配合關係。此外，人的感覺和效應通道通常具有雙向性特點，如：視覺可看又可注視；手可控制又可觸及；等，新穎人機交互技術讓用戶避免生硬、頻繁或耗時的通道切換，從而提高自然性和效率。如：視線跟蹤系統可促成視覺交互雙向性；聽覺通道在利用三維聽覺定位器實現交互雙向性；等等。
新型人機交互技術的核心問題在於如何確保計算設備對人的動作和行爲識別的有效性並實現人機的和諧共處。計算設備及其傳感器是透明和被動的，但可以主動感知人類相關通信通道並輸出人類可理解的結果。這就需要不同類型和層面技術的集成，並隨着關鍵維度或特徵發生變化，包括：輸入模態的數目和類型；通信通道的數目和類型；使用並行模式、串行模式或同時使用並行和串行模式的能力；識別模式的大小和類型；傳感器和通道的集成方法及支持的應用種類，等等。依據充分利用人類感覺和效應通道並使得人機交互更加自然的目標，新型人機交互的關鍵技術主要集中在以下幾個方面：
(1). 支持語音交互(Speech-Based HCI)的言語計算(Speech Computing)：語音是人類一種重要而靈活的通信模態，言語交互的核心是語音識別，其任務就是利用語音學和語言學知識，先對語音信號進行基於信號特徵的模式分類(這是語音信號處理的範疇)得到拼音串，再利用語言學知識對拼音串進一步處理，得到一個符合語法和語義的句子。簡單地說，語音識別就是讓計算機能聽懂人說話，將人說的話轉換成計算機文本。
(2). 支持筆跡交互(Pen-Based/Calligraphic HCI)的筆跡計算(Calligraphic Computing)：筆跡交互是通過計算機軟硬件技術和相關領域的研究，模擬人類“筆錄紙現”這一日常技能的一種人機交互方式。在這種用戶界面中，用戶藉助鼠標、筆跡交互器及觸摸屏等設備用手自由地書寫或繪製各種文字和圖形，計算機通過對這些輸入對象的識別和理解獲得執行某種任務所需要的信息。它充分利用書寫的自然性和墨水豐富的表達能力，從而拓寬了人機交互的頻帶，使人們通過筆跡交互自然地使用計算機的高性能計算能力：從計算機處理角度看，筆跡交互可以在一個或多個連續的筆畫中自然地提交計算任務所需要的命令和參數；從人機交互角度來看，它通過將用戶的交互意圖映射爲由壓力、方向、位置和旋轉等信息共同構成的多維矢量序列[11][2]；從認知心理學角度看，用戶的交互意圖通過幾個效應和感知通道提交。與言語交互相比，筆跡交互以視覺形象表達和傳遞概念，既有抽象、隱喻等特點，還具有形象、直觀等特徵，易於理解和記憶，更適於推論和構思；與傳統圖形圖像工具相比，它具有自然、簡便，可表達不完備模糊概念，擁有強大的信息表達能力，有利於創造性思想的快速表達、抽象思維的外化和自然交流。
(3). 支持視覺交互(Vision-based HCI)的視覺計算(Vision Computing)：在人類日常面對面交互中，除使用語音和文字外，還可利用身體各部位的姿態和動作(即所謂身體語言)來表達自己的意思。視覺和言語是聯合表達、相互補充的通道，諸如臉部表情、注視焦點、肢體動作及其它活動等行爲線索能爲交流提供相關上下文信息，這些信息不僅能加強語音的表達能力，還能起到語音交互所不能起到的作用，並影響交談的內容和進程，如：頭部動作可能是“否定”或“肯定”的信號，臉部表情可能是“無奈”或“讚許”的表式，注視角度可能可消除“這邊”或“那邊”等語言中指代不明的問題。視覺交互技術(Vision-based Interaction)的目標就是在人機交互中採用計算機視覺作爲有效的輸入模態，探測、定位、跟蹤和識別用戶交互中有價值的行爲視覺線索，進而預測和理解用戶交互意圖並做出響應。這種技術可以支持人機交互中的一系列的功能，如：人臉檢測、定位和識別(確定場景中的人數、位置和身份等)；頭和臉部的跟蹤(用戶的頭部、臉部的位置和方向)；臉部表情分析(用戶表情狀態：微笑、大笑、皺眉、說話、睏乏等)；視聽語音識別(協助判斷用戶說話內容)；眼睛注視跟蹤(用戶的眼睛朝向)；身體跟蹤(用戶身體的位置，身體的動作等)；手跟蹤(確定用戶手的位置，二維或三維模型、手的結構等)；步態識別(識別人的走路/跑步的風格)；姿勢、手勢和活動識別等，最終實現人與機器的“行爲交互(Behaviour Interaction)”。
(4). 支持情感交互(Affective-based HCI)的情感計算(Affective Computing)：衆所周知，人類相互之間的溝通與交流是自然而富有感情的，計算機沒有情感能力，就很難指望它具有類似人一樣的智能，也很難期望人機交互真正實現和諧與自然。因此，人們在與計算機交互的過程中，也期望計算機具有情感和自然和諧的交互能力[14]。而情感交互就是要賦予計算機類似於人一樣的觀察、理解和生成各種情感特徵的能力，它是通過各種傳感器獲取由人的情感所引起的表情及其生理變化信號，利用“情感模型”對這些信號進行識別，從而理解人的情感並做出適當的響應。其重點就在於創建一個能感知、識別和理解人類情感的能力，並能針對用戶的情感做出智能、靈敏、友好反應的個人計算系統[14]。擁有情感能力的計算機能夠對人類的情感進行獲取、分類、識別和響應，進而幫助使用者獲得高效而又親切的感覺，並有效減輕人們使用電腦的挫敗感，甚至幫助人們便於理解自己和他人的情感世界。情感交互還能幫助我們增加使用設備的安全性、使經驗人性化、使計算機作爲媒介進行學習的功能達到最佳化。
(5). 支持可穿戴交互(Wearable HCI)的穿戴計算(Wearable Computing)：可穿戴計算機是一類超微型、可穿戴、人機“最佳結合與協同”的移動信息系統。可穿戴計算機在體系結構、功能、形態、用途及使用方式上與現在流行的筆記本電腦、掌上電腦(HPC)、個人數字助理(PDA)等移動計算裝置迥然不同：可穿戴計算機不只是將計算機微型化和穿戴在身上，它還實現了人機的緊密結合，使人腦得到“直接”和有效的擴充與延伸，增強了人的智能。這種交互方式由微型的、附在人體上的計算機系統來實現，該系統總是處在工作、待用和可存取狀態，使人的感知能力得以增強，並主動感知穿戴者的狀況、環境和需求，自主地做出適當響應，從而弱化了“人操作機器”，而強化了“機器輔助人”。
上述技術都是利用人與人及人與世界間口頭或非口頭的交互方式，使用各種模態來實現多通道通信，本質上都屬於支持感知交互的感知計算(Sentient Computing)。
(6). 支持虛擬交互(VR HCI)的虛擬現實(Virtual Reality)：虛擬現實的基本原理是採用攝像或掃描的手段(而不是傳統的建模手段)來創建虛擬環境中的事件和對象，生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發，利用自然的技能和某些設備對這一生成的虛擬世界客體進行瀏覽和交互考察。其特點包括：逼真的感覺(視覺、聽覺、觸覺、嗅覺等)、自然的交互(運動、姿勢、語言、身體跟蹤等)、個人的視點(用戶的眼、耳、身所感到的感覺信息)和迅速的響應(感覺信息根據視點變化和用戶輸入及時更新)。這些特點可概括爲三大特徵：沉浸感(Iimmersion)：是指用戶作爲主角存在於虛擬環境中的真實程度；交互性(Iinteraction)：指用戶對虛擬環境內的物體的可操作程度和從環境得到反饋的自然程度(包括實時性)；想象力(Imagination )：指用戶沉浸在多維信息空間中，依靠自己的感知和認知能力全方位地獲取知識，發揮主觀能動性，尋求解答，形成新的概念。
(7). 支持人腦交互(Brain-Computer Interaction)的腦計算(Brain Computing)：最理想的人機交互形式是直接將計算機與用戶思想和目的進行連接，無需再包括任何類型的物理動作或解釋，實現“Your wish is my command”的交互模式[15]。雖然在可預見的未來這種思想不太可能實現，但對“人腦計算機界面(Brain-Computer Interface，BCI)”的初步研究可能是邁向這個方向的一步，它試圖通過測量頭皮或者大腦皮層的電信號來感知用戶相關的大腦活動，從而獲取命令或控制參數。人腦交互不是簡單的“思想讀取”或“偷聽”大腦，而是通過監聽大腦行爲決定一個人的想法和目的，是一種新的大腦輸出通道，一個可能需要訓練和掌握技巧的通道。
當前，採用第一種方式的圖形用戶界面仍是應用的主流，尤其是以超文本標記語言(HTML)及超文本傳輸協議(HTTP)爲基礎的網絡瀏覽器和搜索引擎的桌面網絡用戶界面最爲普遍，包含了適應不同帶寬(從高速視頻點播到低速移動電話)、不同尺寸(從手錶、掌上電腦到牆壁大小)的各種用戶界面；而採用第二種方式的語音、手寫等易用而方便的界面也正逐步普及，多通道、多媒體的自然、高效、智能化用戶界面正得到快速發展和應用。
[2]. 慄陽, 關志偉, 戴國忠, 筆式用戶界面開發工具研究, 軟件學報, 2003,14(3):392-400.
[3]. Ivan Sutherland，Sketchpad: a man-machine graphical communication system, In: Proceedings of the 1963 Spring Joint Computer Conference, Baltimore, MD: Spartan Books, 1963: 45-53.
[4]. Microsoft Presspass, Digital Ink, Breakthrough Technology in Tablet PC: Brings the Power of the Pen to the Desktop,
http://www.microsoft.com/presspass/features/2002/, 2002
[5]. Walid G Aref, Daniel Barbará, Daniel P Lopresti, Ink as a First-Class Datatype in Multimedia Databases, Jajodia S and Subrahmanian V S, Multimedia Databases, SpringerVerlag,1995:pp.
113-163.
[6]. Daniel P. Lopresti, Ink as Multimedia Data, In: Proceedings of the Fourth Intl. Conference on Information, Systems, Analysis and Synthesis, Orlando FL, 1998. 122-128.
[7]. http://www.w3c.org/TR/InkML
[8]. Rejean Plamondon and Sargur N Srihari，On-Line and off-line Handwriting Recognition: A Comprehensive Survey, IEEE Trans. On Pattern Analysis and Machine Intelligence, 2000,22(1)：63-84.
[9]. 孫正興, 馮桂煥, 周若鴻, 基於手繪草圖的人機交互技術研究進展, 計算機輔助設計與圖形學學報, 2005,17(9): 1891-1899.
[10]. Matthew Turk and Mathias Kolsch，Perceptual Interfaces, University of California, Santa Barbara, Technical Report 2003.
[11]. 王堅，董士海等，基於自然交互風格的多通道人機交互模型，計算機學報，1996, 19(增)。
[12]. Ian H S Cullimore, An analysis and implementation of informal Human-Computer Interaction, Cognitive and Computing Sciences, The University of Sussex, May 2000.
[13]. Sun Zhengxing and Liu Jing, Informal User Interface for Graphical Computing, Lecture Notes in Computer Science, Springer-Veralg, Vol 3784, 2005: 675-682.
[14]. Picard R D著，羅森林譯，情感計算，北京理工大學出版社，2005.
M.A.L. Nicolelis, Action from thoughts. Nature, 409, 2001: pp. 403–407.
[1]. Jorge J A and Glinert E P, Calligraphic Interfaces: towards a new generation of interactive systems, Computers & Graphics, 2000, 24(6): 817-823。
http://blog.sciencenet.cn/home.php?mod=space&uid=39479&do=blog&id=332668
0
頂