三大關鍵問題
如何解決真實場景和虛擬物體在幾何、光照和時間方面的一致性問題。
幾何一致性是解決虛擬對象和真實場景在空間中的一致性，這是最基本的要求。
光照一致性是虛實融合場景真實感繪製的要求；
時間一致性是實現實時交互的要求。
其中，幾何一致性和時間一致性是研究光照一致性的前提。因爲只有高效、實時恢復場景的幾何表示，才能進行精確的光照恢復，才能夠得到具有強烈真實感的融合效果。
三大關鍵技術
①三維註冊技術②虛實融合顯示技術③人機交互技術
爲了解決好增強現實應用系統開發中的三大問題，必須要解決好三大關鍵技術。
①三維註冊技術
三維註冊技術是實現移動增強現實應用的基礎技術，也是決定移動增強現實應用系統性能優劣的關鍵，因此三維註冊技術一直是移動增強現實系統研究的重點和難點。
主要任務：實時檢測出攝像頭相對於真實場景的位姿狀態，確定所需要疊加的虛擬信息在投影平面中的位置，並將這些虛擬信息實時顯示在屏幕中的正確位置，完成三維註冊。
註冊技術性能判斷的三個標準：實時性、穩定性和魯棒性。
目前基於移動終端的移動增強現實系統的研究中主要採用以下幾種註冊方式：基於計算機視覺、基於硬件傳感器的以及混合註冊方法，如下圖：
圖 移動增強現實三維註冊技術分類
基於計算機視覺的註冊算法：主要是指利用計算機視覺獲取真實場景的信息後，經過圖像處理方面的知識來識別和跟蹤定位真實場景的過程。基於計算機視覺的註冊算法又分爲基於傳統標誌的註冊算法和基於自然特徵點無標誌註冊算法。
基於硬件傳感器的註冊算法：傳統增強現實系統的硬件傳感器跟蹤技術主要包括慣性導航系統、全球定位系統（GPS）、電磁、光學或超聲波位置跟蹤器等。其中慣性導航系統的主要問題是被跟蹤物體的角度及位置的跟蹤誤差會隨時間增長而不斷增大，漂移較大，設備的體積重量也較大；GPS定位誤差較大，在室內、峽谷或其他複雜地形的情況下GPS信號經常無法正常接收；電磁、光學或超聲波位置跟蹤器採用發射和接收的工作方式來進行跟蹤，使用場合固定，範圍有限。
而在維修誘導、教育培訓等應用領域，匹配精度要求比較高，較大的註冊誤差將破壞用戶對周圍環境的正確感知，改變用戶在真實環境中動作的協調性。因此要實現精確的增強現實三維註冊，必須要有高精度的跟蹤設備。移動終端上一般常用的硬件傳感器有陀螺儀、速度傳感器、磁場傳感器、方向傳感器等。這種註冊方法容易受到環境的干擾，註冊不精確。
②虛實融合顯示技術
目前，增強現實系統實現虛實融合顯示的主要設備一般分爲：頭盔顯示式、手持顯示式以及投影顯示式等。
頭盔顯示式被廣泛應用於增強現實系統中，用於增強用戶的沉浸感。按照實現原理大致分爲光學透視式和視頻透視式兩類，分別如下圖所示。光學透視式增強現實系統具有簡單、分辨率高、沒有視覺偏差等優點，但它同時也存在着定位精度要求高、延遲匹配難、視野相對較窄和價格高等缺陷。視頻透視式增強現實系統採用的基於視頻合成技術的穿透式HMD(Video See-through HMD)，利用攝像機採集到的真實環境的視頻信息與計算機生成的三維虛擬信息相融合，從而加強用戶對真實世界數據信息的認知能力。下圖(a)爲光學透視式，(b)爲視頻透視式。
圖 頭盔顯示器分類
手持顯示式一般多指手機、PDA、平板電腦等移動終端設備的顯示器，他們具有較高的便攜性的優點，可以隨時隨地使用，而且手持式顯示設備具有可觸控的特點，便於進行人機交互的設計。
投影式顯示是將生成的虛擬對象信息直接投影到需要融合的真實場景中的一種增強顯示技術。投影式顯示能夠將圖像投影到大範圍場景中，但是投影設備體積龐大，比較容易受到光照變化影響，適合於室內場景使用，但不適合室外大場景。
虛實融合場景顯示研究的主要問題有兩個方面：一是如何完成真實場景和虛擬對象信息的融合疊加，二是如何解決融合過程中虛擬對象信息延遲的現象。對於光學透視式頭盔顯示器，用戶可以實時地看到周圍真實環境中的情景，而對真實場景進行增強的虛擬對象信息要經過一系列的系統延時後才能顯示到頭盔顯示器上。當用戶的頭部或周圍景象、物體發生變化時，系統延時會使增強信息在真實環境中發生“漂移”現象。而採用視頻透視式顯示方式的話可以在一定程度上解決這樣的問題。開發人員可以通過程序來控制視頻顯示和虛擬對象信息的顯示頻率，可以達到實時性的需求並且緩解甚至杜絕“漂移”的現象。本文研究的是基於移動終端的增強現實技術， 某種程度上跟視頻透視式類似，但是手持式顯示能看到的場景更加廣闊，只是沉浸感不如視頻透視式頭盔顯示強烈。
③人機交互技術
增強現實系統交互技術是指將用戶的交互操作輸入到計算機後，經過處理將交互的結果通過顯示設備顯示輸出的過程。目前增強現實系統中的交互方式主要有三大類：外接設備、特定標誌以及徒手交互。
外接設備：如鼠標鍵盤，數據手套等。傳統的基於PC機的增強現實系統習慣採用鍵盤鼠標進行交互。這種交互方式精度高、成本低，但是沉浸感較差。另外一種是藉助數據手套、力反饋設備、磁傳感器等設備進行交互，這種方式精度高，沉浸感較強，但是成本也相對較高。隨着可穿戴增強現實系統的發展，語音輸入裝置也成爲增強現實系統的交互方式之一，而且在未來具有很大的發展前景，例如Google Glass。
特定標誌：標誌可以通過事先進行設計。通過比較先進的註冊算法，可以使標誌具有特殊的含義，當用戶看到標誌之後就知道該標誌的含義。因此基於特定標誌進行交互能夠使用戶清楚明白操作步驟，降低學習成本。這種方式沉浸感要稍高於傳統外接設備。
徒手式交互：一種是基於計算視覺的自然手勢交互方式，需要藉助複雜的人手識別算法。首先在複雜的背景中把人手提取出來，再對人手的運動軌跡進行跟蹤定位，最後根據手勢狀態、人手當前的位置和運動軌跡等信息估算出操作者的意圖並將其正確映射到相應的輸入事件中。這種交互方式沉浸感最強，成本低，但算法複雜，精度不高，容易受光照等條件的影響。另外一種主要是針對移動終端設備。現如今移動終端的顯示設備都具有可觸碰的功能，甚至可支持多點觸控。因此可以通過觸碰屏幕來進行交互。目前幾乎所有的移動應用都採用這種交互方式。
以上內容轉載自AR村：http://www.arcun.cn/thread-2941-1-1.html。自己僅稍做整理，加些醒目的標註。