Geometric Context from a Single

這個是Derek Hoiem 2005年的文章，也算是對3D信息的利用的一個開啓。主頁鏈接是http://www.cs.uiuc.edu/homes/dhoiem/ 

翻譯呢是爲了更好的理解，以後看的時候還可以回頭直接看了，還可以隨時添加筆記。

摘要

  許多CV算法通過忽略圖像潛在的3D幾何結構而限制了他們的性能。我們展現了通過學習基於外觀模型的幾何類別來評估場景的粗糙幾何屬性，甚至是雜亂的自然場景。幾何類別描述了圖像區域關於相機的3D方向。我們提供了多重假設框架來魯棒的評估從單張圖像獲得的場景結構，並且對每個幾何標籤獲得了置信度。這些置信度可以被用於改善其他許多應用的性能。我們提供了在一組室外圖像上對算法的一個全面的定量評估並且展示了在兩個應用上的有效性：目標檢測和自動單視圖重建。

1.介紹

   爲何目標識別對於計算機來說如此困難，而對於人來說是老不費力的？原因看上去好像是識別是一種天生的全局流程。從稀少的，嘈雜的，局部的測量，我們的大腦能夠創建一個清晰的視覺體驗。當我們看到一個人在街角的時候，識別的簡單動作可能不是僅僅由人形內部的像素（他們幾乎不足夠），而是還通過許多其他的線索：他站在哪個平面上，街道的3D透視圖，觀察者的方向等等。實際上，我們的整個視覺全景表現的就像是全局識別形態。

   與此相反，大多數存在的CV系統試圖僅僅使用局部信息來識別目標。例如，目前流行的目標檢測算法[26,32,33]假設關於目標的得所有相關信息都包含在圖像平面（通過全面的掃描所有位置和尺度來找到目標）的一個小窗口中。注意到典型的錯誤是通過這樣的系統造成的——在樹頂上找到人臉或者是鍵盤上找到車輛——不經常是貧乏目標模型的結果。當一個人只是通過一個小的窺視鏡[31]看世界的時候，樹頂上確實有臉。但是如果我們的最終目標是接近人類性能的級別，那麼我們就必須開闊眼界並且把整幅圖認爲是全局識別任務的內容。

    Torralba et al. [29,30]最近的工作已經在展示全局場景內容對於目標檢測的重要性方面有了影響。低級特徵也被用於得到場景的粗糙表示[1,25]。其他研究者使用隨機場框架[16,2,11]以及其他表示[例如19]來開發局部上下文信息。不幸的是，上述方法都要對圖像平面的目標間的上下文關係進行編碼，並且不是在這些目標真正存在的3D世界中。這證明了一些限制，防止重要信息——尺度關係，平面方向，自由空間推理等等——曾經捕捉到的。顯然，2D上下文是不足夠的。

   

    Figure 1: Geometriccontext from a single image: ground (green),sky (blue), verticalregions (red) subdivided into planar orientations (arrows) andnon-planar solid (’x’) and porous(’o’).

   我們的最終目標是去發現一幅圖像的3D“上下文的框架”，一種戲院舞臺表示包含了主要的平面以及他們之間的關係。擁有這樣一種表示會允許每個目標物理上的“放置”在框架內並且允許不同目標和3D環境存在推理。

   本論文中，我們第一步是提出一個技術來評估室外圖像的大平面的粗糙的方向來構建這個上下文框架。我們關注於室外圖像是因爲他們對人爲強加的曼哈頓結構的缺少生成一個有趣並且具有挑戰的問題。每個圖像像素都被分類爲要麼屬於地面平面的一部分，或者屬於從地面豎起的平面，或者屬於天空。從地面豎起的平面被分成二維平面面向相機的左，中，右以及非平面的表面，或者多孔（多葉植被或者網格線）或者固體（人或者樹幹）。我們還展示了目標檢測的最初結果以及3D重建證明了這個幾何信息的有效性。

   我們提出了在統計學習角度的3D幾何評估的問題。而不是試圖明確計算圖像的所有需要的幾何參數，我們依賴其他圖像（訓練集）以一種隱式的方式通過識別來完成這種信息。但是與大多數識別方法不同的是，這個對語義類別建模，例如車輛，植被，道路或者建築[21,6,14,28],我們的目標是對幾何類別建模這依賴於與場景有關的物理目標的方向。例如，躺在地面上的一塊三合板以及被木板支撐的三合板具有兩種不同的幾何類別。不像其他重建技術那樣需要多個圖像（例如[23]）,人工標記[4,17],或者非常特定的場景[9]，我們想要自動對單張圖像上的一般室外場景評估3D幾何屬性。

    幾何上下文哲學上與David Marr[18]提出的素描相似。然而，我們與它有幾個重要的不同點：1)我們使用統計學習而不是單獨的依賴幾何或者光度方法（例如Shape-from-Xmethods）2）我們對場景幾何的粗糙感感興趣，而不是每個單獨曲面的方向3）我們的幾何上下文將要與原始圖像數據一起使用，而不是它的替代品。

    我們觀察了使用google圖片搜索的300個室外圖像的採樣的兩個趨勢，第一個是超過97%的圖像像素屬於三大主要幾何類別之一：地面平面，大概與地面平面成直角的曲面以及天空。因此，我們小的幾何類別集就足夠來對大多數圖像中的曲面提供一個準確描述。第二個觀察是在大多數圖像中，相機座標軸與地面平面是粗糙的平行（在15度以內）。我們以這個粗糙校準作爲假設，調解世界中心線索world-centriccues（例如材質）以及視圖中心線索（例如透視圖）。

   我們主要的洞察是3D幾何信息可以通過學習各種方向的曲面的基於外觀的模型來從一張圖中獲得。我們提出一個框架它逐步建立場景的結構知識通過輪流的使用評估的場景結構來計算更復雜的圖像特徵以及使用這些更復雜的圖像特徵來獲得更多的結構知識。此外，我們提供對我們算法中的不同設計選擇的影響的一個全面分析並提供我們幾何上下文有效性的證據。

2，獲得有用的幾何線索

   圖像上的一塊理論上可以通過領域中任何方向的曲面來產生。爲了決定哪個方向是最有可能的，我們需要使用所有可用的線索：材質，位置，紋理梯度，陰影，消失點等等。然而，許多的信息僅在當了解場景結構的時候才能提取出來。例如，對圖像上差不多平行的線的交叉的瞭解經常對決定3D方向是非常有用的，但是僅當我們知道線是屬於相同二位平面（例如，面對一個建築或地面）時。我們的解決方案是逐步建立圖像的結構知識：從像素到超像素到超像素的關聯組（圖2所示）。

    我們的第一步是執行Felzenszwalb etal.[7]的過分割方法來獲得“超像素”集合。每個超像素假設爲對應一個單獨的標籤（超像素已經已知的遵守分割邊界[24]）。不像樸素像素，超像素提供了允許我們計算一些基本的一階統計的空間支持（例如顏色以及紋理）。然而，爲了擁有評估大尺度平面的方向的希望，我們需要計算更多的複雜幾何特徵它必須已經在圖像中相當大的區域上被評估了。我們如何找到這種區域？一種可能是使用標準分割算法(e.g.[27])來分割圖像爲小數量的同質區域。然而，因爲在圖像分割中使用的像素是本身非常基本和局部的，幾乎沒有可靠性獲得對應場景中整個曲面的區域。

2.1 多重假設方法

   理想上，我們會評估圖像的所有可能分割來保證我們找到最好的一個。爲了使這個易處理，我們採樣對整個分佈具有代表性的小數量的分割。因爲從所有可能像素分割的採樣是不可行的，我們通過對超像素集採樣來進一步降低了搜索的組合複雜度。

   我們的方法是基於簡單線索做多重分割假設並且然後使用每個假設的增強的空間支持來更好地評估它的質量。不同的假設在分割以及圖像不同區域產生的錯誤的數量不同(seeFigure 2c)。我們的挑戰就是來決定假設的哪個部分可能是正確的並且準確的決定那些區域的標籤。

2.2 特徵

    Table1列出了我們系統所使用的特徵。顏色和紋理允許系統來隱式建模材質和3D方向間的關係。圖像位置也提供了強3D幾何線索（e.g.地面在天空下面）。我們之前的工作[12]提供了這些特徵的進一步的原理闡述。

   雖然一個平面（相對於觀察者）的3D方向可以通過它的消失線[10]來完全決定，但是這種信息不能輕易的從相關的非結構室外圖像提取。通過計算直線(G1-G2)和他們的在圖像中的交叉(G3-G7) 的統計，我們的系統獲取了平面的消失點的信息而不用明確的計算它們。我們的系統使用方法[15]找到圖像中的長的，直的邊界。根據方向(8orientations) 以及距離(2 thresholds, at 1.5 and 5times the image size)，幾乎平行的直線(within π/8radians)的交叉點被放射狀的從圖像中心放入箱中。當計算G1-G7事，我們通過長度來加重要性給直線，來改善對極端值的魯棒性。紋理梯度(G8)也可以提供方向線索，甚至從自然平面而不是平行線。

3.學習分割以及標籤

   我們收集了300張室外圖像集代表用戶選擇在互聯網上放置的公共可用的圖像。這些圖像經常是高混亂的並且跨度多種自然，郊區，城市場景。圖4展示了20張圖像。每張圖都是過分割的，並且每個分割都根據它的幾何類別給予一個實際地面標籤。總共，大概150000超像素被標籤。我們使用50張圖像來訓練分割算法。剩下的250張圖來訓練以及評估全體系統使用5倍交叉驗證。爲了對比我們使我們的數據庫公共可用（Projectpage: http://www.cs.cmu.edu/∼dhoiem/projects/context/）。

3.1 生成分割

   我們想要獲得多圖像的多個分割形成幾何均勻區域（一個區域是均勻的如果它的每一個超像素都有相同的標籤，區域需要不是連續的）。我們對分割使用學習方法，評估兩個超像素屬於相同區域的可能性。我們通過改變區域的數量以及算法的初始化來生成多分割。

   理想上，對於給定數量的區域，我們會最大化聯合似然這樣所有區域都是均勻的。不幸的是，找到優化方案是棘手的；反而，我們提出一個簡單的貪婪算法基於超像素間的成對親密關係。我們的算法具有四個步驟：1）隨機整理超像素；2）賦值前nr（r是下標）個超像素到不同的區域；3）迭代的賦值每個剩下的超像素基於一個學習的成對親密關係函數（看下面）；4）重複步驟3幾次。我們希望我們的區域儘可能的大（爲了允許好特徵評估）同時仍然是均勻標記的。我們運行這個算法使用不同的區域數量（nr∈{3,4, 5, 7, 9, 11, 15, 20, 25} 在我們的實現中）。

   訓練。我們從我們的訓練集中採樣成對的相同標記的以及不同標記的超像素(2,500 each)。我們然後基於它們特徵值的絕對差：P(yi= yj ||xi − xj|)來評估兩個超像素具有相同標籤的可能性。我們使用邏輯迴歸形式的Adaboost[3]它具有基於樸素密度估計的弱分類器：

            

其中nf 是特徵數量，每個弱分類器中的似然函數都使用在第m個加權分佈上的核密度估計[5]來獲得。

   我們賦值一個超像素到區域（上面的步驟3）隨着區域中的超像素以及被增加的超像素之間的最大平均成對log似然。

   在一個實驗中，對比我們的分割與地面真值，使用簡單分組方法，40%的區域被均勻標記（考慮小部分人工標記錯誤，我們允許上升到5%的區域的像素與大多數普通標籤不同），89%的超像素對於主要類別至少都在一個均勻區域中，61%的垂直超像素都至少在子類別的一個均勻區域中。一個從未在均勻區域中的超像素可以仍然被正確的標記，如果標籤描述區域最好，那麼超像素的標籤就是這個標籤。

3.2 幾何標籤

    我們計算每個區域（Table1）的特徵並且評估所有超像素具有相同標籤（均勻似然）的可能性並且給出每個幾何標籤（標籤似然）的置信度。在形成多分割假設之後，每個超像素會是幾個區域的成員，每個假設一個。我們決定超像素標籤置信度通過求平均包含它的區域的標籤似然，通過均勻似然加權：

               

其中C是標籤置信度，yi是超像素標籤，v是可能得標籤值，x是圖像數據，nh是假設數量，hji定義了包含第j個假設的第i個超像素的區域，yj是區域標籤（如果去假設有一個單獨的最好的假設，方程式2具有邊緣化一組可能假設的解釋）。對於一個特定區域的標籤似然總和以及包含所有特定像素的所有區域的均勻似然總和都被標準化爲總和爲1。主要的幾何標籤以及垂直子類標籤被獨立的評估（子類別標籤被賦值給整個圖像但是隻被應用在垂直區域）。

   訓練。我們首先使用學習的成對似然來爲每個訓練圖像創建幾個分割假設。然後標記每個區域使用主要幾何類別之一或混合當區域包含多類別並且標記垂直區域作爲子類別的一個或者混合。每個標籤似然函數然後被學習在one-vs.-rest樣式，以及均勻似然函數通過分類混合vs均勻標記來學習。標籤和均勻似然函數兩個都被評估使用邏輯迴歸版本的Adaboost[3]帶着基於8節點決策樹[8]的弱學習器。決策樹形成好的弱學習器，因爲他們提供自動的特徵選擇並且特徵的聯合統計的限制模型。因爲大區域的正確分類比小區域重要很多，加權分佈被初始化爲圖像面積跨度的百分比的比例。

4.結果

   我們測試我們的系統在250張圖像上使用5倍交叉驗證。我們注意到交叉驗證不被用於選擇任何分類參數。準確度通過具有正確標記，平均值在測試圖之上的圖像像素的百分比來測量。去我們的網站上獲得250張輸入圖像，地面實況標記以及結果。

4.1 幾何分類

   圖4展示了在圖像採樣上的我們系統的標記結果。表2和3給出了主要幾何類別(地面，垂直，天空)的混淆矩陣以及垂直子類（坐面向平面，正面平面，右面向平面）。分類的總體準確度對於主幾何類別和垂直子類分別是86%和52%（表4是與其他簡單方法的基準線對比）。處理時間對於640x480圖像大概30秒使用2.13GHzAthalon處理器以及非優化的MATLAB代碼。

   就像結果展示的那樣，垂直結構子類比主幾何類別決定要困難的多。這主要是歸因於歧義在賦值地面真值標籤，類別數量大以及有用線索（例如材質，位置對於決定子類沒有什麼用處）的減少。我們的標籤結果（圖4和5），然而，展示了系統的許多錯分類也是合理的。

4.2 結構評估的重要性

   之前，我們提出了一個多重假設方法來在決定幾何類別標籤之前魯棒的評估潛在場景的結構。爲了證明這個中間結構評估是值得的，我們測試了系統的準確性當分類基於只有類別優先（CPrior），只有像素位置(Loc)，只有像素級別的顏色和紋理(Pixel)，所在超像素級別的像素(SPixel)，一個單獨(nr=9)分割假設(OneH)，以及使用我們的整個多重假設框架(MultiH)。我們的結果(Table4)展示了算法的複雜度的每個增加都在分類準確度上提供了明顯的增加。

                

   我們還測試了當中間場景結構由根據真實地面標籤分割超像素來決定時的分類器的準確度。這個實驗給了我們一種直覺，我們的系統會表現的怎樣如果我們的分組以及假設評估算法是完美的。在理想分割下，對於主要幾何類別的準確度是95%，垂直子類（從質量上說，子類標籤包含很少的錯誤，歧義比如當“左”變成了“中”以及當“平面”變成了“非平面”膨脹了錯誤評估）的準確度爲66%。因此，大的收穫可能通過改善我們的簡單分組算法來獲得，但是大部分的工作還是在定義更好地特徵以及更好地分類器上。

4.3 線索的重要性

   我們的系統使用一個各種各樣的統計涉及到位置，形狀，顏色，紋理以及3D幾何信息。我們分析每種信息的有用性通過從特徵集中移除給定類型的所有特徵，並且重新訓練以及測試系統。表5展示了結果，展示了這樣的信息關於每種特徵是重要的，但是非關鍵的。這些結果顯示了位置在系統的性能中有重要性，但是我們的實驗在結果評估中顯示位置需要用其他線索補充。顏色，紋理以及位置特徵影響分割以及標記。幾何特徵隻影響標記。圖6從質量上展示了使用所有可用的線索的重要性。

             

5。應用

   我們已經展示了我們能夠從圖像中提取幾何信息。我們現在在兩個領域中展示這中信息的有用性：目標檢測以及自動單視圖重建。

5.1 目標檢測

   我們本實驗的目標是展示我們的上下文信息改進現存目標檢測系統的性能，即使被樸素應用。我們訓練以及測試多方向車輛檢測使用PASCAL[22]訓練以及驗證移除灰度圖的集合。我們使用從Murphyetal.[20]的局部檢測器，它採用GentleBoost來形成基於碎片模板的分類器。我們訓練兩個版本的系統，一個使用500局部特徵（templates）以及一個從幾何上下文中增加40新的上下文特徵。上下文特徵是目標窗口區域（中間）的平均置信度，在目標上以及下的窗口的置信度，以及對每一個3中主要幾何類別和5中子類的中心之上和中心之下的差值。我們的結果（圖3）展示了幾何上下文信息相當的改進了檢測性能。當訓練時，首先5個特徵中的4個被boosting算法選擇是上下文的。最有力（首先選擇的）的特徵表示車輛比它們直接下面的區域更不像到地面（lessground-like）。圖7顯示了兩個特定的改進的例子。

  我們在實驗中提出的幾何上下文非常簡單。未來工作中，我們打算使用我們的幾何信息來創建3D上下文框架，考慮圖像中關於目標的有力的推論。我們相信在CV算法提供這樣的能力會導致大幅度的更好地系統。

5.2 自動單視圖重建

  我們的主要幾何類別標籤以及水平評估是足夠的來重建許多室外場景的粗糙尺度的3D模型。通過擬合圖像中的地面垂直的交叉點，我們能夠從地面“彈出”垂直平面。圖8展示了MertonCollege圖像[17]以及我們系統自動產生的從上下文映射的3D模型的兩個新穎視圖。如何創建這些模型的細節以及增加的結果在我們同伴圖形論文[12]中提供了。目標分割以及相機的內在以及外在參數的評估會是對許多場景的自動創建測量的3D模型是可行的。除了明顯的圖像應用，我們相信這種模型會提供極大的價值信息給其他CV應用。

6 結論

   我們以及向前採取了重要的步驟來使用3D世界中的上下文分析圖像中的目標。我們的結果展示了這種上下文可以被評估以及有用的應用，甚至在缺乏人工強加的結構的室外圖像中。我們的上下文模型可以通過包含增加的幾何線索(e.g.symmetry[13])，評估相機參數或者改進分類技術來改進。另外，大多數研究還在尋找最好的方式來應用這個上下文來改進其他CV應用。

References

[1] B. Bose and W. E. L. Grimson, “Improving objectclassification in far-field video,” in Proc. CVPR, 2004.

[2] P. Carbonetto, N. de Freitas, and K. Barnard, “Astatistical model for general contextual object recognition,” inProc.ECCV, 2004.

[3] M. Collins, R. Schapire, and Y. Singer, “Logisticregression, adaboost and bregman distances,” Machine Learning,vol.48, no. 1-3, 2002.

[4] A. Criminisi, I. Reid, and A. Zisserman, “Single viewmetrology,” IJCV, vol. 40, no. 2, 2000.

[5] R. Duda, P. Hart, and D. Stork, PatternClassification.Wiley-Interscience Publication, 2000.

[6] M. R. Everingham, B. T. Thomas, and T. Troscianko,“Headmounted mobility aid for low vision using scene classificationtechniques,” Int. J. of Virt. Reality, vol. 3, no. 4, 1999.

[7] P. Felzenszwalb and D. Huttenlocher, “Efficientgraph-based image segmentation,” IJCV, vol. 59, no. 2, 2004.

[8] J. Friedman, T. Hastie, and R. Tibshirani, “Additivelogistic regression: a statistical view of boosting,” Annals ofStatistics, vol. 28, no. 2, 2000.

[9] F. Han and S.-C. Zhu, “Bayesian reconstruction of 3dshapes and scenes from a single image,” in Int. Work. onHigherLevel Know. in 3D Modeling and Motion Anal., 2003.

[10] R. I. Hartley and A. Zisserman, Multiple View Geometry inComputer Vision, 2nd ed. Cambridge University Press,2004.

[11] X. He, R. S. Zemel, and M.´A. Carreira-Perpi˜ n´ an,“Multiscale conditional random fields for image labeling.” inProc.CVPR, 2004.

[12] D. Hoiem, A. A. Efros, and M. Hebert, “Automatic photopop-up,” in ACM SIGGRAPH 2005.

[13] W. Hong, A. Y. Yang, K. Huang, and Y. Ma, “On symmetryand multiple-view geometry: Structure, pose, and calibration from asingle image,” IJCV, vol. 60, no. 3, 2004.

[14] S. Konishi and A. Yuille, “Statistical cues for domainspecific image segmentation with performance analysis.” inProc.CVPR, 2000.

[15] J. Kosecka and W. Zhang, “Video compass,” in Proc.ECCV.Springer-Verlag, 2002.

[16] S. Kumar and M. Hebert, “Discriminative random fields: Adiscriminative framework for contextual interaction inclassification,” in Proc. ICCV. IEEE Comp. Society, 2003.

[17] D. Liebowitz, A. Criminisi, and A. Zisserman, “Creatingarchitectural models from images,” in Proc. EuroGraphics,vol. 18,1999.

[18] D. Marr, Vision. San Francisco: Freeman, 1982.

[19] K. Mikolajczyk, C. Schmid, and A. Zisserman, “Humandetection based on a probabilistic assembly of robust partdetectors,” in Proc. ECCV. Springer-Verlag, May 2004.

[20] K. Murphy, A. Torralba, and W. T. Freeman, “Graphicalmodel for recognizing scenes and objects,” in Proc.NIPS,2003.

[21] Y. Ohta, Knowledge-Based Interpretation Of OutdoorNatural Color Scenes. Pitman, 1985.

[22] “The pascal object recognition database collection,”Website, PASCAL Challenges Workshop, 2005,http://www.pascal-network.org/challenges/VOC/.

[23] M. Pollefeys, R. Koch, and L. J. V. Gool,“Self-calibration and metric reconstruction in spite of varying andunknown internal camera parameters,” in Proc. ICCV, 1998.

[24] X. Ren and J. Malik, “Learning a classification model forsegmentation,” in Proc. ICCV, 2003.

[25] U. Rutishauser, D. Walther, C. Koch, and P. Perona, “Isbottom-up attention useful for object recognition,” in Proc.CVPR,2004.

[26] H. Schneiderman, “Learning a restricted bayesian networkfor object detection,” in Proc. CVPR, 2004.

[27] J. Shi and J. Malik, “Normalized cuts and imagesegmentation,” IEEE Trans. PAMI, vol. 22, no. 8, August 2000.

[28] A. Singhal, J. Luo, and W. Zhu, “Probabilistic spatialcontext models for scene content understanding.” in Proc.CVPR,2003.

[29] A. Torralba, “Contextual priming for objectdetection,”IJCV, vol. 53, no. 2, 2003.

[30] A. Torralba, K. P. Murphy, and W. T. Freeman, “Contextualmodels for object detection using boosted random fields,” in Proc.NIPS, 2004.

[31] A. Torralba and P. Sinha, “Detecting faces inimpoverished images,” Tech. Rep., 2001.

[32] P. Viola and M. J. Jones, “Robust real-time facedetection,”

IJCV, vol. 57, no. 2, 2004.

[33] P. Viola, M. J. Jones, and D. Snow, “Detectingpedestrians using patterns of motion and appearance,” in Proc.ICCV,2003.6