可視化是計算機科學的一個分支，致力於通過視覺表示來分析數據。科學可視化利用從工程、氣候科學和生物醫學等領域收集的數據的空間特性。科學可視化通過集成現代硬件來促進可視化分析，對計算機圖形具有很強的依賴性，但最終是將數據轉換爲可以呈現的形式。此外，最終目標是能夠洞察複雜的科學數據。
1、科學可視化需要虛幻引擎
下一代成像系統和模擬以前所未有的速度產生多維數據。這些數據集包含複雜的結構，很難僅使用顯式幾何或隱式體積來表示。因此，數據操作和預處理需要創新的工具和數據結構。然而，當前的可視化平臺，如 Imaris、Amira、ParaView、ImageJ 和 MeVisLab，缺乏對渲染和處理管道的低級訪問，並且提供有限的虛擬現實 (VR) 支持。此外，許多這些工具在 20 年前就投資於 OpenGL 1.0 版，並且一直不願採用現代圖形，導致商用可視化工具和學術可視化工具之間存在巨大差距。這種對遺留實施的承諾創造了一個機會，
隨着數據採集方法（例如高通量顯微鏡）的出現，科學界需要一個可定製的可視化平臺，該平臺能夠（1）對最先進的渲染技術進行高級訪問，以及（2）直接訪問用於開發特定於應用程序的工具的低級功能。
我們的目標是開發 Chimera，這是一個開源工具包，通過將虛幻引擎的最先進的渲染和虛擬現實可視化與現代科學可視化算法相結合，支持下一代科學數據。虛幻引擎爲這個平臺提供了一個理想的基礎，原因有兩個：
- 由遊戲開發人員推動的不斷更新的渲染管道，以支持用於交互式圖形的最先進工具，包括 VR 和廣泛的硬件支持。
- 渲染管道關鍵點的低級訪問，支持集成專家開發的用於數據處理和操作的特定領域工具。
2、虛幻引擎的好處
虛幻引擎有潛力成爲科學可視化的標準平臺。Chimera 會將虛幻引擎擴展到以下領域：
- 生物醫學研究：疾病模型的完整器官表型比較
- 臨牀研究：基於從完整 3D 活檢圖像獲得的病理學的精準醫學，重點是癌症研究
- 教育：融入小學、大學和高中的疾病和組織功能課程
- 計算科學：基於物理的現象模擬，包括天體物理學、核反應堆、氣候變化、分子動力學、燃燒等。
Unreal Chimera 項目將培育一個社區，將 Unreal Engine 打造爲基於 GPU 的現代硬件上現代數據科學可視化的下一代工具。科學可視化社區由數千名研究人員組成，首屈一指的會議（IEEE 可視化）定期吸引 1000 多名與會者。該社區主要通過開源軟件向利益相關者提供技術。可視化科學家之間的跨機構和跨學科合作爲領域專家提供可行的平臺是很常見的。在某些情況下，例如 VTK、ParaView 和 VisIt，最終軟件的下載量已超過 100 萬次，這說明了利益相關者社區的規模。對 Epic 的影響將是雙重的：(1) 爲領域科學家提供頂級可視化平臺，(2) 培養新開發人員以多種新穎的方式利用虛幻引擎來影響可視化研究。
3、Unreal Chimera概述
-
原位科學可視化 現代基於物理和計算的模擬依賴於超級計算來生成海量數據集，這些數據集開始超過一萬億個網格點 (10K x 10K x 10K)，每個網格點具有多變量分量（即密度、溫度、壓力、速度等），以及數千個時間步長 [1]。即使是最先進的存儲系統也無法提供足夠的空間來有意義地表示模擬現象。因此，在模擬的同時，越來越多地在原位進行可視化。隨着模擬變得越來越複雜，代表單個時間點的靜態圖像正在被大量減少的“提取”所取代，領域科學家可以在模擬期間和之後進行探索。以現場爲例處理可以生成可以更有效地存儲和探索的等值面。由於原位處理是一種相對較新的範例，因此很少有工具專門用於探索這些提取物。我們相信這對 Chimera 來說是一個重要的機會，可以對這些提取物進行大量基於圖形的探索。
-
大規模向量/張量場 矢量場在用於研究動力系統的科學、工程和醫學應用中至關重要。Chimera 將集成對矢量場可視化至關重要的算法，包括用於提取粒子軌跡和描繪流動模式的各種數值集成方法，以及用於促進密集和複雜的基於線的數據的詳細級別表示的聚類算法。陳博士在矢量場可視化方面的工作 [2]、[3] 將爲 Chimera 的算法提供基礎，該算法將通過藍圖生成兼容的數據結構，與虛幻引擎集成。
![在這裏插入圖片描述]()
圖 1 - 血流數據 (a) 和抽象可視化 (b) 的路徑的聚類結果，其中一組代表性路徑選自 (a) 中獲得的各個集羣。 在機械工程和腦成像中常見的大型高階張量場在描述物體和空間的高階物理特性方面變得越來越普遍。應力張量用於表徵物體內對外力的各向異性反應；擴散張量已被用於描述腦成像的各向異性擴散行爲。通過利用陳博士在該領域的專業知識 [4]，Chimera 將包括可視化定義在表面和有界體積內的張量場的最新進展。
- 大規模亞細胞組織圖譜 以亞細胞分辨率探索器官規模的組織模型對於理解、建模和治療疾病至關重要。這是具有挑戰性的，因爲 1 釐米3的組織——大約是單個齧齒動物器官的大小——由 TB 的原始體積圖像數據表示。這些圖像對難以搜索和可視化的複雜三維 (3D) 結構進行編碼。Chimera 將能夠構建和探索定量的多 TB 和多光譜 3D 組織圖，使生物醫學專家能夠探索整個器官的細胞和分子結構，從而能夠在生物學、生物醫學和教育。Chimera 將利用Mayerich 博士的在生物醫學可視化和大規模成像方面的專業知識 [5]-[7] 以生成滿足新興大容量顯微鏡系統需求的算法。
圖 2 -使用最近的高通量儀器進行小鼠大腦表型分析。(a) 使用刀刃掃描顯微鏡 (KESM) 成像的整個小鼠微血管系統。(b) 使用陣列斷層掃描 (AT) 成像的神經元和突觸。(c) 使用擴張顯微鏡 (ExM) 製備並用光片顯微鏡 (LSM) 成像的神經元棘和突觸。
4、Unreal Chimera發展計劃
Chimera的開發通過以下三個子項目實現：
子項目 1 - 在虛幻引擎中開發科學可視化的基礎平臺。 我們將把現有的可視化和大規模數據處理中常用的工具集成爲虛幻引擎藍圖。這包括現有的庫，例如 Visualization Toolkit (VTK) [8] 和 Insight Toolkit (ITK) [9]，以及 SIproc [10]，以促進數據處理並生成與 Unreal 兼容的網格和紋理。在可能的情況下，將更新算法以集成異構並行加速，因爲虛幻引擎用戶將可以訪問 GPU 硬件。該平臺將在 MIT 軟件許可下作爲開源庫分發，並存儲在帶有用戶教程的公共 Git 服務器上。
子項目 2 - 開發用於探索原位提取物的應用程序。 通過這個子項目，我們將爲 Unreal: Chimera 提供探索原位提取的能力。在初始版本中，我們將專注於三個用例——渲染表面、可探索圖像和流重建。
子項目 3 - 爲亞細胞組織圖譜 (STA) 開發特定任務的工具。 我們將開發三個組件並將其集成到虛幻引擎中，以實現所提議的亞細胞組織圖譜：(1) 動態連接組件和網格數據結構，用於存儲稀疏和複雜的幾何結構（例如神經和微血管網絡），(2) OpenVDB 體積結構用於存儲多通道稀疏隱式數據以使用體積和光線追蹤方法進行渲染，以及 (3) 用於大型組織模型的 VR 顯示和導航的控制方案。
項目後的外展和發展。我們將在 IEEE 可視化和虛擬現實 (VR) 會議上組織研討會和教程，以確保在研究社區中更廣泛地瞭解我們開發的虛幻藍圖。我們還將開發的工具包與其他項目和未來的資金申請相結合，以確保其持續和可持續的改進和增強。
4.1 子項目 1 - 在虛幻引擎中開發通用科學可視化框架
我們在休斯敦大學和俄勒岡大學的研究實驗室重點關注生物醫學成像和原位可視化研究。但是，現有軟件限制了我們將新數據結構和算法與尖端渲染集成的能力。Imaris和Amira等研究工具價格昂貴，遠遠落後於最先進的技術，而ImageJ、MeVisLab和ParaView等開源工具缺乏現代和下一代數據所需的組件，例如對 TB 級數據大小的支持。爲了應對這些挑戰，我們將首先通過整合來自 Visualization Toolkit (VTK) [8]、Insight Toolkit (ITK) [9] 和 SIproc [10] 的現有可視化軟件，爲 Unreal Chimera 創建一個基礎平臺，以促進數據處理和生成與虛幻兼容的組件，例如網格和紋理。這些開源平臺的 C/C++ 代碼將通過包裝類集成到虛幻引擎藍圖中，儘可能保持與 VTK、ITK 和 SIproc 輸入的兼容性。這將爲 Unreal Chimera 用戶提供強大的工具，這些工具是通過 Unreal Engine 的可視化腳本平臺通過數十年的可視化研究建立起來的。
4.2 子項目 2 - 開發用於探索原位提取物的應用程序
對於這個子項目，我們將開發一個基於 Unreal 的應用程序，爲執行大規模超級計算模擬的領域科學家提供現代圖形功能。該子項目將添加原位可視化所需的三個基本功能，同時保持未來開發的靈活性和隨時間推移的附加功能。這些功能包括：
- 渲染表面，與傳統的虛幻用例非常一致。此功能的主要目的是提供所需的功能，以及展示虛幻引擎相對於傳統可視化軟件的優勢的平臺。
- 可探索的圖像。具有此功能的想法是原位提取物通常是圖像。儘管它們不包含顏色信息，但它們包含諸如場值、深度和表面法線之類的信息。我們將使用 Unreal 將這些圖像作爲輸入，並創建新的（彩色）圖像。這個用例與新的“電影”方法高度一致[11]。也就是說，我們注意到 Cinema 被用於提取可探索的圖像，但可視化程序有機會使用這些圖像，因此領域科學家可以探索他們的模擬結果。這將是我們的重點。
- 最後，我們將看看流重構。在這第三個用例中，從模擬矢量場派生的路徑線將保存到磁盤，然後我們將使用 Chimera 顯示從這些路徑線派生的新流動可視化技術。
圖 3 - 對於 SP2，我們的計劃是使用 Chimera 可視化來自超級計算機的計算模擬的提取物。這些提取物的生成已經在尖端的超級計算機上進行。通過提議的工作，我們將提供基於 Unreal 的這些提取物的查看器。由於虛幻的卓越圖形，我們相信領域科學家的體驗將遠遠超出他們目前的能力。
4.3 子項目 3 - 爲亞細胞組織圖譜 (STA) 開發特定於任務的工具
細胞水平的生物組織也在兩個關鍵方面混淆：
- 三維結構的複雜性和可變性。微觀組織密集地擠滿了極其複雜的異質結構，包括指導營養運輸和定義大腦連接的微血管和神經元網絡。
- 分子和蛋白質的複雜性。細胞水平的相互作用由多種蛋白質介導，每種蛋白質都具有不同的功能，可促進營養轉運、免疫反應和細胞（如神經元）之間的交流。
儀器的進步使得能夠以 cm 3尺度以亞細胞分辨率收集越來越大的組織快照，從而輕鬆生成超過數 TB 的 3D 和 4D 圖像（圖 1）。它們的結構和分子複雜性對可視化和分析提出了重大挑戰。例如，阿爾茨海默氏症等疾病會在細胞水平和整個大腦中引起結構和分子變化。一旦獲得適當的多光譜圖像，算法必須應對巨大的複雜性，以生成可用的形態和分子圖，以實現探索、量化和建模。
5、建議工作
下面概述了表示、構建和使用亞細胞組織圖譜(STA) 的建議方法。首先將描述必要的數據結構及其集成，其中將包括在整個管道中保持的不確定性的貝葉斯表達式。接下來將概述用於構建圖集的建議方法，然後描述將被調整或開發的所需算法。最後，將提供組織圖譜導航、可視化和分析的示例。
表示：擬議的地圖集表示將側重於三個關鍵要求：
- 緊湊- 需要綜合組織圖的研究將跨越多個尺度（從微觀到宏觀），需要以高空間分辨率動態訪問大組織區域。對於每 cm 3 10s GB 的樣本大小，所提出的表示可以利用分子和結構稀疏性的高效優勢。
- 快速分析- 由於圖集卷的大小和複雜性，大多數分析都需要計算驅動。地圖集必須支持現有分割和分析工具的有效實現，例如 FARSIGHT [12]、[13] 中提出的工具，以及本項目中提出的專用算法。
- 基於生物的查詢- 組織結構高度異構，許多樣本無法與預定義的座標空間對齊，例如立體定位座標 [14]、[15]。因此，組織圖必須允許與生物結構相關的查詢，例如細胞、微血管和神經元過程。
圖 5 - 生物顯微鏡中的幾何（白線）和分子（顏色）成分示例。幾何表面充當編碼生物學相關特徵（例如形狀）的計算結構，並充當蛋白質分佈的參考。(a) 單個細胞由膜和/或核幾何結構定義，每個細胞都包含定義其狀態和功能的分子分佈。(b) 神經元引入了一個更復雜的定義，整合了由線條和複雜樹突表面表示的纖維狀成分。(c) 微血管與血管表面附近的相關分子成分形成複雜的互連網狀結構。基於成像模式和分辨率，幾何組件可能具有不同的複雜性——更高分辨率的圖像可能具有更多的表面。 亞細胞組織圖譜 (STA) 將整合兩種不同的數據類型：
- 幾何數據- 具有表面特徵的結構將表示爲嵌入在三維圖集中的參數流形。細胞和細胞核可表示爲具有定義邊界的封閉表面。纖維結構（微血管和神經元過程）形成相互連接的網狀結構，被描述爲具有基於圖形的連接性的二維管狀表面。
- 映射的分子數據- 分子分佈對描述表面的作用、類別或活動的複雜特徵進行編碼。細胞內分子的分佈由隱式函數定義並分配給細胞表面（圖 4）。位於神經元或微血管表面附近的分子可以（取決於分子）分配給代表樹突或毛細管的幾何形狀。
封閉表面的幾何數據，例如細胞膜和細胞核表面，將使用在球座標 ( θ, φ ) 中參數化的自適應採樣 genus-0 網格表示。與表面相關的特徵（即不確定性）將使用類似於網格顏色[16] 的稀疏編碼框架進行編碼，這允許 GPU 加速和交互式渲染的插值 [17]。任何閉合曲面s i (θ, φ)都可以被認爲是一個二維函數，它返回一個向量，該向量包括一個具有任何附加插值屬性的 3D 位置。
圖 6 - 亞微米尺度的組織圖譜組織。(a) 細胞核 (藍色) 由包含染色質 (DAPI) 分佈的幾何表面表示。細胞膜也是一種封閉的幾何結構，可能含有多種分子通道。(b) 膜幾何與每個樹枝狀成分相關聯，表示爲圖 Gi 並由定義爲參數路徑的邊連接。(c) 每條邊也可以鏈接到相應的網格以及相關的分子分佈，這些分佈用 OpenVDB 網格陣列稀疏表示。
網絡幾何，例如神經元和微血管，將使用基於網格、曲線和圖形的策略的集成來表示。網絡連通性表示爲圖 G=(V,E)，其中每個頂點 V 是光纖連接（即分叉），每個邊 ei(t)E 是描述相關光纖中心線的參數曲線。因此，圖 G 具有 3D 上下文：每個頂點都有一個 3D 位置，每條邊都是 3D 參數路徑。任何一維值，例如光纖半徑，都沿相關路徑編碼，並作爲 ei(t) 的一個分量返回。網絡表面表示爲網格，每個組件都鏈接到 G 中最近的邊。
分子分佈將通過改編 OpenVDB [18] 進行編碼，OpenVDB [18] 是電影業設計的獲得奧斯卡獎的數據結構，用於在無限網格上執行基於物理的具有稀疏隱函數的模擬。OpenVDB 的核心是一個 B+ 樹，具有適用於分子編碼、分析和分析引導的可視化的附加屬性。這些包括 (1) 恆定時間隨機和模板訪問，(2) 網格的快速擴展、收縮和合並，(3) 低開銷的緊湊表示，以及 (4) 緩存一致性和 (5) 與流並行的兼容性（即GPU）計算平臺。Atlas 組件將分層鏈接以啓用基於生物學的查詢（圖 5）。