可视化是计算机科学的一个分支，致力于通过视觉表示来分析数据。科学可视化利用从工程、气候科学和生物医学等领域收集的数据的空间特性。科学可视化通过集成现代硬件来促进可视化分析，对计算机图形具有很强的依赖性，但最终是将数据转换为可以呈现的形式。此外，最终目标是能够洞察复杂的科学数据。
1、科学可视化需要虚幻引擎
下一代成像系统和模拟以前所未有的速度产生多维数据。这些数据集包含复杂的结构，很难仅使用显式几何或隐式体积来表示。因此，数据操作和预处理需要创新的工具和数据结构。然而，当前的可视化平台，如 Imaris、Amira、ParaView、ImageJ 和 MeVisLab，缺乏对渲染和处理管道的低级访问，并且提供有限的虚拟现实 (VR) 支持。此外，许多这些工具在 20 年前就投资于 OpenGL 1.0 版，并且一直不愿采用现代图形，导致商用可视化工具和学术可视化工具之间存在巨大差距。这种对遗留实施的承诺创造了一个机会，
随着数据采集方法（例如高通量显微镜）的出现，科学界需要一个可定制的可视化平台，该平台能够（1）对最先进的渲染技术进行高级访问，以及（2）直接访问用于开发特定于应用程序的工具的低级功能。
我们的目标是开发 Chimera，这是一个开源工具包，通过将虚幻引擎的最先进的渲染和虚拟现实可视化与现代科学可视化算法相结合，支持下一代科学数据。虚幻引擎为这个平台提供了一个理想的基础，原因有两个：
- 由游戏开发人员推动的不断更新的渲染管道，以支持用于交互式图形的最先进工具，包括 VR 和广泛的硬件支持。
- 渲染管道关键点的低级访问，支持集成专家开发的用于数据处理和操作的特定领域工具。
2、虚幻引擎的好处
虚幻引擎有潜力成为科学可视化的标准平台。Chimera 会将虚幻引擎扩展到以下领域：
- 生物医学研究：疾病模型的完整器官表型比较
- 临床研究：基于从完整 3D 活检图像获得的病理学的精准医学，重点是癌症研究
- 教育：融入小学、大学和高中的疾病和组织功能课程
- 计算科学：基于物理的现象模拟，包括天体物理学、核反应堆、气候变化、分子动力学、燃烧等。
Unreal Chimera 项目将培育一个社区，将 Unreal Engine 打造为基于 GPU 的现代硬件上现代数据科学可视化的下一代工具。科学可视化社区由数千名研究人员组成，首屈一指的会议（IEEE 可视化）定期吸引 1000 多名与会者。该社区主要通过开源软件向利益相关者提供技术。可视化科学家之间的跨机构和跨学科合作为领域专家提供可行的平台是很常见的。在某些情况下，例如 VTK、ParaView 和 VisIt，最终软件的下载量已超过 100 万次，这说明了利益相关者社区的规模。对 Epic 的影响将是双重的：(1) 为领域科学家提供顶级可视化平台，(2) 培养新开发人员以多种新颖的方式利用虚幻引擎来影响可视化研究。
3、Unreal Chimera概述
-
原位科学可视化 现代基于物理和计算的模拟依赖于超级计算来生成海量数据集，这些数据集开始超过一万亿个网格点 (10K x 10K x 10K)，每个网格点具有多变量分量（即密度、温度、压力、速度等），以及数千个时间步长 [1]。即使是最先进的存储系统也无法提供足够的空间来有意义地表示模拟现象。因此，在模拟的同时，越来越多地在原位进行可视化。随着模拟变得越来越复杂，代表单个时间点的静态图像正在被大量减少的“提取”所取代，领域科学家可以在模拟期间和之后进行探索。以现场为例处理可以生成可以更有效地存储和探索的等值面。由于原位处理是一种相对较新的范例，因此很少有工具专门用于探索这些提取物。我们相信这对 Chimera 来说是一个重要的机会，可以对这些提取物进行大量基于图形的探索。
-
大规模向量/张量场 矢量场在用于研究动力系统的科学、工程和医学应用中至关重要。Chimera 将集成对矢量场可视化至关重要的算法，包括用于提取粒子轨迹和描绘流动模式的各种数值集成方法，以及用于促进密集和复杂的基于线的数据的详细级别表示的聚类算法。陈博士在矢量场可视化方面的工作 [2]、[3] 将为 Chimera 的算法提供基础，该算法将通过蓝图生成兼容的数据结构，与虚幻引擎集成。
![在这里插入图片描述]()
图 1 - 血流数据 (a) 和抽象可视化 (b) 的路径的聚类结果，其中一组代表性路径选自 (a) 中获得的各个集群。 在机械工程和脑成像中常见的大型高阶张量场在描述物体和空间的高阶物理特性方面变得越来越普遍。应力张量用于表征物体内对外力的各向异性反应；扩散张量已被用于描述脑成像的各向异性扩散行为。通过利用陈博士在该领域的专业知识 [4]，Chimera 将包括可视化定义在表面和有界体积内的张量场的最新进展。
- 大规模亚细胞组织图谱 以亚细胞分辨率探索器官规模的组织模型对于理解、建模和治疗疾病至关重要。这是具有挑战性的，因为 1 厘米3的组织——大约是单个啮齿动物器官的大小——由 TB 的原始体积图像数据表示。这些图像对难以搜索和可视化的复杂三维 (3D) 结构进行编码。Chimera 将能够构建和探索定量的多 TB 和多光谱 3D 组织图，使生物医学专家能够探索整个器官的细胞和分子结构，从而能够在生物学、生物医学和教育。Chimera 将利用Mayerich 博士的在生物医学可视化和大规模成像方面的专业知识 [5]-[7] 以生成满足新兴大容量显微镜系统需求的算法。
图 2 -使用最近的高通量仪器进行小鼠大脑表型分析。(a) 使用刀刃扫描显微镜 (KESM) 成像的整个小鼠微血管系统。(b) 使用阵列断层扫描 (AT) 成像的神经元和突触。(c) 使用扩张显微镜 (ExM) 制备并用光片显微镜 (LSM) 成像的神经元棘和突触。
4、Unreal Chimera发展计划
Chimera的开发通过以下三个子项目实现：
子项目 1 - 在虚幻引擎中开发科学可视化的基础平台。 我们将把现有的可视化和大规模数据处理中常用的工具集成为虚幻引擎蓝图。这包括现有的库，例如 Visualization Toolkit (VTK) [8] 和 Insight Toolkit (ITK) [9]，以及 SIproc [10]，以促进数据处理并生成与 Unreal 兼容的网格和纹理。在可能的情况下，将更新算法以集成异构并行加速，因为虚幻引擎用户将可以访问 GPU 硬件。该平台将在 MIT 软件许可下作为开源库分发，并存储在带有用户教程的公共 Git 服务器上。
子项目 2 - 开发用于探索原位提取物的应用程序。 通过这个子项目，我们将为 Unreal: Chimera 提供探索原位提取的能力。在初始版本中，我们将专注于三个用例——渲染表面、可探索图像和流重建。
子项目 3 - 为亚细胞组织图谱 (STA) 开发特定任务的工具。 我们将开发三个组件并将其集成到虚幻引擎中，以实现所提议的亚细胞组织图谱：(1) 动态连接组件和网格数据结构，用于存储稀疏和复杂的几何结构（例如神经和微血管网络），(2) OpenVDB 体积结构用于存储多通道稀疏隐式数据以使用体积和光线追踪方法进行渲染，以及 (3) 用于大型组织模型的 VR 显示和导航的控制方案。
项目后的外展和发展。我们将在 IEEE 可视化和虚拟现实 (VR) 会议上组织研讨会和教程，以确保在研究社区中更广泛地了解我们开发的虚幻蓝图。我们还将开发的工具包与其他项目和未来的资金申请相结合，以确保其持续和可持续的改进和增强。
4.1 子项目 1 - 在虚幻引擎中开发通用科学可视化框架
我们在休斯敦大学和俄勒冈大学的研究实验室重点关注生物医学成像和原位可视化研究。但是，现有软件限制了我们将新数据结构和算法与尖端渲染集成的能力。Imaris和Amira等研究工具价格昂贵，远远落后于最先进的技术，而ImageJ、MeVisLab和ParaView等开源工具缺乏现代和下一代数据所需的组件，例如对 TB 级数据大小的支持。为了应对这些挑战，我们将首先通过整合来自 Visualization Toolkit (VTK) [8]、Insight Toolkit (ITK) [9] 和 SIproc [10] 的现有可视化软件，为 Unreal Chimera 创建一个基础平台，以促进数据处理和生成与虚幻兼容的组件，例如网格和纹理。这些开源平台的 C/C++ 代码将通过包装类集成到虚幻引擎蓝图中，尽可能保持与 VTK、ITK 和 SIproc 输入的兼容性。这将为 Unreal Chimera 用户提供强大的工具，这些工具是通过 Unreal Engine 的可视化脚本平台通过数十年的可视化研究建立起来的。
4.2 子项目 2 - 开发用于探索原位提取物的应用程序
对于这个子项目，我们将开发一个基于 Unreal 的应用程序，为执行大规模超级计算模拟的领域科学家提供现代图形功能。该子项目将添加原位可视化所需的三个基本功能，同时保持未来开发的灵活性和随时间推移的附加功能。这些功能包括：
- 渲染表面，与传统的虚幻用例非常一致。此功能的主要目的是提供所需的功能，以及展示虚幻引擎相对于传统可视化软件的优势的平台。
- 可探索的图像。具有此功能的想法是原位提取物通常是图像。尽管它们不包含颜色信息，但它们包含诸如场值、深度和表面法线之类的信息。我们将使用 Unreal 将这些图像作为输入，并创建新的（彩色）图像。这个用例与新的“电影”方法高度一致[11]。也就是说，我们注意到 Cinema 被用于提取可探索的图像，但可视化程序有机会使用这些图像，因此领域科学家可以探索他们的模拟结果。这将是我们的重点。
- 最后，我们将看看流重构。在这第三个用例中，从模拟矢量场派生的路径线将保存到磁盘，然后我们将使用 Chimera 显示从这些路径线派生的新流动可视化技术。
图 3 - 对于 SP2，我们的计划是使用 Chimera 可视化来自超级计算机的计算模拟的提取物。这些提取物的生成已经在尖端的超级计算机上进行。通过提议的工作，我们将提供基于 Unreal 的这些提取物的查看器。由于虚幻的卓越图形，我们相信领域科学家的体验将远远超出他们目前的能力。
4.3 子项目 3 - 为亚细胞组织图谱 (STA) 开发特定于任务的工具
细胞水平的生物组织也在两个关键方面混淆：
- 三维结构的复杂性和可变性。微观组织密集地挤满了极其复杂的异质结构，包括指导营养运输和定义大脑连接的微血管和神经元网络。
- 分子和蛋白质的复杂性。细胞水平的相互作用由多种蛋白质介导，每种蛋白质都具有不同的功能，可促进营养转运、免疫反应和细胞（如神经元）之间的交流。
仪器的进步使得能够以 cm 3尺度以亚细胞分辨率收集越来越大的组织快照，从而轻松生成超过数 TB 的 3D 和 4D 图像（图 1）。它们的结构和分子复杂性对可视化和分析提出了重大挑战。例如，阿尔茨海默氏症等疾病会在细胞水平和整个大脑中引起结构和分子变化。一旦获得适当的多光谱图像，算法必须应对巨大的复杂性，以生成可用的形态和分子图，以实现探索、量化和建模。
5、建议工作
下面概述了表示、构建和使用亚细胞组织图谱(STA) 的建议方法。首先将描述必要的数据结构及其集成，其中将包括在整个管道中保持的不确定性的贝叶斯表达式。接下来将概述用于构建图集的建议方法，然后描述将被调整或开发的所需算法。最后，将提供组织图谱导航、可视化和分析的示例。
表示：拟议的地图集表示将侧重于三个关键要求：
- 紧凑- 需要综合组织图的研究将跨越多个尺度（从微观到宏观），需要以高空间分辨率动态访问大组织区域。对于每 cm 3 10s GB 的样本大小，所提出的表示可以利用分子和结构稀疏性的高效优势。
- 快速分析- 由于图集卷的大小和复杂性，大多数分析都需要计算驱动。地图集必须支持现有分割和分析工具的有效实现，例如 FARSIGHT [12]、[13] 中提出的工具，以及本项目中提出的专用算法。
- 基于生物的查询- 组织结构高度异构，许多样本无法与预定义的座标空间对齐，例如立体定位座标 [14]、[15]。因此，组织图必须允许与生物结构相关的查询，例如细胞、微血管和神经元过程。
图 5 - 生物显微镜中的几何（白线）和分子（颜色）成分示例。几何表面充当编码生物学相关特征（例如形状）的计算结构，并充当蛋白质分布的参考。(a) 单个细胞由膜和/或核几何结构定义，每个细胞都包含定义其状态和功能的分子分布。(b) 神经元引入了一个更复杂的定义，整合了由线条和复杂树突表面表示的纤维状成分。(c) 微血管与血管表面附近的相关分子成分形成复杂的互连网状结构。基于成像模式和分辨率，几何组件可能具有不同的复杂性——更高分辨率的图像可能具有更多的表面。 亚细胞组织图谱 (STA) 将整合两种不同的数据类型：
- 几何数据- 具有表面特征的结构将表示为嵌入在三维图集中的参数流形。细胞和细胞核可表示为具有定义边界的封闭表面。纤维结构（微血管和神经元过程）形成相互连接的网状结构，被描述为具有基于图形的连接性的二维管状表面。
- 映射的分子数据- 分子分布对描述表面的作用、类别或活动的复杂特征进行编码。细胞内分子的分布由隐式函数定义并分配给细胞表面（图 4）。位于神经元或微血管表面附近的分子可以（取决于分子）分配给代表树突或毛细管的几何形状。
封闭表面的几何数据，例如细胞膜和细胞核表面，将使用在球座标 ( θ, φ ) 中参数化的自适应采样 genus-0 网格表示。与表面相关的特征（即不确定性）将使用类似于网格颜色[16] 的稀疏编码框架进行编码，这允许 GPU 加速和交互式渲染的插值 [17]。任何闭合曲面s i (θ, φ)都可以被认为是一个二维函数，它返回一个向量，该向量包括一个具有任何附加插值属性的 3D 位置。
图 6 - 亚微米尺度的组织图谱组织。(a) 细胞核 (蓝色) 由包含染色质 (DAPI) 分布的几何表面表示。细胞膜也是一种封闭的几何结构，可能含有多种分子通道。(b) 膜几何与每个树枝状成分相关联，表示为图 Gi 并由定义为参数路径的边连接。(c) 每条边也可以链接到相应的网格以及相关的分子分布，这些分布用 OpenVDB 网格阵列稀疏表示。
网络几何，例如神经元和微血管，将使用基于网格、曲线和图形的策略的集成来表示。网络连通性表示为图 G=(V,E)，其中每个顶点 V 是光纤连接（即分叉），每个边 ei(t)E 是描述相关光纤中心线的参数曲线。因此，图 G 具有 3D 上下文：每个顶点都有一个 3D 位置，每条边都是 3D 参数路径。任何一维值，例如光纤半径，都沿相关路径编码，并作为 ei(t) 的一个分量返回。网络表面表示为网格，每个组件都链接到 G 中最近的边。
分子分布将通过改编 OpenVDB [18] 进行编码，OpenVDB [18] 是电影业设计的获得奥斯卡奖的数据结构，用于在无限网格上执行基于物理的具有稀疏隐函数的模拟。OpenVDB 的核心是一个 B+ 树，具有适用于分子编码、分析和分析引导的可视化的附加属性。这些包括 (1) 恒定时间随机和模板访问，(2) 网格的快速扩展、收缩和合并，(3) 低开销的紧凑表示，以及 (4) 缓存一致性和 (5) 与流并行的兼容性（即GPU）计算平台。Atlas 组件将分层链接以启用基于生物学的查询（图 5）。