XR相关概念解析

可穿戴设备介绍

XR（VR/AR/MR）产业链梳理——从智能手机到XR，从移动互联网到元宇宙

虚拟现实 － Virtual Reality

是利用设备模拟产生一个虚拟世界，提供用户关于视觉、听觉等感官的模拟，有十足的“沉浸感”与“临场感”。简单的说就是，你戴上一个VR眼镜（注意：戴上去后你就看不到现实世界了）看到的所有东西都是计算机生成的，都是虚拟的。典型的设备就是暴风魔镜。

完全由计算机生成的虚拟世界，并且不一定反映真实世界

如北京环球影城变形金刚项目中，游客通过 VR 头盔或 AR 眼镜与虚拟世界进行互动。借助 AR 和 VR 技术，游客不仅可以“看到”变形金刚角色，还能与他们互动，参与到故事情节中。

增强现实 － Augmented Reality

增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，它把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、味道、触觉等），通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

增强现实，字面解释就是，“现实”就在这里，但是它被增强了，被谁增强了？被虚拟信息。

区分VR、AR的一个简单方法：

VR需要用一个不透明的头戴设备完成虚拟世界里的沉浸体验，你看到的是一个100％的虚拟世界，而AR需要清晰的头戴设备看清真实世界和重叠在上面的信息和图像，以现实世界的实体为主体，借助于数字技术帮助消费者更好地探索现实世界和与之交付。

再说的直白一点，就是VR显示的画面全是假的，而AR显示的画面有一半是真的，一半是假的。

在真实世界中简单叠加虚拟信息，虚拟信息是相对于设备的并且可被区分

如北京环球影城哈利波特项目

混合现实 － Mixed Reality

VR和AR各自还没有走到极致，然而已经有了融合迹象，这就是混合现实，即MR＝VR＊AR。

MR定义是：将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了物理实体与虚拟信息，并且必须是“实时的”。

如何区分AR和MR？

第一、虚拟物体的相对位置，是否随设备的移动而移动。如果是，就是AR设备；如果不是，就是MR设备。

第二、在理想状态下（数字光场没有信息损失），虚拟物体与真实物体是否能被区分。

AR设备创造的虚拟物体，是可以明显看出是虚拟的，比如GoogleGlass投射出的随你而动的虚拟信息；而MR设备直接向视网膜投射整个4维光场，用户看到的虚拟物体和真实物体几乎是无法区分的。

在真实世界中深度叠加虚拟信息，虚拟信息几乎和真实世界融为一体，无缝融合

影像现实 － CinematicReality

CinematicReality，影像现实，意思是虚拟场景跟电影特效一样逼真。这是Google投资的MagicLeap提出的概念，主要为了强调与VR、AR技术的不同。实际上理念是类似的，均是模糊物理世界与虚拟世界的便捷，所完成的任务、所应用的场景、所提供的内容，与MR产品是相似的，所以后来好像他们的发言人也把自己归做MR了。

扩展现实 － Extended Reality

扩展现实（XR）是一个术语，目前知道的人不多。扩展现实是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合的、可人机交互的环境。扩展现实包括增强现实（AR），虚拟现实（VR），混合现实（MR）等多种形式。换句话说，为了避免概念混淆，XR其实是一个总称，包括了AR，VR，MR。XR分为多个层次，从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。

数字孪生技术

https://zhuanlan.zhihu.com/p/99249900

数字孪生技术 (Digital Twin Technology) 是指通过将现实世界中的物理实体、系统或过程，通过传感器、数据采集和虚拟建模等方式，在数字空间中创建一个动态的虚拟模型，使得该虚拟模型能够实时、精确地反映实体的状态和变化。数字孪生不仅是物理实体的数字化复制，而且能够实时接收和分析数据，进行预测、模拟、优化和决策支持。

1. 数字孪生的基本概念

• 物理实体的数字化复制：数字孪生是物理世界的虚拟映射，能够实时反映出物理系统的行为和状态。
• 实时数据同步：数字孪生模型通过传感器、物联网设备等技术，从物理对象采集数据，确保虚拟模型能实时更新。
• 模拟与分析：基于虚拟模型进行模拟实验，预测未来可能的状态和行为，优化系统性能。
• 智能决策：利用数字孪生模型对数据进行分析和处理，支持更好的决策制定。

2. 数字孪生的核心组成

• 物理实体：物理世界中需要被数字化和孪生的对象或系统，如工业设备、建筑物、交通系统等。
• 虚拟模型：通过建模工具和仿真软件，构建与物理实体高度相似的虚拟模型，能够精确反映物理对象的行为和状态。
• 数据收集与传输：通过传感器、物联网设备等获取物理实体的数据，如温度、湿度、位置、速度等。
• 数据处理与分析：对采集到的数据进行分析，生成对现实世界系统状态的实时反馈，并可用作预测、优化、决策的依据。
• 实时更新与反馈：数字孪生模型通过持续的实时数据更新，确保虚拟模型与物理实体同步。

3. 数字孪生的应用领域

• 制造业：在工业生产过程中，数字孪生技术可用于设备的状态监测、故障预测、生产线优化等，提升生产效率和产品质量。
• 智慧城市：数字孪生可以用于模拟和管理城市基础设施（如交通、电力、环境等），优化城市资源调度，提高城市管理效率。
• 航空航天：数字孪生被广泛应用于飞机、航天器等设备的状态监控、维护预测，延长设备使用寿命。
• 医疗健康：数字孪生技术可用于医疗设备的故障预测、疾病模型的构建、个性化治疗方案的制定等。
• 建筑与房地产：通过创建建筑物和设施的数字孪生，优化设计、建造过程，并在运营中进行设施管理、能源优化等。
• 汽车行业：通过虚拟模型对汽车系统的状态进行监控，优化设计和生产流程，提前预测故障。

4. 数字孪生的技术实现

• 传感器与物联网：传感器和物联网设备用于实时采集物理实体的数据，并通过网络传输到云端或本地系统进行处理。
• 3D建模与仿真技术：通过3D建模工具构建虚拟模型，借助仿真软件进行状态模拟，精确模拟物理实体的行为。
• 大数据与云计算：数字孪生需要处理和分析大量的实时数据，因此大数据处理和云计算平台在数据存储、处理和分析中起着至关重要的作用。
• 人工智能与机器学习：人工智能和机器学习可以用于对采集到的数据进行分析，帮助预测未来状态，提供优化建议和决策支持。
• 增强现实与虚拟现实：AR/VR技术可以为用户提供沉浸式体验，使其能够在虚拟空间中进行交互，查看和分析数字孪生模型。

5. 数字孪生技术的优势

• 实时监控与诊断：通过数字孪生技术，能够实时获取物理实体的运行状态，发现潜在问题，提前做出预警。
• 优化与预测：数字孪生能够模拟不同场景和操作，优化系统设计和运行，提前预测设备故障或资源需求变化。
• 减少成本：通过数字化模拟，减少了物理实验、原型制作和调试等成本，同时提高了运营效率。
• 提高决策效率：基于实时数据和模拟结果，决策者可以做出更加科学和精确的决策，提升业务的灵活性和反应速度。

6. 数字孪生技术的挑战

• 数据安全与隐私：大量实时数据的采集和传输可能带来数据安全和隐私保护的风险。
• 技术复杂性：数字孪生涉及多种技术，如传感器、数据处理、建模、仿真等，需要跨领域的技术整合和应用。
• 高质量模型的构建：要保证虚拟模型与物理实体的高精度同步，需要高质量的建模和实时数据同步机制。
• 系统兼容性与集成：由于涉及多种系统和平台，数字孪生的部署和集成可能会面临技术和系统的兼容性问题。

总结

数字孪生技术正在多个行业得到应用，尤其是在制造业、建筑、汽车、航空航天、智慧城市等领域，具有显著的价值。它通过提供实时监控、状态预测、优化决策和增强协作，极大地提升了生产效率和业务决策能力。尽管面临一定的技术挑战，但随着物联网、云计算、人工智能等技术的不断发展，数字孪生技术的前景非常广阔。

VR看房技术

https://www.zhihu.com/question/292551164

通过激光相机或者结构光相机采集全景图+深度（深度是3D建模的重要参数）通过不同点位的拍摄合成完整的3D模型，包括mesh网格图+贴图，并记录点位在模型中的位置。通过three.js或其他webGL框架在前端展示压缩后的3D模型图可点击3D模型图中的某个点位进入全景视角，一般通过three.js或者Krpano.js，加载6面体的全景图进行展示。在全景图中展示可进入的其他点位，点击后，模拟切换动作，跳跃到其他点位的全景图。

• 通过激光相机或者结构光相机采集全景图+深度（深度是3D建模的重要参数）
• 通过不同点位的拍摄合成完整的3D模型，包括mesh网格图+贴图，并记录点位在模型中的位置。
• 通过three.js或其他webGL框架在前端展示压缩后的3D模型图
• 可点击3D模型图中的某个点位进入全景视角，一般通过three.js或者Krpano.js，加载6面体的全景图进行展示。
• 在全景图中展示可进入的其他点位，点击后，模拟切换动作，跳跃到其他点位的全景图。

似乎每个点位建立一个3d场景，再将多个场景进行拼接，总览时也是给定了一个特定视点

只能有限点位浏览，可能因为其他视点效果不好，没有足够3d信息，又不能基于已有数据合成新视角

模型拼接

将两个三维模型拼接在一起通常需要进行模型对齐、转换和合并等操作。这个过程的目标是确保两个三维模型正确地合并在一个共同的坐标系统下，达到无缝连接。下面是一个大致的流程和一些常见的方法：

1. 对齐两个三维模型（Registration）

对齐是拼接的第一步。我们需要确保两个模型的位置和姿态正确，通常可以通过以下几种方法：

a. 手动对齐

• 使用三维建模工具（如 Blender、Maya）手动调整模型的位置和旋转角度，直至它们在空间中正确对接。这种方法适用于简单的模型或需要精确调整的情况。

b. 基于特征的自动对齐

• 使用特征匹配：通过识别模型中的关键特征（例如角点、边、面等），在两个模型中找到相应的特征，并使用最小二乘法或其他优化算法来求解变换矩阵，实现模型对齐。

常用的方法：

• ICP（Iterative Closest Point）：ICP 是一种常见的算法，用于对两个点云或三维模型进行对齐。该算法通过迭代优化的方式，最小化两个模型间的距离，从而得出最佳配准结果。
• NDT（Normal Distributions Transform）：NDT是一种点云配准算法，适用于具有不规则数据的情况，相较于ICP，NDT对噪声的适应性较强。

c. 使用相机标定与传感器数据

• 如果模型来自于不同的视角或扫描设备（例如不同角度的深度相机或激光扫描仪），可以通过传感器标定和相机位姿来对齐不同数据集。借助位姿信息，可以将各个视角的数据对齐到一个共同的坐标系下。

2. 坐标转换

在对齐操作之后，两个模型的坐标系可能依然不同。为了将它们拼接在一起，我们需要将它们转换到同一个坐标系统中。

• 变换矩阵应用：在对齐之后，可以使用平移、旋转和缩放变换将模型转换到相同的坐标系。例如，可以通过矩阵乘法将一个模型的坐标从一个坐标系转换到另一个坐标系。

3. 拼接操作（合并）

在对齐和坐标转换之后，下一步是将两个模型合并。具体方法包括：

a. 点云拼接

如果模型表示为点云数据，可以直接将两个点云合并成一个点云，并对其进行去重和清理，以消除重叠区域的多余点。

• 去重和清理：在合并后，可能会有一些重复的点，需要通过去除重复点、平滑等操作来清理点云数据。
• 法线计算：如果需要，计算合并后的点云法线，以便后续的渲染或分析。

b. 三角网格拼接

如果模型是由三角形网格（mesh）表示的，可以通过将两个网格的顶点连接起来，生成一个新的网格。需要注意以下几点：

• 共享边界处理：如果两个网格的拼接处有共享边界，可以通过顶点插值、平滑或重建边界来处理。
• 拓扑调整：在某些情况下，可能需要调整网格的拓扑结构，确保两个网格的连接处流畅无缝。

4. 细节优化（平滑和修复）

有时候，拼接后的模型可能会出现接缝、断裂或不自然的过渡。为了使拼接结果更加平滑和真实，可以进行以下优化：

• 平滑处理：应用平滑算法（如 Laplacian smoothing）对接缝处进行处理，使其过渡更加自然。
• 曲面重建：对于拼接后产生的空洞或不规则部分，可能需要通过曲面重建技术填补这些区域。
• 合并法线与纹理：如果模型具有法线信息和纹理，可以将它们合并到拼接后的模型中，确保视觉效果一致。

5. 使用常见工具进行三维模型拼接

以下是一些常用的工具和库，能帮助进行三维模型的拼接：

• PCL（Point Cloud Library）：PCL 是一个用于处理点云数据的开源库，提供了丰富的点云对齐、拼接、过滤、重建等功能。
• MeshLab：一个开源的三维网格处理软件，支持对网格模型进行编辑、修复和拼接。
• CloudCompare：专注于点云处理的开源软件，提供了多种点云对齐和拼接算法。
• Blender：Blender 是一款开源的三维建模工具，支持多种模型格式的导入、编辑和合并。
• Open3D：一个开源的库，用于处理三维数据，支持点云拼接、ICP算法等操作。

6. 常见问题与挑战

• 噪声和误差：在实际场景中，采集到的三维数据往往带有噪声，这可能会影响拼接效果。因此，需要进行噪声过滤和数据清理。
• 计算复杂度：大规模的三维模型拼接可能需要大量的计算资源，尤其是在进行全自动拼接和优化时。
• 模型精度与细节：拼接后模型的精度和细节可能会受到对齐算法和数据质量的影响。

总结

将两个三维模型拼接在一起是一个包含对齐、坐标转换、合并和优化等多个步骤的过程。通过选择适当的对齐算法（如ICP、特征匹配）、数据合并方法和后处理技术，可以获得无缝衔接的高质量拼接模型。在实际应用中，工具和库的选择以及处理过程中噪声和误差的管理是影响拼接效果的关键因素。

VR vs. 2d视频

总结

总的来说，VR 视频提供的是全新的沉浸式、多视角、交互式体验，而普通视频则专注于传统的、固定视角的观影体验。VR 视频要求更高的硬件支持和更精细的技术处理，而普通视频的技术门槛相对较低。