扩展现实技术（Extended Reality，简称XR），是虚拟现实（Virtual Reality，简称VR）、增强现实（Augmented Reality，简称AR）和混合现实（Mixed Reality，简称MR）这3种技术以及其他类似沉浸式技术的统称，其创新应用在传统行业及数字化领域均有广阔的发展前景。近年来，在我国航天员训练中，虚拟现实技术及混合现实技术也得到应用。

虚拟现实技术应用到航天领域时，能够突破物理环境限制，在地面条件下逼真模拟失重环境下三维太空作业场景，快速构建各种应急场景，实现地面难以模拟的失重运动操作，有效弥补实物、半实物等地面训练设备的不足，可作为实物训练方式的补充。空间站任务中，为了满足航天员在多舱段空间站内导航训练和操作训练任务不断多样化的需求，科研人员开发了一套虚拟现实仿真训练系统，为航天员训练带来了新的体验和超越传统地面模拟设备的可能性。

针对工程半实物难以模拟的典型设备操作和故障排除，利用混合现实技术，借助目前已有的实物、半实物模拟器环境，实现复杂设备智能虚拟辅助指导或智能定点定位引导操作，可应用于天地远程支持模式下三维沉浸式指导标注。

 

 

利用计算机模拟产生一个三维空间的数字虚拟世界，用户通过佩戴特殊设计的头盔设备（VR显示器），能360°观看这个虚拟的数字世界，将自己与真实的物理世界隔绝开来，完全沉浸于一个独立的时空中。

 

 

 

 

空间站舱内定向包含两方面具体内容：

一是定向，即确定自身的空间朝向，主要基于本体视觉线索认识自身在空间站舱内的姿态朝向以及所处位置；

二是导航，即通过坐标或目标指引穿越空间环境到达目标舱体，需要对所处空间站结构有着超越直观的认知。

 

 

失重环境和结构复杂的空间站对航天员空间定向能力产生较大影响，可能导致空间失定向现象出现。

①在微重力条件下，航天员主要依赖视觉信息完成空间定向，视觉线索便成为空间定向判断中的主要依据。由于重力的缺失，航天员自身体坐标系在舱内可呈任意姿态，这与地面重力环境下以正立状态对舱内布局的认知有很大变化。

②另外，空间站存在舱段视觉垂直正向轴的不一致，航天员获得和保持对整个航天器的一个综合认知图有一定困难，是引起航天员空间定向困难的主要因素。

在舱内失火、失压等低能见度条件下，舱内定向会更加困难，将直接影响空间站和航天员的安全，因此，舱内定向是航天员训练的一项重要内容。

 

 

舱内定向训练系统主要需要解决以下两个问题：

①采用实时交互的方式，模拟微重力下人体的运动，从而给受训者以接近真实的空间运动视觉体验；

②通过逼真的三维场景建模、立体显示以及力反馈等技术，增强受训者的沉浸感，提升训练效果。

虚拟现实技术可以为航天员提供飞行前的空间定向训练。

①在虚拟环境中，航天员能够以多种身体状态体验周围环境，减少以单一身体状态训练所致的空间定向障碍；

②航天员可以体验在视觉垂直正向坐标轴定义不一致的舱段间穿行，帮助建立一个关于整体飞行器的空间关系认知图；

③通过虚拟现实技术模拟由烟雾、水雾、能源故障所致的能见度降低的舱内环境，完成故障情况下的紧急撤离训练。

 

 

空间定向虚拟训练系统主要由人机交互界面、仿真与控制软件系统以及虚拟太空环境等部分组成。

 

空间定向虚拟训练系统结构图

 

人机交互界面是感知虚拟环境的重要部分，分为信息输入界面和信息输出界面两部分。

信息输入界面包括人体躯干跟踪、手部跟踪、头部跟踪和语音信息输入等。人体运动跟踪通过位置跟踪仪实现，手部跟踪通过数据手套实现，能够实时地获取手部各关节的角度信息，以支持手部操作仿真。头部位置跟踪可通过在显示头盔上安装位置传感器实现，头部转动时，所看到的场景也随之变化。可通过语音输入实现对系统的功能性指令控制。

信息输出界面包括视觉、力觉和听觉信息的输出。头盔显示器为视觉输出设备，力反馈装置为力觉再现设备，当受训者在虚拟环境中接触到物体时，力反馈装置将力觉反馈到受训者手部，同时，通过听觉信息反馈场景及操作音效，从而实现受训者与虚拟环境的逼真交互。

仿真与控制软件系统包括教员软件、人机交互接口软件、仿真计算软件、视景仿真软件等，各软件通过仿真平台互联共同实现运动数据采集及处理、交互操作仿真、第一及第三视角视景输出、训练过程控制等功能，同时可对训练过程数据进行记录和评价。

虚拟太空环境包括空间站内工作虚拟仿真环境、舱载交互操作仪器设备虚拟仿真模型等，负责向受训者呈现与真实飞行环境状态基本一致的视觉和听觉环境。  

 

虚拟场景图

 

 

在定向训练中，航天员可熟悉各舱段布局和定向参考标记，通过数据手套或其它交互设备进行交互漫游，了解空间站的工作环境和移动路径，减少以单一身体方位训练所致的空间方向认知欠缺，进行空间运动病对抗性训练等。典型故障训练时，通过模拟由失火产生的烟雾或水雾等导致的低能见度舱内环境，进行故障情况下的紧急撤离仿真操作训练。

具体训练过程为受训者佩戴人机交互设备，其头部及身体运动通过跟踪设备和人机交互接口软件实时捕获并处理后，传输给仿真计算软件，用于驱动虚拟空间环境中的虚拟人执行预期的行为或动作，仿真计算软件处理仿真中出现的碰撞、抓取等情况，生成相应的音效、操作力及视景反馈给受训者，从而完成人在回路的仿真。同时教员软件可对训练科目、训练过程等进行控制，并记录训练过程数据，供教员进行分析和评价。

 

空间站舱内定向训练场景

 

 

 

 

航天员在执行航天任务前需要进行大量的训练，针对不同的训练内容，采用合适的训练设备非常重要。出舱任务舱外作业训练目前多在模拟失重水槽中进行，是国际上普遍采用的主要训练手段。受水槽尺寸限制、重力等影响，为了便于操作，需要保障人员转动舱体，作业点始终在舱体的两侧或正上方。当需要从一个作业点转移到另一个作业点时，机械臂上的航天员与舱壁上航天员，转移路径与在轨任务差异较大。整个训练过程一般需要按照作业剖面对航天员的操作进行分解，分场景片段式进行，很难连续不间断地进行一次完整的舱外作业任务，且训练过程需要大量人力物力保障，耗时时间也非常长。

面向空间站航天员舱外作业训练需求，科研团队利用虚拟现实技术，创建逼真的空间站舱外作业任务场景和空间站、机械臂及地球星空等运动仿真，实现舱外作业虚拟现实交互操作仿真，形成一个与真实舱外作业任务视觉感知一致、操作感知近似、听觉感知一致、运动感知近似、人在回路的多人虚拟现实训练系统。

 

 

面向出舱活动的虚拟现实训练系统原理与空间定向虚拟训练系统原理相同，组成如图所示，包括生成各视角图像的虚拟现实仿真、工程数据仿真、训练进程控制、训练信息数据库、提供虚拟场景观察及交互的虚拟现实头盔和手柄、实现训练信息显示及通话的视频通话系统、实现机械臂操控与监视的机械臂操作台等。

 

面向出舱活动的虚拟现实训练系统组成原理

 

 

舱外航天员佩戴虚拟现实头盔(已集成耳麦)和手持手柄，实现虚拟场景的观察和交互操作。舱外活动虚拟场景由虚拟现实仿真软件生成，包括空间站及舱外作业设备、机械臂、地球、星空和虚拟航天员等，虚拟场景中空间站的飞行数据、飞行轨道、飞行姿态、帆板转动角度、机械臂运动等数据由工程数据仿真提供。为逼真模拟航天员舱外作业过程中听觉，由虚拟现实仿真软件实现舱外服风机噪声、报警声等模拟，并实现训练时教员与航天员之间通话传输，或任务演练时地面指挥、机械臂操作者和出舱航天员之间通话传输。由视频、通话系统实现音视频的传输。

 

神舟十五号航天员开展乘组虚拟现实训练

 

虚拟现实仿真软件根据虚拟现实头盔和手柄的跟踪数据，为每名虚拟现实头盔佩戴者实时生成各自第一视点图像，包括航天员1VR、航天员2VR视角和教辅VR视角；为方便在显示器上任意视角观察三维场景，由虚拟现实仿真软件生成一个辅教第三视角图像，通过鼠标键盘控制视点位置和观察方向。

 

神舟十二号航天员开展乘组虚拟现实训练

 

舱内航天员使用机械臂操作台对机械臂监视和操作，该设备与虚拟现实训练系统通过网络实现远距离数据、语音和视频互联。整个训练过程统一由训练控制软件实现过程控制，包括训练开始、训练结束等，并把相关训练数据存储到训练系统数据库中。

 

神舟十五号航天员开展乘组虚拟现实训练

 

 

神舟十六号航天员开展乘组虚拟现实训练

 

 

基于虚拟现实技术，以人的感知为焦点，面向航天员训练研发了一种多人协同虚拟现实训练系统，突破了逼真的三维场景渲染、安全绳/安全带交互操作仿真、多人协同操作仿真等技术。

 

安装扩展泵组(左：在轨图像，右：仿真图像)

 

此训练系统基于空间站及舱外作业工程状态和操作流程，创建了逼真的舱外作业三维场景，开发了舱外作业工具/设备的逼真交互操作仿真系统，实现了虚拟现实训练系统首次在航天员舱外作业训练的成功应用。

 

神舟十五号航天员开展乘组虚拟现实训练

神舟十六号航天员开展乘组虚拟现实训练

 

虚拟现实训练系统在应用于舱外作业方面是目前模拟任务要素全面、训练代价小、多人参与的地面模拟设备，不仅在航天员训练上发挥关键作用，在机械臂联合演练、舱外协同指挥程序演练和舱外操作工效综合评价等工程验证方面也发挥了重要作用。

 

素材来源/中国航天员科研训练中心