基于头戴式设备VR技术的虚拟轮机模拟器的实践
时间：2020-06-06 08:10:51 来源：达达文档网 本文已影响 人 
打开文本图片集
摘 要：以WMS-2004轮机模拟训练器为蓝本，旨在建立一个三维仿真环境漫游系统。浅述了虚拟现实技术的相关内容，并介绍了虚拟实验室的构建方式，主要侧重于控制面板的构建以及虚拟实验室的构建，为学生提供全新的学习方式，帮助学生完成学习目标。
关键词：漫游系统;虚拟现实技术;虚拟实验室
中图分类号：U676.2 文献标志码：A 文章编号：2095-2945（2019）27-0152-03
Abstract： Based on the WMS-2004 marine engine simulator， this paper aims to establish a three-dimensional simulation environment roaming system. This paper briefly describes the related contents of virtual reality technology， and introduces the construction mode of virtual laboratory， which mainly focuses on the construction of control panel and virtual laboratory， so as to provide students with a new way of learning and help students achieve their learning goals.
Keywords： roaming system; virtual reality technology; virtual laboratory
前言
隨着仿真技术和计算机图形学的发展，虚拟现实技术也逐步进入正轨，是一门富有挑战性的交叉技术前沿学科和研究领域。凭借着虚拟现实技术，用户可以沉浸在计算机模拟的环境之中，并通过传感设备来对用户的输入作出实时响应来完成交互，包括人具备的所有感知。
虚拟现实技术现如今被广泛应用于航天、军事、商业、医疗、教育等方面。通过虚拟现实技术模拟国产轮机模拟器WMS-2004，学生可以通过头戴式设备沉浸在三维仿真环境之中进行轮机设备的操作、系统监控、值班和故障排除及分析等30多项技能培训。符合我国海事局内河和海船船员评估纲要的要求。
1 系统概述
1.1 系统需求分析
虚拟现实技术凭借其真实生动的技术优势，使得该项技术在实践教学方面可以充分发挥技术特点及重要的作用，尤其是根据虚拟现实技术开发出的HTC头戴式VR应用与传统的媒体教学相比，有着无可比拟的优越性。模拟器的学习由于学员人数较多，而学校内只有一台模拟器设备，在模拟操作的时候只能分组进行，很大程度上减少了每个学员动手操作的机会。由于受到培训时间、培训设备、培训场地、培训老师等因素的制约，学生的学习往往达不到实验教学目标的要求。
而基于虚拟现实的轮机模拟器的HTC头戴式VR应用，沉浸感较强且通过与实景一致的3D环境漫游获得对实验环境的感性认识，增强了真实感，可以极大的增加学生的学习时间，也可以有效的帮助学生完成学习目标。
1.2 系统功能
基于头戴式设备VR技术的虚拟轮机模拟器在使用中，摆脱场地与时间约束，仅需用手柄在VR设备上即可实现漫游和交互操作，并可以选择相应的模式进行学习训练，系统功能框架如图1。
（1）自动漫游模式：此模式主要演示虚拟实验室的环境和各系统布置，让学生了解轮机模拟器内部结构。
（2）手动交互模式：此模式主要用于学生对各电屏的逻辑操作，以及操作后的复原，学生学习主要依靠此模式来进行。
1.3 开发框架
基于头戴式设备VR技术的虚拟轮机模拟器的核心在于可以通过头戴式设备实现漫游与交互。系统将虚拟实验室导入头戴式设备中，然后学生通过手柄进行漫游与交互操作。
在众多的模型制作软件里，我们选择操作较为熟练的3DsMax和Unity3D。我们先利用3DsMax进行模型的制作，将电屏模型化。并通过Unity3D引擎，用C#编程和PlayMaker插件赋予脚本编写，实现逻辑控制和演示过程，最终导入HTC头戴式设备。
2 虚拟实验室交互设计制作流程
VR实验室漫游展示制作过程包括：首先确定需要展示实验室的布局、大小和风格;进而开展基于虚拟现实技术的实验室漫游展示主体制作，建模、材质处理（PS）、导入虚拟引擎、布置灯光、设置材质;而后对接HTC，最终完成测试。
2.1 模型搭建
项目设计的第一步，首先是用三维制作软件构建出具有三维数据的模型。3D建模行业通用软件有3DsMax、Maya、Sketchup等，本项目使用的建模工具是3DsMax。构建三维模型是虚拟仿真的基本元素，在VR视觉中观看到的任何物品、任何模型都是再现真实场景中的实物，这也是虚拟现实能给人一种身临其境的关键因素。建模是构建场景的基础，在建模过程中最重要的一点是控制模型比例，同样重要的还有模型的优化，一个好的虚拟现实项目不仅要逼真，还要求运行流畅，保证程序包不会占用太大的内存，让观者得到良好的体验。基本的优化原则有：控制模型面数，部分次要的细节和纹理用贴图、法线贴图弥补，删除不被显示的面，尽量减少模型的点以达到优化目的。
2.2 材质处理（PS）
在大量实景照片的基础上，利用PS技术对于贴图材质进行色彩、形状、大小调整，完成仿真处理。
2.3 导入Unity3D设置材质、灯光
由于虚拟引擎无法读取三维软件中的材质灯光信息，所以赋予材质这一环节在虚拟引擎中实现。当3D建模、贴图完成后，导出成FBX格式（一种支持所有主要的三维数据元素以及二维、音频和视频媒体元素的通用文件格式），导入引擎。将模型导入引擎后，逐个赋予材质，以达到最接近现实的物体外观效果。最终，完成模型的制作。材质搭配纹理贴图，是再现客观事物真实视觉的最有效手段，也是体现仿真感的另一重要环节。再利用C#编程语言对场景及模型的操作进行编程，以期在HTC头戴式设备中实现动作指令。
2.4 对接到HTC的头戴式虚拟现实显示设备
将制作好的模型加场景对接进HTC头戴式设备，利用手柄对编程好的动作进行操作测试。首先是构建光影，也即渲染，引擎会将光影關系计算出来。再是，运行项目，检查是否存在某些物体没有碰撞、模型之间是否存在交叉或是裂缝、灯光是否过曝或不足、手柄交互是否有误等。确认无误后，打包导出成一个应用程序包。此时，便可运行程序包，戴上HTC头戴式虚拟设备沉浸到虚拟环境中，并通过手柄移动到任意角落观看场景。图2为开发流程图。
3 核心技术
3.1 模型建立及优化
轮机模拟器实验室的全部系统包括一块大型Mimic仿真控制面板、机旁控制台、集控室控制台及电站系统的并电屏、启动屏、负载屏等多个单元皆为具有明显几何形状的操作设备，利用3DsMax三维建模软件进行良好的模型搭建，可以让学员具有更好的沉浸感，对模拟器系统具有更加清晰的认知。
但是完全1：1的模型，会使整个模型文件的过大，不利于计算机运算。因此，为了既保证模拟器系统的外观结构，也保证模型的加载速度，我们采用了传统三维建模和表面纹理烘焙相结合的方法，在初始建模成型之后，使用3DsMax软件的Rendering to Texture模块对表面纹理进行渲染，并删除不被显示的面，这个烘焙功能模块是通过贴图来渲染模型的表面纹理，达到较为真实的效果，这样做既保证了计算机运算的速度，也保证了模拟器系统模型的真实感。
3.2 可视化编程
在Unity3D中，我们可以编程赋予设备部件特定的动作，但是部分模型的运动规律较为复杂，单纯用C#编程语言较为麻烦且不易实现，因此我们利用PlayMaker插件在Unity3D中实现旋钮等零件的开关指令，例如，点击模型上的旋钮，旋钮便实现旋转操作，点击STOP开关，实现指示灯的明暗。很多动作行为只需要通过简单状态机FSM（Finite state machine）就能实现，免去了用编程语言的麻烦。此外，其用方便简洁的图表管理每个状态机，还可以让我们快速查看行为说明。设置的断点和单步执行状态符合系统的指令操作。
3.3 基于Mono的开发脚本
早期使用C/C++编写的引擎，都使用C/C++作为上层逻辑的开发。又有一些，采用了纯脚本的模式。比如Python， LUA。脚本的好处在于更低的编码成本。而C++经常会带来内存和效率问题。它的使用成本，人员成本其实是高于其它语言的。
而我们使用Mono的桥接，使得高效的C++图形引擎与带GC的内存安全语言进行结合。不仅减少了安全隐患，也使得编写跨平台代码时更加容易。Mono使脚本编程可以进行DEBUG，而不单纯的靠PRINT输出。
4 案例演示
按照开发流程，我们将本系统安装在HTC头戴式VR设备上，在开始界面中，我们可以任选一个方向进行虚拟漫游，本文以AIR SUPPLY SYSTEM控制面板为例，演示实验室漫游过程。首先点击开始界面。
当拉近AIR SUPPLY SYSTEM控制面板后，用户可以点击RUNNING/STAR按钮开始模拟空气供应，右侧黄色指示灯亮，当右侧红色报警灯亮时，点击STOP按钮可停止空气供应。除此之外，还可以点击面板上的自动/手动旋钮使旋钮动作来切换操作模式。
拉远面板，可以看到整个虚拟实验室的环境。
最后，我们让多名同学进行漫游体验。整个运行过程基本流畅，未出现卡顿以及停滞现象，同学们反应良好。该漫游系统极大的增加学生的学习时间，并且有效的提升了学生学习的热情，为学习过程增加了不少的乐趣，也有效的帮助学生完成学习目标。
5 结束语
我们结合了3DsMax的建模和Unity3D开发引擎，开发出虚拟现实的轮机模拟器头戴式VR应用，改变了传统的训练培训的模式，摆脱了实验设备少、设备老化、学习时间短等客观因素的限制，也减少了实验室模拟器的维修，我们还将不断增加设备模型，让模型类别覆盖更加全面，让虚拟现实沉浸感越来越强，基于虚拟现实的轮机模拟器头戴式VR应用对于推动虚拟现实技术在场景漫游和教育培训方面有重要的研究意义。
参考文献：
[1]傅建明，鲍艳.基于虚拟现实技术的3D动画场景平面设计[J].现代电子技术，2017（21）.
[2]刘世伟，田世鹏，甘涛，等.虚拟实验室的研究与应用现状综述[J].物联网技术，2016，6（9）：82-83.
[3]宋蔚.基于虚拟现实的虚拟实验研究[D].重庆：重庆大学，2005.
[4]刘亚丰，苏莉，吴元喜，等.虚拟仿真教学资源建设原则与标准[J].实验技术与管理，2017（5）：8-10.
[5]刘亚丰，苏莉，吴元喜，等.虚拟仿真教学资源开放共享策略探索[J].实验技术与管理，2016，33（12）：137-141+145.
[6]姜学智，李忠华.国内外虚拟现实技术的研究现状[J].辽宁工程技术大学学报，2014，23（2）：238-240.
[7]李洪亮，李想，崔浩龙，等.基于虚拟仿真教学平台的云计算技术实验教学[J].实验技术与管理，2016，33（11）：125-129.
[8]胡今鸿，李鸿飞，黄涛.高校虚拟仿真实验教学资源开放共享机制探究[J].实验室研究与探索，2015，34（2）：140-144，201.
[9]孙青，艾明晶，曹庆华.MOOC环境下开放共享的实验教学研究[J].实验技术与管理，2014（8）：192-195+214.
[10]刘鑫.基于云教育平台下移动学习活动的过程模型构建[J].信息与电脑：理论版，2017（9）：234-236.
