虚拟情境实训平台需建设一间特殊的实训室。通过虚拟仿真实训教学能够给学习者提供一个特殊的救援场景，让他们感觉到和他们想要学习的知识处于同一个场景中间，这种存在感可以屏蔽周围环境的干扰，提高专注度，加强学生对知识的认知。

虚拟仿真系统的应用与实现综合了三维图形处理、位置追踪、触觉或力觉反馈、人工智能等多种科学技术，具有高度的沉浸感、多种交互手段，通过优秀的系统整合，弥补理论知识的局限性，提高学生的认知。

虚拟情境实训系统将MR技术、空间定位技术、融合LED技术、人工智能技术复杂结合，为医学生营造多个生动、逼真的沉浸式虚拟训练场景，通过虚实结合的方式在虚拟环境中模拟给患者进行救治操作。强大的3D资源库以及开放的案例编辑帮助院校打造自己的虚拟仿真精品课程。学生能够以院前——转运——院内的进阶式流程进行沉浸体验式训练，其中包含现场判断、现场战略布局、战术演练和技能操作等多个环节，提升学生对于临床实践技能及临床处置思维的认知，促进理论知识和实践技能的结合，从而整体提高学生对于临床岗位工作的胜任力。

虚拟情境实训系统通过模拟和数字相结合，现实和虚拟相融合，打造真实的院前灾害医疗救援场景，做到让学员训练过程中眼手合一。从救援战术角度对个体病患的急救临床思维及救治技能的训练内容模块。以病例为导向，训练学员面对病例发展过程，在不同的阶段采取相应的措施，对患者进行医疗处置，同时锻炼学员面对患者该如何判断伤情、药物该如何使用以及在何种情况下对患者采取怎样的急救措施与医疗处理的能力。

▲建设3D沉浸式全虚拟救护场景

通过三折LED融合屏幕显示场景，场景为大空间专用播放急救场景，可将全部空间实现情景化，屏幕为小间距拼接屏。 配置融合设备及声光电装置，构建救护现场环境。通过深度相机对对训练场地使用进行1:1的3D建模，并采用全3D数字内容制作技术进行场景以及内部元素设计。在LED墙面以及地面上，通过LED组成的融合LED方式模拟多种现场环境。可以最大程度的还原院前急救场景中包括伤病患、围观人群、案例发生的周围建筑自然环境，配合声光电等技术，创造逼真的临场现实感；通过LED方式，并结合训练现场的简单布景及模拟人摆放，在道具上展现各类现场逼真的视觉感官（例如着火、水淹、化学品腐蚀），在模拟人上展现现场伤患的出血、呕吐物、创伤等伤情。

具备地铁内、冰雪灾害、山体滑坡、泥石流现场救援、核泄漏场景、海滩救援场景、急诊重症监护室（EICU）、战场、车祸现场、城市洪涝灾害、工厂、地震、商场、公园、城市场景等医疗救援3D虚拟现实场景

▲（院前场景效果图）

构建真实操作空间的手势识别系统

通过空间定位系统实现虚拟3D场景和实训室之间的虚实融合，模拟人的位置，操作者的位置、动作，通过系统进行精确捕捉，并匹配到虚拟操作者的3D模型上。

系统实时捕捉使用者的位置与动作，对使用者关键点的动作进行跟踪，同步到虚拟的动画角色，利用关键点的轨迹驱动动画角色的运动，如此让虚拟模型的动作真实自然，并实时记录操作规范。

手势追踪系统可以定位操作者所有动作，可通过手指点击全息菜单，完成互动。

构建虚拟标准化病人系统

系统内置标准化病人，对于有意识的患者可进行病史采集与医患沟通，采用人工智能语义识别技术，训练者可不用背诵关键词，按照常规问诊方式进行询问，标准化病人给与语音回复切具备伤情及表情的表达。

构建虚实融合交互操作系统

通过结合光学空间定位技术，实现虚拟病人完全定位到模拟人身上。参训学员和实体模拟人置于空间定位系统下，其虚拟位置随实际位置改变，两者通过位置距离大小，在MR头显中分别显示全虚拟数字标准化病人或实体模拟人。当学员在实体模拟人达到操作距离时，在虚拟场景中打开一大小位置与实体模拟人相近的窗体，展现具备虚拟意识、表情和创伤体征的实体模拟人。通过虚实融合技术，将实现学员在3D全虚拟场景下进行救护流程、救护思维的训练，且可以在实体模型上进行救护技能操作训练。

构建物联技术支撑下的教学模式

通过结合MR显示技术、物联网技术，实现学员在3D全虚拟场景下，在模拟人上的完成所有模拟人支持的救援实操，支持实时心肺复苏显示参数、支持显示脑部供血效果。

构建多人配合虚实结合交互模式

系统支持多人穿戴实训设备，参与多人配合案例，完成数字世界内的协同救援。患者赋予人工智能的能力，操作者可以与虚拟患者进行问诊。

构建虚实融合摄录系统

在实训室内搭建云台摄像机，实现全3D场景，360度自由转换观察角度，第三人称视角，学员操控的虚拟学员角色可以在3D场景中自由行走，并显示所有参训学员的位置、状态等，并以画中画的形式显示参训学员的第一视角画面，以及他们的虚拟UI操作界面，显示训练任务和完成情况。通过多角度的可变焦云台摄像头进行学员实操记录。导师可通过工作站控制角度可变的第三人称视角，对操作者、伤患医疗场景，以及3D虚拟交互和操作过程进行监控，并通过摄录系统对操作者对真实模型操作过程进行摄录，从而满足导师为团队训练和情景化训练的评估和反馈所需的素材，真正实现环境评估、临床思维、技能操作等单项和综合技能的反馈与评估。

构建真实救治链流程

通过AI模块可以提取模拟人反馈的操作结果和评估数据，触发进一步的情节或病历演变。其中包含现场判断、现场战略布局、战术演练和技能操作等多个环节。实现复杂病例救护执行。

构建场景及案例后台系统及模拟案例功能

本模块建成场景和案例后台系统，支持导入场景资源，编辑案例。将病例、场景、角色、流程等信息录入，并打破案例之间的壁垒，支持后续案例补充，实现虚拟训练系统的可持续发展。案例可在后台进行数据模拟，学生通过数据模拟了解救治过程，了解院前救治的紧张感。

资源方面需要制作大量的仿真度高的医学3D虚拟场景、器具和人物模型及3D动画。将采用增强现实及三维立体还原技术，通过3D Max、Maya等三维制作软件进行3D模型、动画及仿真视觉效果的制作，使用Unity 3D引擎开发3D虚拟操作及交互系统。采用Java的SpringMVC架构作为系统中、后台服务，MySQL作为后台数据库系统，为前端的Unity3D程序提供程序逻辑及数据存取服务。

▲（案例流程编辑图）

RNN人工智能分析数据

基于循环神经网络分析实验数据，可通过RNN模型进行结构设计、输出时序迭代过程分析、数据运算示例。设计全程为3D结构，可以完整呈现循环神经网络分析。