VR混合现实教学展示系统

江西海默科技-官方网站 ꄲ VR混合现实教学展示系统

第一章混合现实教学展示系统

混合现实教学展示系统概述

混合现实（ Mediated Reality ）由“智能硬件之父”多伦多大学教授SteveMann提出，是数字化现实+虚拟数字画面。混合现实是一组技术组合，不仅提供新的观看方法，还提供新的输入方法，而且所有方法相互结合，从而推动创新。混合现实技术（MR）是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

混合现实教学展示系统将虚拟现实技术与传统教学相结合，是第一套实现人机实时互动的下一代教学与实训环境，为教师学生提供沉浸式、实践式、交互式的教学和学习体验。

混合现实教学展示系统特色

混合现实教学展示系统支持三种教学互动方式：

1、最基本的学生学习视角，由老师控制、监督学生的学习体验内容，让学生自由的在虚拟现实课件中进行互动学习

2、最直接的教师第一视角，将老师在虚拟现实中授课的第一视角互动画面展现给学生，让学生从老师的角度进行技术学习

3、最形象的教师第三视角，将老师现实中的操作样子与虚拟现实内容叠合在一起，为学生展示“上帝视角”的技术教学过程。我们将混合现实拍摄实验室放在我们的教室中以支持配合好教师的教授方式。

4、增强神奇的第三视角，让旁边者也能身临其境地看到虚拟现实中的场景，从而达到一对多、低成本的演示教学目的，让教室里没有看不懂的VR课件，没有不会玩的VR课程。提供学生“体验式学习”和“观察式学习”两种经典教育方式，适用于所有虚拟现实教育内容的呈现展示。通过融合虚拟和现实，为无法参与体验虚拟现实内容的观众展示虚拟现实的无限可构想空间。

混合现实教学展示系统技术原理

混合现实教学展示系统就是VR交互内容实时画面与真实操作者的影像合成的画面，人的影像摆放的位置和玩家在虚拟场景中的位置一样，摄像机拍摄画面中手的位置和游戏画面中手的位置是完全一样的，看起来就像体验者走进了一个虚拟世界，并用双手直接和环境互动。

1、VR程序四分屏

一般而言，当VR游戏执行时，屏幕窗口会显示头显的视角，而在启动MR画面输出时，屏幕窗口会显示四个象限的画面供使用者去合成，此四象限画面分别为：

前景（左上）画面显示虚拟摄影机的视角，在游戏场景中，凡是介于头显与虚拟摄影机之间的物体皆会显示在此画面中。

前景alpha遮罩（右上）此画面是前景的alpha屏蔽，主要是用于影片后制时可当作前景去背的材料。

背景（左下）画面显示虚拟摄影机的视角，在游戏场景中，凡是介于头显与远方背景的物体皆会显示在此画面中。

游戏画面（右下）为VR头盔中实时画面。

2.第三人称视角

普通的VR程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼，分别生成左右眼的画面传给HMD，然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面，就需要在和玩家一定距离外摆放一个额外的虚拟camera，并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复刻，而是由这个额外的camera单独绘制的。

3. 将体验者的影像录制下来

因为我们只需要玩家本人的影像，并不需要看到房间里的桌子、墙壁等背景。所以要用到抠像技术。在录制的时候，让体验者在一个周围是绿布（或者其他颜色）的房间里，然后专业摄像机录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉，就只剩下人的影像了。

4. 将游戏画面和摄像机影像合成

为了让真实相机拍到的影像与虚拟第三相机，需要保证他们的视角是一样的，这就需要借助第三个手柄来定位和定向。将额外的手柄绑在摄像机上，或者将手柄和摄像机绑在同一个位置上，原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时，游戏通过感知手柄的位置变化，也相应地改变虚拟摄像机的位置。然后，把游戏中的物体按位置分为两类，一类是前景，位置在摄像机到玩家之间，另一类是背景，位置在玩家之后。最后把背景、体验者影像、前景合成视频。

混合现实教学展示系统架构

混合现实教学展示系统虚拟现实硬件、画面混合和视频采集三个方面组成。该系统将操作者与虚拟场景通过视频采集和画面混合技术融合在一起，形成增强现实视频并输出到大屏幕，让观看者以第三视角观察操作者和虚拟场景的交互过程。

产品构架图如下：

1、硬件主要组成部分

1、HTC VIVE混合现实定制版套装

为极致的VR体验而生：VIVE Pro专业版为您的商业需求量身打造，提供灵活空间配置和丰富的商用功能。无论是坐着体验、或大型多人场景，VIVE Pro提供最高保真度、最优质声效、最具沉浸感的虚拟现实体验。

高清画质创造高清体验：VIVE Pro专业版搭载2个OLED显示屏和2880 x 1600像素的先进显示系统，专为极致高端体验所设计，体验超清晰的文字、画面和画质。

舒适度再升级：VIVE Pro专业版的人体工学设计提供最佳舒适和灵活性。其设计均匀分布重量，面部衬垫面积提升24%，即使长时间使用都能保持舒适。VIVE Pro专业版佩戴简单，为不同头型、视力和瞳距提供调整空间。

陪护人引导系统，让您安心探索：内建陪护人引导系统能在你靠近现实世界中的障碍物时，向您发出警告，使您更安心无忧地沉浸于虚拟世界。

3D立体空间音效搭配主动降噪功能：通过Hi-Res Audio认证的耳机，结合3D立体空间音效，提升音量和共振效果，打造如临现场的沉浸式听觉盛宴。主动降噪功能让您沉浸在虚拟世界时，不受现实世界的噪音干扰。

HTC VIVE实时追踪高性能VR头戴式显示器

屏幕:	2个3.5英寸AMOLED
分辨率:	单眼分辨率1440 x 1600，双眼分辨率为3K（2880 x 1600）
刷新率:	90 Hz
视场角:	110度
音频输出:	Hi-Res Audio认证头戴式设备 Hi-Res Audio认证耳机（可拆卸式）支持高阻抗耳机
音频输入:	内置麦克风
连接口:	USB-C 3.0、DP 1.2、蓝牙
传感器:	SteamVR追踪技术、G-sensor校正、gyroscope陀螺仪、proximity距离感测器、瞳距感测器
人体工学设计:	可调整镜头距离（适配佩戴眼镜用户）可调整瞳距可调式耳机可调式头带

混合现实定制版激光定位器

传感器:	支持SteamVR™追踪技术2.0
输入:	多功能触摸面板、抓握键、二段式扳机、系统键、菜单键
单次充电使用量:	约6小时

混合现实定制版交互手柄

站姿 /坐姿:	无最小空间限制
空间规模（Room-scale）:	游戏区最小为2米 X 1.5米，最大为6米 X 6米

2、混合现实专用绿幕

混合现实专用绿幕是体验者在绿幕中进行交互，由摄影机拍摄下来，画面在电脑中处理，抠掉背景绿色。绿幕使用的荧光绿色在电脑系统中更容易与前景分离，同时这种颜色较为明亮，不易产生黑边。

* 四面包覆式支撑架

* 车缝袖孔方便吊挂在背景架上

* 使拍摄物品立体感增强

* 布色适合凸显拍摄物

* 四边密拷克处理,使用寿命长,不易脱线

* 组装后约介于300公分(W)/300公分(D)/300公分(H) 之间

( 大小依实际环境设计组装后会有差异)

* 占地面积:约4m x 4m

3、混合现实虚拟相机专用定位器

VIVE追踪器能将任何真实的物品带入虚拟世界！装在亲手设计的配件上，尽情徜徉在虚拟游戏中。装到相机热靴上，拍摄专属于你的混合现实视频。一起开创虚拟现实更多的可能性。

释放无限想象力

透过全新的VIVE追踪器，您将可以自由开发前所未有的VR虚拟现实体验。只需这样一个小巧、高度灵活、易于安装的追踪器，就能够设计出一副手套来攀岩或弹奏虚拟乐器，或是设计出一把乒乓球拍，提供玩家更沉浸的VR体验。

把您的单反相机带进VR虚拟现实

现在就用自己的相机制作混合现实视频吧！只需将您的相机装上 VIVE追踪器，您将顿时成为VR虚拟世界的中心。家人朋友都可以观看并成为视频的一部分。甚至也可以为自己录像以提升玩游戏的表现！

扩展您的VR虚拟现实工具箱

内含追踪器、 USB数据线、无线信号接收器和接收器底座。

每次充电使用时长︰约 6 小时。

4、混合现实图像采集摄像机

区别于高清数码摄像机（1920 x 1080），其分辨率可达到3840x2160，支持4倍于高清分辨率的影像细节，让您的影像栩栩如生，难忘时刻精彩呈现。XAVC S由专业级的XAVC格式发展而来，能以100Mbps的高码流实现高质量影片录制。

具备5轴防抖功能，在平稳光学防抖的基础上，加入电子图像分析技术，有效地补偿来自五个方向的抖动，在变焦、行走、跑动等稳定性较弱的场景下，依然能拍摄出平稳流畅的动态影像。

采用20倍光学变焦的蔡司镜头，35mm等效焦距达到26.8-536.0 mm(16:9比例下)，近距离广角记录宝宝的精彩时刻，或拍摄运动场上距离较远的画面，也可以轻松记录。

5、混合现实专用视频采集卡

采用主流PCIE接口，支持主流计算机主板。采集4K视频到计算机，只需将视频线连接到采集卡，就能够将视频源实时传输到电脑。

支持 Windows电脑的PCle卡，也包括使用媒体编辑软件这意味着得到一个完整的视频捕采集卡，而不必购买任何额外的软件!可以使用受欢迎的视频编辑软件， Negas Pro， Media Composer融合保存文件等操作。提供SDK开发包，提供SDK二次开发支持VC++C#/NET/ VB//EL2。提供BTSP/RTMP/HLS串流例程、支持快速剪辑。