EN中文

Journal of Geo-information Science >

2018 , Vol. 20 >Issue 8: 1055 - 1063

DOI: https://doi.org/10.12082/dqxxkx.2018.180082

Research and Implementation of Immersive Multi-User Collaborative Interaction Technology in Virtual Geographic Environment

  • YUAN Shuai , 1, 2 ,
  • CHEN Bin , 1, * ,
  • YI Chao 1 ,
  • XU Bingli 3
Expand
  • 1. Institute of Remote Sensing and GIS, Peking University, Beijing 100871, China
  • 2. Specialized Forces College of Chinese People's Armed Police Force, Beijing 102202, China
  • 3. Academy of Armored Force Engineering, Beijing 100072, China
*Corresponding author: CHEN Bin, E-mail:

Received date: 2018-01-31

  Request revised date: 2018-04-18

  Online published: 2018-08-24

Supported by

Pre-research Project of Equipment Development Department, No.315050501

National Natural Science Foundation of China, No.41771442, 41271402.

Copyright

《地球信息科学学报》编辑部 所有
Fold

Abstract

In the development of virtual geographic environment (VGE), natural and efficient human-computer interactions have always been one of the core contents of its research. However, users still communicate with VGE based on the traditional human-computer interaction interface in many current VGE application cases. This leads to two problems: (1) the immersive feeling of the users is poor; (2) the requirements for multi-users to interact in VGE cannot be effectively satisfied. It is crucial to take advantage of the latest achievements of human-computer interaction technology in order to solve these problems to meet the immersive multi-user collaborative interaction requirements in VGE. In this paper, the status of research and application of the human-computer interaction technology in VGE was reviewed. The development process and basic principle of motion capture technology and its advantages in improving the interactive immersion of VGE users were briefly described. Next, focusing on the design of immersive multi-user collaborative interaction system in VGE, the immersive multi-user collaborative interaction model based on motion capture technology and the corresponding interactive semantics of its interactive actions were analyzed. A multi-user collaborative conflict control mechanism was proposed. The structure and function of the immersive multi-user collaborative interaction system in VGE were introduced emphatically. Moreover, the Virtual Yanyuan Auxiliary Planning Prototype System (VYAPPS) adopting Peking University campus as a case study was developed by using Javascript and Python language. The experiments based on VYAPPS were carried out. Questionnaire statistical results show that the interactive effects of the immersive multi-user collaborative interaction technology in VGE are recognized by users. The results also showed that the advantages of the immersive multi-user collaborative interaction technology in improving multi-user immersion make it have a good application prospect. For example, it can be applied to geography education, urban planning, emergency rescue, military command fields and so on.

Key words： VGE; motion capture; human-computer interaction; multi-user collaboration; immersion

Cite this article

YUAN Shuai , CHEN Bin , YI Chao , XU Bingli . Research and Implementation of Immersive Multi-User Collaborative Interaction Technology in Virtual Geographic Environment[J]. Journal of Geo-information Science, 2018 , 20(8) : 1055 -1063 . DOI: 10.12082/dqxxkx.2018.180082

1 引言

虚拟地理环境（Virtual Geographic Environment,VGE）的思想起源于Michael Batty提出的虚拟地理学[1]。2001年,林珲和龚建华在《虚拟地理环境：在线虚拟现实的地理学透视》一书正式提出了VGE的概念、理论和方法[2]。VGE的概念提出以后,相关学者基于各自的研究,对其从不同的侧重点进行了完善,林珲等[3]将VGE定义为包括作为主体的化身人类社会以及围绕该主体存在的一切客观环境;龚建华等[4]将VGE定义为以化身人为主体的一个虚拟共享空间,既可以是现实地理环境的表达与超越,也可指赛博空间中的一个虚拟社会;万钢等[5]认为VGE是基于地理空间信息网格的多维空间数据组织模型,可支持多维信息的融合与分析;Voinov等[6]认为VGE是通过融合地理知识而建立的一种基于网络和计算机的地理可视化。经过近20年的发展,VGE目前已形成了以中国学者为主、国际学者广泛参与的研究环境。

1.1 VGE中的人机交互技术

在VGE发展过程中,自然高效的人机交互一直是其研究的核心内容之一。在理论研究方面,林珲等[7]从地理学语言演变的角度,指出面向用户的自然有效交流方式与表达形式是VGE区别于其他语言形式的最重要特征;Lin等[8,9]以虚拟地理实验的视角,讨论了VGE互动环境构建的重要性;贾奋励等[10]从系统论的角度,指出VGE的“感觉相似”是产生沉浸感的重要因素,也是VGE区别于其他空间认识工具的关键;其他学者分别从VGE地理设计的吸引度评价因子[11],通过CryEngine构建沉浸式VGE的技术途径[12],面向军事指挥人员空间认知规律的VGE交互设计[13]和城市VGE模型中的代理人与周围环境的交互[14]等方向,探讨了如何更加有效率地提升VGE交互逼真度或用户沉浸感的理论和方法。总体来看,随着研究的深入,VGE同行关于VGE中人机交互技术的思考在逐渐深化与完善,对VGE“既强调身临其境之感,又追求超越现实的理解”这一重要特征的认识也越发明晰。
在实践应用方面,周洁萍等[15]以陕西绥德韭园沟小流域淤地坝坝系规划为例建立原型系统,基于现实中人与人以及人与环境之间的互动方式,对协同VGE中多用户的交流交互方式进行了初步实验;郑炼功[16]研究了协同虚拟战场研讨环境并开发出了原型系统,该系统支持多用户“浸入”到该环境中,很大程度上解决了真实作战训练中的许多实际问题;陈斌等[17]以可进入三维香港中文大学虚拟校园的设计与实现为例,研究了基于OpenSimulator开发分布式VGE应用的主要技术;Xu等[18]以珠江三角洲的空气污染模拟为例建立原型系统,支持处于不同地理位置的用户进入到VGE中开展大气污染扩散的协同仿真与操作;龚建华[19]、江辉仙[20]分别以洪水演进自然地理过程、人群活动人文地理过程和福建海坛岛半洋石帆海蚀地貌发育实验为案例,初步尝试了实验者如何用化身,以观测者或者参与者身份操纵虚拟场景与实验;易思蓉等[21]以中老铁路某段为例研制基于VGE的铁路数字化选线设计系统,为选线工程师在室内立体环境下摸拟现场实景分析,实现三维实体线路设计提供技术支持。
通过上述分析可以发现,众多学者对如何利用人机交互技术来提高VGE用户的沉浸感进行了有益的研究和探索。但在这些应用案例中,用户通常仍是基于键盘、鼠标和触摸屏等人机交互设备来操作化身人,交互位置和交互动作固定,从而导致操作的真实感不强和交互的沉浸感不高。而现实中典型的VGE应用需求是多人同时沉浸于某一VGE中,可进行面对面的交流研讨,并能基于共同目标完成对该VGE的协同交互,且彼此的交互操作和结果实时可见。因此,如何利用人机交互技术的最新发展成果来设计满足这一需求,是亟需解决的问题。

1.2 动作捕捉技术

动作捕捉也称为运动捕捉,是指“在一定空间范围内通过对特殊标记点的跟踪来记录捕捉对象运动信息,然后将其换算为可使用数学方式进行表达的运动的过程”[22]。其技术发展大致经历了20世纪初的萌芽期、70年代的实验研究期、80年代基于计算机技术的发展期、90年代的商业化拓展期和21世纪初的高速蓬勃期等阶段[23,24,25,26,27]。动作捕捉系统通常包括传感器、信号捕捉设备、数据传输设备和数据处理设备,其工作原理是基于被捕捉对象关键部位标记或固定的传感器,由信号捕捉设备跟踪、记录、测量这些传感器的空间坐标与轨迹,经过数据传输与处理,最终驱动虚拟对象或角色运动[28]。
伴随着当前计算机科学和传感器技术的快速进步,实时动作捕捉技术不仅可以获取真实环境中的人或物的运动状态和姿态,而且为虚拟环境与真实环境之间的通信提供了可靠的技术保障。它已成为人机交互技术的重要支撑技术,是实现自然式人机交互、提高人机交互效率的重要途径之一[29,30]。因此,这为相关学者利用它来解决VGE的沉浸式交互问题提供了思路,如李小杰等[31]探讨了将基于计算机视觉的手势识别技术引入到VGE中的必要性和途径,而龚建华等[4]、Lin等[32]则分析了基于视觉、触觉等多通道人机交互的VGE系统构建理论和方法,张晓丽[33]将三维捕捉数据引入到了三维虚拟火场环境的消防模拟训练系统,陈楠楠等[34]、陈帼鸾等[35]分别基于摄像头识别技术和HTC vive设备开发了交互式虚拟校园系统,杨光辉等[36]基于Kinect研制了虚拟展馆游览系统,以及霍宇平等[37]用惯性运动捕捉技术研制了沉浸式变电站仿真系统。
通过开展实验,上述基于动作捕捉技术的VGE应用系统在提高用户交互沉浸感上取得了较大突破,实现了更加人性化的交互效果,但还存在一个共同的问题,即它们仍是基于单用户设计,每次使用也仅限单人操作。因此,为满足上述典型应用对多人协同交互的需求,实现VGE中沉浸式交互由单人操作到多人协同,本文对VGE中沉浸式多人协同交互系统进行了设计。

2 VGE中沉浸式多人协同交互系统 设计

2.1 VGE中沉浸式多人协同交互模式

本文“沉浸式”交互主要是指使用动作捕捉技术作为实现VGE中人机交互的重要手段,且以基于动作捕捉技术的用户化身作为VGE的主体,模拟现实中人类的交流交互。在此基础上,“沉浸式多人协同”交互是指多名用户不仅可远程登录到同一虚拟地理场景中,能以各自不同的视角进行观察,且每名用户可以看到其他用户的化身及其位置和姿态,任一用户自身状态的改变或对VGE的操作,将实时同步到其他用户所观察到的虚拟地理场景之中,所有的状态信息都具备对应的可视化效果。
现实世界中的多人协同交流交互实际上包括真实地理环境中的人与人之间以及人与地理空间之间的交流交互,因此本文将VGE中沉浸式多人协同交互模式分为用户与用户之间的交互以及用户与VGE之间的交互。由于VGE包括具有位置、大小和方向等属性的可新增、删除和移动的虚拟对象,以及占据空间范围、具备连续分布属性的作为应用背景的虚拟地理景观,因此将用户与VGE之间的交互又分为用户与虚拟对象的交互以及用户与虚拟地理景观的交互。
为了满足不同模式下用户的交互需求,设计了化身的骨骼模型,如图1所示。化身骨骼结构由24个节点组成,其基于人体关节的节点设计确保了化身对用户基本操作动作的表达,如头部节点表示头的中心位置,连接颈部节点确保用户化身头部能够转动以表现真实用户的头部转动,同时结合多人协同的需求,对化身的手部骨骼使用了3个节点,以满足用户手部抓握等操作的表现需求,而对化身脚部骨骼则进行了简化处理,仅使用1个节点表示,确保其能够反映用户脚部大致姿态。
Fig. 1 Avatar bone structure

图1 化身骨骼结构

基于上述化身骨骼模型,为各交互模式设计了一些基本的交互动作。用户与用户之间的交互动作包括化身的转向、蹲下、起立和化身之间的对话、传递和研讨等形式。其中,传递和研讨以化身面对面的方式进行,属于多人协同交互模式特有的交互动作。用户与虚拟对象交互包括化身对虚拟对象的指点、拾取、移动、放置、增删等形式;用户与虚拟地理景观交互包括化身对VGE的放大、缩小和漫游等形式。
各交互动作模式包含的交互动作类型及其对应的语义见表1。
Tab. 1 Immersive multi-user collaborative interaction model and interactive actions' semantics in VGE

表1 VGE中沉浸式多人协同交互模式及交互动作语义

交互模式 动作类型 交互动作语义
用户与用户
之间交互		 转向 用户化身的朝向发生改变
蹲下 用户化身下蹲,以便观察
起立 用户化身起立,以便观察
对话 用户通过自然语音进行沟通
传递 虚拟对象从一个化身手中传递到另一个化身手中
研讨 用户化身通过手势和语音进行讨论,相互交流
用户与VGE
之间交互		 与虚拟对象交互 指点 用户化身通过手势或工具来使感兴趣对象高亮,准备交互
拾取 用户化身指点目标虚拟对象后,用手抓住该对象
移动 用户化身拾取虚拟对象后,移动手部位置,该对象位置改变
放置 用户化身移动虚拟对象后手部松开,该对象置于新位置
增加 用户化身拾取虚拟对象后移动手部位置到虚拟地理场景内,该虚拟对象增添
删除 用户化身拾取虚拟对象后移动手部位置到虚拟地理场景外或指点物体后点击菜单删除按钮,该虚拟对象删除
与虚拟地理景观交互 放大 用户化身左右手从中间向两侧分开,局部场景放大
缩小
漫游		 用户化身左右手从两侧向中间合拢,局部场景缩小
用户化身在虚拟地理景观中的位置发现变化

2.2 VGE中沉浸式多人协同冲突控制机制

在沉浸式多人协同交互模式中,由于用户对VGE的操作必须实时共享,因此要求冲突解决机制的步骤不能过于繁琐,同时,多用户对虚拟对象的协同操作是共享可见的,为此只需通过服务器记录不同用户对同一虚拟对象的协同交互时间顺序即可有效防范交互冲突。
实现方法采取服务器端对客户端的每个操作请求均返回成功或失败状态码,成功状态码代表允许操作申请,失败状态码代表驳回操作申请。当多个客户端对同一虚拟对象向服务器发送操作请求时,如果操作的物体未被占用,则服务器向最先发送操作请求的客户端发送操作申请成功状态码,允许该操作,同时给其他客户端返回操作申请失败状态码,驳回该操作。当前客户端完成对该虚拟对象的操作后,向服务器发送操作完成请求,服务器将该虚拟对象设置为未被占用状态,其他客户端可继续对该虚拟对象进行操作尝试。

2.3 VGE中沉浸式多人协同交互系统结构

VGE中沉浸式多人协同交互系统采用客户端/服务器（C/S）的中心分布式网络架构,包括服务器端、客户端和动作捕捉端。服务器端采用多台服务器集群模式,统一对外提供服务,服务器端对应多个客户端,每个客户端又连接一个动作捕捉端,其结构如图2所示。
Fig. 2 Structure of immersive multi-user collaborative interaction system in VGE

图2 VGE中沉浸式多人协同交互系统结构

服务器端包括Http服务器、虚拟世界服务器和数据库管理服务器,数据和服务位于不同的服务器上,可自由组合、任意扩展,以充分满足VGE分布式扩展和多人协同交互的需求。客户端包括动作捕捉插件、资源管理模块、渲染模块和通信模块,完成对各类动作捕捉设备的驱动、对本地资源的管理、与服务器端的通信（请求和响应）以及显示终端的渲染。动作捕捉端包括各类动作捕捉系统,负责用户位置、动作和姿态数据的获取。

2.4 VGE中沉浸式多人协同交互系统功能

VGE中沉浸式多人协同交互系统功能包括整体功能和模块功能。基于上述交互模式和系统结构,系统整体功能可概括为动作捕捉端获取用户各类数据,通过客户端进行打包,发送到服务器端,在服务器端融合为化身动作和状态,分析并实现动作对应的语义,在由空间数据库和模型数据库构成的VGE中进行彼此之间的交互或完成对虚拟对象和虚拟地理景观的协同交互,并把交互结果同步到各个客户端和动作捕捉端,完成实时渲染。系统中各功能模块的功能设计见表2。
Tab. 2 Module function design of immersive multi-user collaborative interaction system in VGE

表2 VGE中沉浸式多人协同交互系统模块功能设计

系统角色 功能模块 功能描述
服务器端 Http服务器 完成通信协议解析等服务功能
虚拟世界服务器 实体服务器 提供动态内容同步服务
资源服务器 提供动态LOD资源服务,以优化渲染的资源分配和显示效果
化身服务器 把捕捉到的用户位置、动作和姿态数据合成为化身动作,分析并实现动作语义,并将操作结果实时发送给其他用户
语音服务器 打包并根据声场量级来传输实时语音数据
数据管理服务器 空间数据库 对三维地形数据和遥感影像数据等地学数据进行管理,构成基础VGE
模型数据库 对三维模型信息和化身模型信息进行管理,构成VGE
客户端 资源管理模块 对本地的各类数据资源进行管理
通信模块 负责对服务器端的请求与响应
渲染模块 对场景进行渲染,完成PC显示屏、头盔显示器等设备上的显示
动作捕捉端 动作捕捉插件 完成对各种类型动作捕捉设备的驱动
动作捕捉设备 获取用户位置、动作和姿态数据
目前,本文以北京大学为例,基于该系统设计完成了虚拟燕园辅助规划设计原型系统（Virtual Yanyuan Auxiliary Planning Prototype System,VYAPPS）的研制与开发。

3 VYAPPS与初步实验

3.1 VYAPPS简介

VYAPPS具备辅助规划设计功能,支持用户从建筑模型库当中提取所需的三维建筑模型,并可实时调整其大小、比例、朝向、位置等,以对建筑的规划和效果进行评估。
为便于多用户协同交互效率的提高,VYAPPS设计了代表建筑规划专业老师、建筑规划专业学生和普通非专业师生3类化身的形象。通过这一标识,多用户基于自身的建筑规划专业水平选择对应类型的化身形象并协同操作时,更有利于彼此之间的探讨交流。VYAPPS运行实景如图3所示。
Fig. 3 The operation scene of VYAPPS

图3 VYAPPS运行实景

3.2 VYAPPS结构

基于VGE中沉浸式多人协同交互系统结构,VYAPPS采用C/S结构,其动作捕捉端选用HTC vive动作捕捉系统,虚拟世界平台采用High Fidelity。VYAPPS具体结构如图4所示。
Fig. 4 The structure of VYAPPS

图4 VYAPPS结构

动作捕捉端包括3套HTC vive动作捕捉设备。HTC vive使用激光扫描定位技术,即通过对角分布的激光定位器发射激光,在激光扫射的同时,头盔开始计数,传感器接收到激光信号后,利用传感器位置和接收激光时间的关系,来计算用户头部和手部的位置和方向信息,其具备低延迟性能,能满足VYAPPS的实时性需求。
客户端包括安装High Fidelity、各类驱动和应用程序的3台计算机（酷睿i7CPU,NVIDIA GeForce GTX 1080显卡,32G内存）。其中,High Fidelity是由Linden Lab创始人Philip Rosedale在借鉴创立Second Life的丰富经验基础上开发的专注于提供基础架构的开源VR平台,开发者可用其免费创建并分享属于自己的虚拟世界。com代表通信模块,负责将HTC vive头盔捕捉到的头部运动和位置数据以及HTC vive手柄捕捉到的手部运动和位置数据发送给服务器端,并负责将多人协同交互合成后的数据同步响应给PC显示器和HTC vive头盔,由High Fidelity完成实时渲染。

3.3 VYAPPS开发过程及实验

本文采用Javascript和Python语言实现VYAPPS,并开展了应用实验。VYAPPS中的VGE由地理数据和模型数据构成,如图5所示。
Fig. 5 VGE in VYAPPS

图5 VYAPPS中的VGE

地理数据包括北京大学DEM、北京大学卫星影像数据和北京大学平面地图数据;模型数据包括北京大学三维建筑模型、操作平台和辅助平台。操作平台用于构建VGE的边界范围,辅助平台上放置指点棒和三维建筑模型源。指点棒用于实现用户对虚拟对象的指点操作,三维建筑模型源用于用户对建筑模型的手动生成。
VYAPPS将地理数据融合成基础VGE,并且根据北京大学三维建筑模型信息自动生成建筑,支持3人同时进入,实现了VGE中沉浸式多人协同交互模式中的各类交互动作的交互语义,其中用户之间的研讨、用户之间的传递,用户对虚拟对象的拾取等结果如图6所示。
Fig. 6 Experimental results of VYAPPS

图6 VYAPPS实验结果

为了掌握用户对VYAPPS的性能评价和体验评价,设计了包括系统性能和用户体验2个项目在内的问卷调查表,采取很好、一般、很差三级评价。系统性能评价主要包括系统流畅性和捕捉准确率 2类内容：系统流畅性指系统可支持用户连续操作一段时间而无眩晕感（≥30 min为很好,≤10 min为很差,其他为一般）;捕捉准确率是指用户在至少完成20次各类交互动作的条件下的正确识别率（识别率≥95%为很好,≤80%为很差,其他为一般）。用户体验主要是基于与传统的VGE系统的使用体验的对比,包括交互自由度,操作适应度和多人沉浸度3项。交互自由度指用户在一定的空间范围内交互而非仅局限于计算机前交互的自由程度;操作适应度指用户对系统的操作可否在较短时间内达到操作自如的程度（≤5 min为很好,≥15 min为很差,其他为一般）;而多人沉浸度则指系统对沉浸式多人面对面协同交互的支持程度。
共收集40名用户对VYAPPS的使用问卷,其中有效反馈35份（教授2人,研究生18人,本科生15人;男性22人,女性13人）,其统计结果见表3。实验统计结果表明,VYAPPS在流畅性和捕捉准确率方面保持了较高的性能标准,且与传统VGE中的人机交互应用案例相比,其在支持多人的自然沉浸式交互体验方面有较大的优势,交互效果受到用户认可。
Tab. 3 Questionnaire statistics of VYAPPS

表3 VYAPPS问卷统计结果

项目 具体内容 很好 一般 很差
数目 比率/% 数目 比率/% 数目 比率/%
系统性能 系统流畅性 32 91 2 6 1 3
捕捉准确率 31 88 2 6 2 6
用户体验 交互自由度 34 97 1 3 0 0
操作适应度 33 94 1 3 1 3
多人沉浸度 33 94 2 6 0 0

4 结论

本文以VGE中沉浸式多人协同交互研究为重点,在理论方面,介绍了VGE中人机交互技术的研究和应用现状,简要阐述了动作捕捉技术及其最新发展在提高VGE用户交互沉浸感上的优势;在技术方面,根据VGE典型应用需求,分析了基于动作捕捉技术的沉浸式多人协同交互模式,完成了VGE中沉浸式多人协同交互系统设计,并利用Javascript和Python语言开发了VYAPPS,实现了VGE中沉浸式交互由单人操作到多人协同。研究结果表明,VGE中沉浸式多人协同交互技术在化身之间及化身与虚拟环境之间的沉浸式协同交互方面具有明显的优势,其可为研发与实现城市建设规划、虚拟地质教学和战场态势感知等诸多领域中的沉浸式多人VGE应用提供新的有效方法。
基于惯性捕捉的数据手套（如Noitom Hi5 VR手套）或基于计算机视觉的动作捕捉设备（如Kinect）可获取用户的手部动作细节数据,HTC vive与两者或两者之一的融合可进一步提高VYAPPS动作捕捉端的捕捉准确率,使得多用户的协同交互更为自然。因此为进一步提高VGE用户的交互沉浸感,在动作捕捉端实现多种模式的动作捕捉技术融合将成为下一步的研究内容。

The authors have declared that no competing interests exist.

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Batty M.Virtual geography[J]. Futures, 1997,29(45):337-352.

DOI

[2]
龚建华,林珲.虚拟地理环境:在线虚拟现实的地理学透视[M].北京:高等教育出版社,2001.

[ Gong J H, Lin H.VGE: Geographical perspective of online virtual reality[M]. Beijing: Higher Education Press, 2001. ]

[3]
林珲,龚建华,施晶晶.从地图到地理信息系统与虚拟地理环境——试论地理学语言的演变[J].地理与地理信息科学,2003,19(4):18-23.

[ Lin H, Gong J H, Shi J J.From maps to GIS and VGE: A discussion on the evolution of the geographic language[J]. Geography and Geo-information Science, 2003,19(4):18-23. ]

[4]
龚建华,周洁萍,张利辉.虚拟地理环境研究进展与理论框架[J].地球科学进展,2010,25(9):915-926.lt;p>阐述虚拟地理环境的形成、发展与研究现状，并从&ldquo;虚拟现实技术&rdquo;与&ldquo;虚拟现实&rdquo;的相互关系探讨虚拟地理环境基本概念。从基本思想、系统结构、在线参与者社会组织水平、与GIS/数字地球的关系等角度，分析虚拟地理环境的特征。从数据、模型、表现以及协同4个方面，讨论了虚拟地理环境系统建设的关键技术与研究前沿。尝试建立了一个虚拟地理环境基本理论初步研究框架，认为在地理哲学思想层次应该重点研究复杂性人地系统、地理虚/实关系论、地理/遥感信息本体论，在地理/地理信息科学层次需要重点研究地理认知与思维、地理相似原理、地理计算模拟；同时讨论虚拟地理环境与面向&ldquo;人&rdquo;的地理信息科学、基于虚拟地理环境地理科学方法论，以及可计算人地关系的相关理论问题。</p>

DOI

[ Gong J H, Zhou J P, Zhang L H.Study progress and theorectical framework of virtual geographic environments[J]. Advances in Earth Science, 2010,25(9):915-926. ]

[5]
万刚,曹雪峰.地理空间信息网格的历史演变与思考[J].测绘学报,2016,45(s1):15-22.网格的概念随着科学技术和社会实践的发展而不断演变,在不同行业中的内涵既有区别又有联系。本文首先分析了地理空间网格的基本特征,提出了地理空间网格的广义和狭义概念。然后,回顾分析了地理空间网格的发展历史,认为地理空间网格是一种人类空间认知的重要思想和理论、方法,地理空间信息网格是信息化条件下的地理空间网格。最后,分析指出了地理空间信息网格以信息化的地球系统为研究对象,以模型理论为基础理论,未来将发展出现代地理空间网格的标准体系和服务体系,不仅服务于人,还将服务于智能化平台,具有广阔发展前景。

DOI

[ Wan G, Cao X F.The historical evolution and reflection of geospatial information grid[J]. Acta Geodaetica et Cartographica Sinica, 2016,45(s1):15-22. ]

[6]
Voinov A, Çöltekin A, Chen M, et al.Virtual geographic environments in socio-environmental modeling: A fancy distraction or a key to communication?[J]. International Journal of Digital Earth, 2018,11(4):408-419.

DOI

[7]
林珲,朱庆.虚拟地理环境的地理学语言特征[J].遥感学报,2005,9(2):158-165.在比较分析传统地图和GIS的地理学语言功能基础上,指出了虚拟地理环境对现实世界抽象表达的多维特征、多视点和多重细节的多模态可视表现、多种自然交互方式和跨时间、空间与尺度的地理协同以及多感知的空间认知能力等。说明虚拟地理环境提供了一种综合表意系统和更接近自然的多感知的空间认知能力,使得从现实世界到人类大脑的信息带宽最大化,提供了超越现实的抽象表示与解析理解能力,达到了增强现实的目的。虚拟地理环境作为继GIS之后新一代地理学语言的显著特征是以用户为中心、提供最接近人类自然的交流方式与表达形式。

DOI

[ Lin H, Zhu Q.The linguistic characteristics of virtual geographic environments[J]. Journal of Remote Sensing, 2005,9(2):158-165. ]

[8]
Lin H, Chen M, Lu G N.Virtual geographic environment: A workspace for computer-aided geographic experiments[J]. Annals of the Association of American Geographers, 2013,103(3):465-482.A virtual geographic environment (VGE) is a type of workspace for computer-aided geographic experiments (CAGEs) and geographic analyses. By supporting geo-visualization, geo-simulation, geo-collaboration, and human participation, it provides open virtual environments that correspond to the real world to assist computer-aided geographic experiments involving both the physical and human dimensions. Based on a discussion of how VGEs can contribute to CAGEs and geographic analyses, this article proposes a clear, systematic framework for VGEs. Four subenvironments are discussed according to their different functions, pertinent issues, and corresponding solutions: (1) the data environment, (2) the modeling and simulation environment, (3) the interactive environment, and (4) the collaborative environment. Furthermore, a case on the simulation of air pollution and its analysis at different geographic scales is used to demonstrate VGEs' ability to facilitate computer-aided geographic experiments.

DOI

[9]
林珲,陈旻.利用虚拟地理环境的实验地理学方法[J].武汉大学学报·信息科学版,2014,39(6):689-694.近年来,随着虚拟地理环境结构和功能的逐渐清晰,虚拟地理环境的地学分析及地理实验辅助功能逐步得到了重视。基于对地理学实验特征及任务的分析,讨论了虚拟地理环境对改进传统地理学实验的贡献,借此倡导基于虚拟地理环境以"虚实结合"的方法开展综合、协作式地理实验。

DOI

[ Lin H, Chen M.Experimental geography based on virtual geographic environments[J]. Geomatics and Information Science of Wuhan University, 2014,39(6):689-694. ]

[10]
贾奋励,张威巍,游雄.虚拟地理环境的认知研究框架初探[J].遥感学报,2015,19(2):179-187.作为新一代地理分析工具,虚拟地理环境对于增强人类地理认知、分析解决地理问题方面具有显著优势.目前虚拟地理环境的基本框架、实现技术均有较多论述与成果.但在虚拟地理环境的认知研究方面尚缺乏有效指导.为提高虚拟地理环境构建的科学性,本文通过对虚拟地理环境现有概念的分析,提出从系统论角度进行虚拟地理环境认知研究的观点;并对虚拟地理环境的认知与地理认知、地图认知等相近概念进行了对比分析.从现实环境与虚拟环境间的相似性入手建立了虚拟地理环境的认知研究框架,该框架从思维相似、感觉相似、几何相似、特性相似和离散相似5个方面探讨了虚拟地理环境认知研究目前的着眼点,并将思维相似作为虚拟地理环境认知研究的重点与难点.该框架将虚拟地理环境的认知问题置于一个更广泛背景中进行研究,一方面体现了虚拟地理环境所具有的地理实验研究新平台的作用,另一方面重点强调了人的作用,对深入开展虚拟地理环境的研究具有重要意义.

DOI

[ Jia F L, Zhang W W, You X.Cognitive research framework of virtual geographic environment[J]. Journal of Remote Sensing, 2015,19(2):179-187. ]

[11]
林天鹏,林珲,胡明远,等.基于虚拟地理环境平台的地理设计研究[J].中国园林,2014(10):18-21.作为21世纪新概念的地理设计 (GeoDesign)被引入传统的规划与设计领域之中。在风景园林、城市规划中加入地理分析并整体性地考量设计方面的问题,是地理设计的核心价值体现。 地理分析的工具多种多样,不少地理设计相关人士试用过AutoCAD、ArcGIS之类的传统地理分析软件,取得良好成果。除此之外,在20来年的发展过 程中,虚拟地理环境(Virtual Geographic Environment,VGE)从概念提出到成熟应用也积累了较多的经验。将虚拟地理环境作为地理分析的平台,从地理分析的视角验证其辅助地理设计的方 法与可行性,探讨两者的结合点与协作方法,并以香港地质公园规划中路径选择评价为例,确定了路径选择的评价因子,并应用地理设计的方法,在虚拟地理环境平 台支持下开展地理分析,评价与选择合适的规划路径,探索了基于虚拟地理环境平台的地理设计的技术途径与实现方法。

[ Lin T P, Lin H, Hu M Y, et al.Research on geodesign based on virtual geographic environment platform[J]. Chinese Landscape Architecture, 2014(10):18-21. ]

[12]
徐丙立,荆涛,林珲,等.利用CryEngine构建虚拟地理环境[J].武汉大学学报·信息科学版,2017,42(1):28-34.尝试采用新一代图形引擎CryEngine实现小尺度条件下多要素耦合与逼真表达,探索基于该引擎的虚拟地理环境构建方法,包括虚拟地形环境的快速构建方法、车辆建模与动态模拟方法、人物建模与智能行为模拟方法,以及场景集成与渲染方法等。以虚拟校园为原型系统,验证所提方法的可行性以及可视化效果,结果表明,基于CryEngine构建虚拟地理环境路线可行,尤其在面向小尺度虚拟环境时,能够很好地将环境、实体和人物紧密耦合在一起,且其逼真程度较现有虚拟环境有大幅度提升。

DOI

[ Xu B L, Jing T, Lin H, et al.CryEngine based virtual geographic environments construction[J]. Geomatics and Information Science of Wuhan University, 2017,42(1):28-34. ]

[13]
胡香,巩保胜,胡建磊,等.面向军事指挥人员空间认知规律的虚拟地理环境设计研究[J].测绘与空间地理信息,2017,40(10):129-131.虚拟地理环境提供了空间认知的新工具。虚拟地理环境的设计是一种创造性的思维过程,离不开人脑的参与。可以说,一个虚拟地理环境系统就是一个认知模型,不同的目的、不同的专题、不同的视角得到不同的模型。对于虚拟地理环境,人们更多的是关注技术,而忽略设计。把一般原理同具体特点结合起来,才能设计出既符合一般规则,又具有不同个性的虚拟地理环境系统。军事指挥人员是一个特殊的群体,本文分析了该群体的特点和地理空间认知过程,提出了面向中高级军事指挥人员的虚拟地理环境设计思路。

[ Hu X, Gong B S, Hu J L, et al.Research on the design of virtual geographical environment for military commanders[J]. Geomatics & Spatial Information Technology, 2017,40(10):129-131. ]

[14]
Mekni M.Spatial simulation using abstraction of virtual geographic environments[J]. International Journal of Digital Earth, 2018,11(4):334-355.In this paper, we propose a novel approach to automatically building Informed Virtual Geographic Environments (IVGE) using data provided by Geographic Information Systems (GIS). The obtained IVGE provides 2D and 3D geographic information for visualization and simulation purposes. Conventional VGE approaches are generally built upon a grid-based representation, raising the well-known problems... [Show full abstract]

DOI

[15]
周洁萍,龚建华,陈铮,等.协同虚拟地理环境中多用户交流交互模式及实现[J].地理与地理信息科学,2005,21(5):33-37.依据现实中人与人之间交往交流以及人与真实环境之间的关系互动方式,结合Internet上用户之间的信息交流手段,建立协同虚拟地理环境中多用户的交流交互模式,并以此为基础设计了协同虚拟地理环境的系统框架结构.以陕西绥德韭园沟小流域淤地坝坝系规划为例,应用JAVA、JAVA3D、VRML研发了小流域坝系三维协同规划原型系统,并对协同虚拟地理环境中多用户的交流交互方式进行初步实验.

DOI

[ Zhou J P, Gong J H, Chen Z, et al.Study on collaborative virtual geographic environment system for multi-user interaction and communication[J]. Geography and Geo-information Science, 2005,21(5):33-37. ]

[16]
郑炼功. 协同虚拟战场研讨环境构建理论及技术研究[D].郑州:信息工程大学,2007.

[ Zheng L G.Research on theory and technology of collaborative virtual battlefield research environment construction[D]. Zhengzhou: Information Engineering University, 2007. ]

[17]
陈斌,黄凤茹,方裕,等.基于OpenSimulator的分布式虚拟地理环境应用研究[J].高技术通讯,2011,21(12):1272-1278. Based on the analyses of the concept, characteristics and advantages of existing 3D virtual worlds, the paper studies the techniques for utilizing the three dimensional (3D) virtual geographic environment (VGE). A new approach of integrating real geographical spatial information into virtual worlds to realize distributed VGE applications based on the OpenSimulator is proposed. Taking the design and implementation of an immersive 3D virtual campus and its virtual applications as an example, the key technology and the key method for development of distributed VGE applications are investigated. The results show that the method for integration of virtual worlds and real geo spatial information benefits VGE applications in several aspects of immersive virtual avatars, realistic and delicate rending effects of virtual environment representation, and collaboration and interaction between avatars or between avatars and the virtual environments. The approach can provide new methods to better develop distributed VGE applications in related fields

DOI

[ Chen B, Huang F R, Fang Y, et al. Distributed virtual geographic environments applications based on OpenSimulator[J]. Chinese High Technology Letters, 2011,21(12):1272-1278. ]

[18]
Xu B L, Lin H, Chiu L S, et a1. Collaborative virtual geographic environments: A case study of air pollution simulation[J]. Information Sciences, 2011,181(11):2231-2246.The integration of high dimensional geo-visualization, geo-data management, geo-process modeling and computation, geospatial analysis, and geo-collaboration is a trend in GIScience. The technical platform that matches the trend forms a new framework unlike that of GIS and is conceptualized in this paper as a collaborative virtual geographic environment (CVGE). This paper focuses on two key issues. One is scientific research on CVGE including the concept definition and the conceptual and system framework development. The other is a prototype system development according to CVGE frameworks for air pollution simulation in the Pearl River Delta. The prototype system integrates air pollution source data, air pollution dispersion models, air pollution distribution/dispersion visualization in geographically referenced environments, geospatial analysis, and geo-collaboration. Using the prototype system, participants from geographically distributed locations can join in the shared virtual geographic environment to conduct collaborative simulation of air pollution dispersion. The collaborations supporting this simulation happen on air pollution source editing, air pollution dispersion modeling, geo-visualization of the output of the modeling, and geo-analysis.

DOI

[19]
龚建华. 论虚拟地理实验思想与方法[J].测绘科学技术学报,2013,30(4):399-408.

[ Gong J H.On thought and methodology of virtual geographic experiment[J]. Journal of Geomatics Science and Technology, 2013,30(4):399-408. ]

[20]
江辉仙. 地理环境虚拟实验系统[J].实验室研究与探索,2014,33(11):62-66.通过对地理学科实验教学现状的分析引出要研究的问题,从构建虚拟 地理环境实验系统的思路入手,分析探讨虚拟地理环境实验系统在解决教育规模与质量之间的矛盾、克服实验资源不均衡和提高学生创新能力等方面的问题,并初步 讨论构建虚拟地理环境实验系统的方法和示范应用案例.从实验教学的角度,虚拟地理环境实验系统以培养学生动手能力、实践能力和创新能力为目的,凝练实验教 学资源,拓展实验教学手段,使地理学专业的学生在实验操作能力、野外调查能力、综合分析与应用能力等方面综合发展,培养富有开拓精神、创新能力和国际竞争 力的高素质人才,不断地使地理实验教学改革与社会需求相适应.

DOI

[ Jiang H X.Virtual experiment system of geographical environment[J]. Research and Exploration in Laboratory, 2014,33(11):62-66. ]

[21]
易思蓉,聂良涛.基于虚拟地理环境的铁路数字化选线设计系统[J].西南交通大学学报,2016,51(2):373-380.为了在逼真显示的三维地理环境中实现铁路三维实体选线设计,研制了一个基于虚拟地理环境的铁路数字化选线设计系统.该系统集成空间信息技术、数字摄影测量技术、地理遥感技术、虚拟现实技术以及计算机仿真技术,基于航测影像信息和卫星遥感信息,建立了一个逼真显示的铁路虚拟地理环境;采用BIM(building information modeling)技术,构建了铁路构造物基元模型库;通过调用库中的实体基元模型,实时构建方案线三维模型,并在三维环境下对其进行检查修改,比选不同结构类型,实现三维实体选线设计.系统在中老铁路勘测设计中进行了实例验证,结果表明:该系统能够让选线工程师在室内环境下模拟现场实景分析和踏勘,能快速构建方案线三维实体模型,具有方案线比选直观等特点,能满足环境选线、重大工程优先选址选线、海外铁路选线的需求.

DOI

[ Yi S R, Nie L T.Digital railway location system based on virtual geographic environment[J]. Journal of Southwest Jiaotong University, 2016,51(2):373-380. ]

[22]
Menache A.Understanding motion capture for computer animation and video games[M]. San Francisco: Morgan Kaufmann Publishers Incorporated, 1999.

[23]
Srurma D J.A brief history of motion capture for computer character animation[C]. Proceding of ACM Annual Conference on Computer Graphics. New York, USA, 1994.

[24]
黄波士,陈福民.人体运动捕捉及运动控制的研究[J].计算机工程与应用,2005,41(7):60-63.在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的和三维重建技术.无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维关键技术,包括摄像机标定、标记点跟踪重建.基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用.论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息.

DOI

[ Huang B S, Chen F M.Research on human body motion capture and motion control[J]. Computer Engineering and Applications, 2005,41(7):60-63. ]

[25]
李晓丹,肖明,曾莉.人体动作捕捉技术综述以及一种新的动作捕捉方案陈述[J].中国西部科技,2011,10(15):35-37.

[ Li X D, Xiao M, Zeng L.Review on the motion capture technologies[J]. Science and Technology of West China, 2011,10(15):35-37. ]

[26]
李明宇,赵亮,姜军.动作捕捉技术应用研究调查报告[J].科技信息,2011(36):471.本文首先简述了动作捕捉技术的产生和发展,然后介绍了动作捕捉技术的设备组成和四种分类以及每一类的优缺点,并详细阐述了光学式运动捕捉技术,最后阐述了动作捕捉技术的应用场合。

DOI

[ Li M Y, Zhao L, Jiang J.Investigation report on application research of motion capture technology[J]. Science & Technology Information, 2011(36):471. ]

[27]
向泽锐,支锦亦,徐伯初,等.运动捕捉技术及其应用研究综述[J].计算机应用研究,2013,30(8):2241-2245.运动捕捉技术能够测量、跟踪和记录物体在三维空间中的运动轨迹,在许多研究领域得到了广泛的应用。介绍了运动捕捉技术的发展历程,概括总结了目前常用的五种运动捕捉系统的组成及优缺点,对采用运动捕捉技术进行应用研究的相关成果进行了收集、分类和整理,从非物质文化遗产的数字化保护、模拟训练与教学、影视和游戏动画制作、人体姿态研究、人机工程学研究等方面对这些成果作了系统综述。在分析总结已有研究成果的基础上,提出可将该技术应用于一些新的研究项目。

DOI

[ Xiang Z R, Zhi J Y, Xu B C, et al.Survey on motion capture technique and its applications[J]. Application Research of Computers, 2013,30(8):2241-2245. ]

[28]
黄玉飞. 动作捕捉技术在体育运动领域的发展现状[J].当代体育科技,2017,7(27):210-211.本文通过介绍动作捕捉的原理和方法,总结了不同动作捕捉技术的特点并展开叙述动作捕捉技术在体育领域的应用现状,意在得出动作捕捉技术在体育领域的局限性以及体育运动的动作捕捉对现有的动作捕捉技术提出的新要求:第一,动作捕捉传感器小向型化发展,穿戴定位简单;第二,惯性动作捕捉在体育领域的应用将是主流手段;第三,动作捕捉数据采集频率快慢是体育动作捕捉精度的关键指标。

DOI

[ Huang Y F.The development status of motion capture technology in sports field[J]. Contemporary Sports Technology, 2017,7(27):210-211. ]

[29]
张凤军,戴国忠,彭晓兰.虚拟现实的人机交互综述[J].中国科学:信息科学,2016,46(12):1711-1736.

[ Zhang F J, Dai G Z, Peng X L.A survey on human-computer interaction in virtual reality[J]. SCIENTIA SINICA Informationis, 2016,46(12):1711-1736. ]

[30]
赵永惠. 人机交互研究综述[J].信息与电脑(理论版),2017(23):24-28.

[ Zhao Y H.Survey of human-computer interaction research[J]. China Computer & Communication, 2017(23):24-28. ]

[31]
李小杰,李响.手势识别技术在虚拟地理环境中的应用初探[J].测绘与空间地理信息,2010,33(5):41-44.

[ Li X J, Li X.Preliminary application of gesture recognition to virtual geographical environment[J]. Geomatics & Spatial Information Technology, 2010,33(5):41-44. ]

[32]
Lin H, Chen M, Lu G N, et al.Virtual geographic environments (VGEs): A new generation of geographic analysis tool[J]. Earth-science Reviews, 2013,126(11):74-84.Virtual Geographic Environments (VGEs) are proposed as a new generation of geographic analysis tool to contribute to human understanding of the geographic world and assist in solving geographic problems at a deeper level. The development of VGEs is focused on meeting the three scientific requirements of Geographic Information Science (GIScience) multi-dimensional visualization, dynamic phenomenon simulation, and public participation. To provide a clearer image that improves user understanding of VGEs and to contribute to future scientific development, this article reviews several aspects of VGEs. First, the evolutionary process from maps to previous GISystems and then to VGEs is illustrated, with a particular focus on the reasons VGEs were created. Then, extended from the conceptual framework and the components of a complete VGE, three use cases are identified that together encompass the current state of VGEs at different application levels: 1) a tool for geo-object-based multi-dimensional spatial analysis and multi-channel interaction, 2) a platform for geo-process-based simulation of dynamic geographic phenomena, and 3) a workspace for multi-participant-based collaborative geographic experiments. Based on the above analysis, the differences between VGEs and other similar platforms are discussed to draw their clear boundaries. Finally, a short summary of the limitations of current VGEs is given, and future directions are proposed to facilitate ongoing progress toward forming a comprehensive version of VGEs.

DOI

[33]
张晓丽. 三维运动捕捉技术在消防模拟训练中的应用[J].武警学院学报,2011,27(8):88-90.从角色模型的创建、消防员个性化动作数据的捕捉和处理以及利用该 数据对模拟训练场景里消防员的驱动,探讨了如何将三维运动捕捉技术应用于消防模拟训练中.结果表明:三维运动捕捉技术的应用为解决消防模拟训练场景中虚拟 消防员实时动画问题,人员疏散的视景仿真问题等探索了道路,奠定了基础.

DOI

[ Zhang X L.A research on the application of three-dimensional motion capturing technology in fire simulation training[J]. Journal of Chinese People's Armed Police Force Academy, 2011,27(8):88-90. ]

[34]
陈楠楠,朱东鸣.基于视觉交互的虚拟校园研究[J].中国医学教育技术,2011,25(5):510-513.

[ Chen N N, Zhu D M.Virtual campus research based on visual interaction[J]. China Medical Education Technology, 2011,25(5):510-513. ]

[35]
陈帼鸾,陆雷敏,何灵辉,等.基于HTC VIVE虚拟校园漫步系统——以中山职业技术学院为例[J].中国科技信息,2017(10):63-64.

[ Chen G L, Lu L M, He L H, et al.Virtual campus ramble system based on HTC VIVE-taking Zhongshan Polytechnic as an example[J]. China Science and Technology Information, 2017(10):63-64. ]

[36]
杨光辉,马纯永,韩勇,等.基于Kinect的虚拟展馆游览系统的设计与实现[J].计算机技术与发展,2014(6):174-178.针对现有三维虚拟展览馆游览系统交互方式用户体验不理想的现状,提出一种基于Kinect的虚拟展馆游览系统。该系统重点研究了利用Kinect骨骼追踪技术实现对体验者身体动作的解析和利用四元数插值对骨骼动画的控制。在功能上,实现了站在Kinect前的体验者通过不同的姿势,对虚拟展馆三维场景中虚拟人物的动作、姿态、位置、朝向的控制。实验结果表明,体验者能够通过体感交互技术较好地实现对虚拟人物姿态的控制并方便地进行虚拟场景游览。

DOI

[ Yang G H, Ma C Y, Han Y, et al.Design and implementation of virtual pavilion tour system based on Kinect technology[J]. Computer Technology and Development, 2014(6):174-178. ]

[37]
霍宇平,张秀娥,李兵,等.运动捕捉技术在变电站虚拟环境中的应用研究[J].系统仿真学报,2016,28(10):2632-2637.在沉浸式变电站仿真系统中,利用MEMS惯性运动捕捉系统,对操作员的肢体运动进行数据捕捉和分析;针对变电站典型操作定义了虚拟场景交互动作语义;采用网格搜索和交叉验证的SVM分类算法对变电站操作行为进行识别,根据识别后的动作驱动变电站场景中的虚拟人完成相关操作;提出了一种基于优先级的角色动画动作编排方法,通过指定权重控制多个动作同时发生时的变形系数,实现不同优先级动作的关键帧动画同时渲染;设计了同时支持角色动画序列和实时数据驱动两种模式的虚拟操作表现方法。研究成果在沉浸式变电站仿真系统中获得应用。

[ Huo Y P, Zhang X E, Li B, et al.Research on motion capture in substation virtual environment[J]. Journal of System Simulation, 2016,28(10):2632-2637. ]

Options
Outlines

/

〈 〉