EN中文

地球信息科学学报 >

2024 , Vol. 26 >Issue 3: 543 - 555

DOI: https://doi.org/10.12082/dqxxkx.2024.230497

地球信息科学理论与方法

时空对象行为驱动的城市感知设施虚实联动交互控制方法

  • 杨飞 , 1 ,
  • 李响 , 2, * ,
  • 曹一冰 2 ,
  • 赵鑫科 2 ,
  • 王丽娜 3 ,
  • 吴烨 1
展开
  • 1.国防科技大学电子科学学院，长沙 410000
  • 2.战略支援部队信息工程大学地理空间信息学院，郑州 450052
  • 3.郑州轻工业大学计算机与通信工程学院，郑州 450000
*李响（1982— ），男，湖北武汉人，博士，副教授，主要研究方向为互联网空间数据获取与分析、地理信息可 视化。E-mail:

杨飞（1991— ），男，四川绵阳人，博士，讲师，研究方向为时空大数据分析、智能设施管理。E-mail:

Copy editor: 蒋树芳

收稿日期: 2023-08-27

  修回日期: 2023-11-17

  网络出版日期: 2024-03-31

基金资助

国家自然科学基金(42201490)

国家重点研发计划项目(2021YFB3900900)

收起

A Method for Spatiotemporal Object Behavior-Driven Interactive Control of Urban Sensing Facilities with Virtual-Reality Integration

  • YANG Fei , 1 ,
  • Li Xiang , 2, * ,
  • CAO Yibing 2 ,
  • ZHAO Xinke 2 ,
  • WANG Lina 3 ,
  • WU Ye 1
Expand
  • 1. Department of Electronic Science, National University of Defense Technology, Changsha 410000, China
  • 2. Department of Geographic Information Engineering, Information Engineering University, Zhengzhou 450052, China
  • 3. Department of Computer and Communication Engineering, Zhengzhou University of Light Industry, Zhengzhou 450000, China
*LI Xiang, E-mail:

Received date: 2023-08-27

  Revised date: 2023-11-17

  Online published: 2024-03-31

Supported by

General Project of National Natural Science Foundation of China,(42201490)

National Key Research and Development Program of China(2021YFB3900900)

Fold

摘要

基于时空数据模型来描述现实世界的时空实体，以及基于时空对象的行为能力建模来控制时空实体的行为动作，既是对GIS时空数据模型的创新扩展，也能够适应数字孪生城市建设中对人、机、物三元融合表达和交互分析的现实需求。作为城市基础设施的重要组成部分，城市感知设施是典型的时空实体，其交互控制的相关研究目前主要集中于物联网、 VR/AR以及GIS领域，而这些领域普遍缺失对基于GIS构建的数字世界中城市感知设施的交互控制研究。针对上述问题，基于全空间信息系统的多粒度时空对象数据模型对城市感知设施的行为能力进行建模，在此基础上提出一种时空对象行为驱动的城市感知设施虚实联动交互控制方法。通过构建设施时空对象的交互控制“五元组”模型，能够支持用户通过虚拟场景与设施实物之间的虚实联动交互控制，从而将基于直接通信指令的城市感知设施交互控制过程在数字世界中进行表达，为数字孪生城市中的感知设施智能化、交互式分析应用提供理论与技术支撑。实验结果表明，所提出的城市感知设施交互控制方法具备有效性与可行性。

关键词： 数字孪生城市; 城市感知设施; 时空数据模型; 时空对象; 行为能力; 行为组件; 交互控制

本文引用格式

杨飞 , 李响 , 曹一冰 , 赵鑫科 , 王丽娜 , 吴烨 . 时空对象行为驱动的城市感知设施虚实联动交互控制方法[J]. 地球信息科学学报, 2024 , 26(3) : 543 -555 . DOI: 10.12082/dqxxkx.2024.230497

Abstract

In recent years, with the continuous development and rapid iteration of emerging technologies such as mobile communication, big data, the Internet of Things (IoT), Artificial Intelligence (AI), digital twins, and autonomous driving, new smart cities have become a significant frontier in the field of Geographic Information Systems (GIS) applications. Digital twin cities represent a complex integrated technological system that underpins the development of next-generation smart cities. Intelligent, holistic mapping for digital twin cities relies on comprehensive urban sensing, and the interactive control of urban sensing facilities plays a pivotal role in achieving the seamless integration of the physical and digital aspects of digital twin cities, fostering the convergence of entities within the urban environment. Describing spatiotemporal entities of the real world through a spatiotemporal data model, as well as modeling the behavioral capabilities of these entities using spatiotemporal object behavior, represents not only an innovative extension of GIS spatiotemporal data models but also addresses the practical requirements of triadic fusion and interactive analysis of human, machine, and object components with the development of digital twin city. As a crucial facet of urban infrastructure, urban sensing facilities epitomize distinctive spatiotemporal entities. Current research into the interactive control of these facilities is predominantly concentrated within the domains of the IoT, Virtual Reality/Augmented Reality (VR/AR), and GIS. However, these domains often lack research pertaining to interactive control of urban sensing facilities within the GIS-based digital realm. To tackle these issues, a viable approach involves mapping the direct physical control processes of humans over objects in the Internet of Things domain to the realm of GIS. Specifically, this involves using a GIS spatiotemporal data model to abstractly represent urban sensing facilities in the real world as spatiotemporal entities. These entities are then expressed as spatiotemporal objects within a spatial information system. Subsequently, the changes or actions of these facility spatiotemporal entities are uniformly abstracted as the behavioral capabilities of these spatiotemporal facility objects. Ultimately, the interaction control of these sensing facilities by humans is transformed into a process where humans invoke the behavioral capabilities of facility spatiotemporal objects, resulting in specific outcomes. Based on the aforementioned idea, this study employs a multi-granular spatiotemporal object data model to construct behavior capabilities for urban sensing facilities. Building upon this foundation, a spatiotemporal object behavior-driven approach for interactive control of urban sensing facilities with virtual-reality integration is introduced. By constructing a "quintuple" model for interactive control of facility objects, this approach facilitates users in engaging in interactive control through a reciprocal linkage between virtual scenarios and physical facilities. This mechanism effectively translates the process of urban sensing facility interaction control based on direct communication commands into the digital world, providing theoretical and technical support for the intelligent and interactive analytical applications of sensing facilities within digital twin cities. Experimental results substantiate the effectiveness and feasibility of the proposed method for interactive control of urban sensing facilities.

Key words： digital twin city; urban sensing facilities; spatiotemporal data model; spatiotemporal objects; behavioral capabilities; behavioral components; interactive control

1 引言

近年来，随着移动通信、大数据、物联网、人工智能、数字孪生、自动驾驶等新兴技术的不断发展和快速迭代，地理信息系统（Geographic Information System，GIS）应用的深度和广度在不断拓展，新型智慧城市成为GIS应用领域的重要前沿方向[1-2]。数字孪生城市是支撑新型智慧城市建设的复杂综合技术体系，是物理维度上的实体城市与信息维度上的虚拟城市同生共存、虚实交融的城市未来发展形态[3]，与“元宇宙”的概念存在高度相关性[4]。面向数字孪生城市的智能化全息测绘离不开基于城市感知设施（Urban Sensing Facility）的全域感知，城市感知设施交互控制则是实现数字孪生城市虚实一体、信物融合的一项关键技术。城市感知设施是城市基础设施的重要组成部分，是指具有动态感知能力的物理的或虚拟的设备，能够感知内部信息与包括人、物和环境在内的外界信息并对其进行处理、传输、存储和显示。根据复合类型，城市感知设施可分为2类，一类是单体型感知设施，如监控交通流的摄像头、检测车辆停放情况的地磁传感器、检测建筑物变形量的倾角计等，另一类是复合型感知设施，如集成GPS、温/湿度计、雷达和测速预警系统的车载导航仪[5]。
数字孪生城市建设的目标是创造一个人、机、物三元融合的数字孪生城市空间，不仅要求实现城市感知设施的实时数据接入，以表达现实世界的事件与动态过程，还要求实现设施的交互控制，从而远程控制设施以执行特定任务，达到“运筹于帷幄之中”。目前与城市感知设施交互控制相关的研究主要集中在物联网（Internet of Things，IoT）、虚拟/增强现实（Virtual Reality or Augmented Reality， VR/AR）和GIS 3个领域。① 物联网领域相关研究以基于直接通信指令的城市感知设施交互控制为主，经过用户端信号发送、信道传输、设施端信号接收和响应等过程，控制设施产生相应动作，或者通过传播链或传播网（如传感网）将信号传递至其他设施并引起其他设施产生行为[6]。从三元融合的角度看，物联网中的设施交互控制本质上以单纯研究“人”与“物”二者之间的交互为主，这种可称为基于直接通信指令的交互控制过程无法在计算机构建的数字世界中进行信息化表达，因此难以直接应用到GIS中。② GIS领域相关研究集中体现在实时数据建模与接入方面，典型研究是通过时态GIS数据模型对感知设施产生的动态数据进行建模，然后接入实时数据并驱动场景更新或深入分析挖掘，从而在GIS中反映客观世界的实时变化，其中具有代表性的数据模型是实时GIS数据模型[7]，具有代表性的产品是ArcGIS GeoEvent[8]。总体来看，相关研究以设施实时数据的正向接入为主，缺乏反向的设施交互控制研究，因而同样无法在GIS构建的数字世界中有效地描述和表达设施控制过程。③ VR/AR领域相关研究集中于在计算机等显示设备中构建三维沉浸式虚拟人机交互场景，通过在现实世界中触发控制指令来控制虚拟场景中的设施对象产生动作，相关研究侧重于提升用户沉浸式交互的易感受性和交互效率，同样缺乏对通过虚拟场景反向控制现实世界的感知设施的深入研究。
综上可知，目前物联网和VR/AR领域对基于GIS可视化场景的城市感知设施交互控制支持较弱。为了实现数字孪生城市中人、机、物三元融合的感知设施交互控制，一种可行思路是将物联网中人对物的直接的物理控制过程映射到GIS中。具体地，利用GIS时空数据模型将现实世界中的城市感知设施抽象描述为时空实体，并在空间信息系统中将其表达为时空对象，然后将设施时空实体的变化或动作统一抽象为设施时空对象的行为能力，最终将人对感知设施的交互控制转化为人调用设施时空对象行为能力并产生结果的过程。然而，现有GIS时空数据模型主要基于几何要素描述时空对象行为，而非基于实体，加之建模的粒度不够精细，无法在GIS中有效实现上述映射过程。
针对当前研究的不足，提出一种时空对象行为驱动的城市感知设施虚实联动交互控制方法。基于全空间信息系统的多粒度时空对象数据模型，将城市感知设施时空实体在数字世界中抽象描述为设施时空对象，重点研究其行为能力建模方法；然后在时空对象行为驱动的基础上，构建虚实联动的城市感知设施交互控制模型，将物联网中人对物的基于直接通信指令的交互控制过程映射到GIS中，对人、计算机、设施实物三者之间的交互控制过程进行信息化表达，从而实现“GIS+IoT”信物融合的人、机、物三元融合交互控制，为数字孪生城市中的感知设施智能化、交互式分析应用提供理论与技术支撑。

2 顾及行为特征的城市感知设施对象化建模

GIS数据建模是将现实世界中的事物或现象在数字世界进行描述和表达的有效途径。在实景三维中国建设背景下，以实体为基本单元的面向对象时空数据模型已成为GIS数据模型研究的重要发展趋势[9]。面向全空间信息系统[10,11]的多粒度时空对象数据模型[12]可以很好地支持时空实体的动态行为建模，从而将传统意义上存储和表达历史空间信息的静态GIS升级为能够存储和表达动态感知时空信息的动静结合、多能自主的动态GIS[13]。本节基于多粒度时空对象数据模型，将城市感知设施实体描述为设施时空对象，重点研究其行为能力建模，将感知设施获取信息以及对外界其他实体产生影响或作用的能力统一描述为行为能力，从而将基于指令的设施反向控制在数字世界中映射、转化为设施时空对象的行为调用与执行过程。

2.1 城市感知设施对象化建模

作为全空间信息系统的核心数据模型，多粒度时空对象数据模型是一种完全基于实体的面向对象时空数据模型，以多粒度时空实体统一抽象和概括具有多尺度特征的时空实体，然后从时空参照、空间位置、属性特征、关联关系、空间形态、组成结构、行为能力、认知能力8个方面，将多粒度时空实体在计算机构建的数字世界中统一描述为多粒度时空对象，且多粒度时空对象与现实世界中的多粒度时空实体一一对应[14-15]。
基于多粒度时空对象数据模型，可以构建顾及行为能力及其他多方面特征的城市感知设施对象化描述模型。文献[16]已经研究了基于多粒度时空对象数据模型的城市基础设施对象化建模的原理和流程，主要包括城市基础设施分类与编码、基础设施对象化描述模型构建等步骤；然后从建模的对象数量和效率2个方面开展实验，分析了该模型的质量，证明了该模型具有可用性及较高的效率。城市感知设施是城市基础设施的典型代表，其对象化建模流程与城市基础设施对象化建模流程一致，主要过程是对具有行为能力的城市感知设施集合进行分类与编码，得到城市感知设施类型集合，以及与感知设施类型绑定的设施感知数据类型集合。然后基于多粒度时空对象数据模型，将每个城市感知设施类型建模为设施对象类型，将每一类设施产生的感知数据类型建模为设施动态数据类型。最后对设施时空对象类进行实例化，得到设施时空对象，同时用设施产生的动态数据对设施动态数据类进行实例化，得到设施动态数据，并且将设施时空对象与设施动态数据通过对象的唯一标识ID进行绑定，形成数字世界中的设施资源。相比基于多粒度时空对象数据模型描述和表达的其他时空实体，城市感知设施具有动态感知能力和行为能力，因此在进行对象化建模的过程中，除了需要对其产生的动态数据进行建模外，还需要重点研究其行为能力的描述与表达方法。

2.2 设施对象行为能力建模

在城市感知设施对象化建模基础上，为了将基于指令的城市感知设施的交互控制过程映射到GIS构建的数字世界中，转化为设施时空对象的行为调用与执行过程，需要研究设施时空对象的行为能力建模方法。
行为在不同研究领域具有不同的内涵。早期生理学将行为定义为由外部刺激和内部变化引起的完整有机体的外显活动，地理学中将行为定义为以人为主体的不同类群在不同地理环境下的行为、决策及其成因，控制论中将行为定义为实体随时间推移在内在规律作用或外部环境作用下的状态变化[17]。在多粒度时空对象数据模型中，将行为定义为时空对象所具有的引起自身或其他对象发生变化的能力，狭义的行为本质上是一种物理的动作，且只要能引起变化的时空对象都具有行为能力；行为可用于描述对象间相互控制与响应，也是体现全空间信息系统“活”的特征的关键所在[18]。
城市感知设施是典型的具有动态行为特征的多粒度时空实体。根据多粒度时空对象理论中对行为能力的定义，将设施时空对象的行为能力定义为其引起自身或其他对象发生变化的能力，本质上是设施时空对象所具有的功能或能力属性。例如携带多传感器的无人机的打击行为、巡航导弹的爆炸行为属于引起外部环境或其他对象状态变化的行为，而直升机的升降行为、摄像头的拍摄行为属于自身产生的、引起自身状态变化的行为。
为了在GIS中对城市感知设施的行为能力进行表达，设计设施时空对象行为能力的建模流程，如图1所示。图中除了表达设施时空对象行为能力建模流程外，也对2.1节描述的设施对象化建模流程进行了描述，以完备体现整个对象化建模的思想。首先，将城市感知设施经过2.1节的对象化建模流程，构建为设施对象类型集合，然后按两个步骤实现设施对象的行为能力建模：第一步是直接对设施对象类型集合进行实例化，得到设施时空对象集合，并存储在数据库中；第二步是对城市感知设施的所有行为进行分类与描述，得到对象行为类，再将其实例化为对象的行为能力。在技术实现上，将每一类行为能力实现为一套行为组件（行为组件是对行为能力的技术实现，可以是C++的动态链接库文件dll，也可以是JavaScript的脚本文件），并且根据该套行为组件所属的对象类型，可以通过唯一的对象ID与相应的每个设施时空对象绑定。
图1 城市感知设施行为能力建模的基本流程

Fig. 1 Behavior modeling process of urban sensing facilities

上述行为能力建模过程主要涉及到设施对象类型、设施时空对象、对象行为类型、对象行为能力以及对象行为组件等概念，不同概念之间的数量对应关系如图2所示，其中m、p、q、r分别表示对应概念的数量。其中， ① 设施对象类型与设施时空对象之间为一对多关系，即每个设施对象类型可以实例化为多个设施时空对象，而每个设施时空对象对应唯一的设施对象类型； ② 设施对象类型与对象行为类型之间为多对多关系，即每一类设施时空对象可以拥有多种行为，而多种设施时空对象可以共有同一种行为；③ 对象行为类型与对象行为能力之间为一对多关系，即每种对象行为可以实例化为多个行为能力，而每个行为能力只能对应唯一的对象行为类型；④ 对象行为能力与对象行为组件之间为一对一关系。上述数量对应关系符合我们日常生活中对时空对象与时空行为数量关系的认知，也容易在计算机中通过面向对象编程进行数字化表达。
图2 城市感知设施行为能力建模中各个概念的对应关系

Fig. 2 The quantitative relationship of each concept in the behavior modeling of urban sensing facilities

3 行为驱动的城市感知设施交互控制

目前IoT在GIS中的应用主要体现在在GIS中接入实时感知数据并进行可视化，以实现对现实世界的动态过程和事件进行模拟，但是通过GIS对城市感知设施进行统一控制以远程执行特定任务的研究相对匮乏。针对这一问题，本文提出一种解决方案，即在上述的设施时空对象行为能力建模的基础上，将基于指令的设施交互控制在GIS构建的数字世界中映射、转化为设施时空对象的行为调用与执行过程。为实现此目标，基于时空对象行为能力建模，构建一种城市感知设施虚实联动交互控制“五元组”模型，旨在对城市感知设施反向控制进行数字化表达，从而实现用户基于GIS与现实世界中的设施实物进行虚实联动的可视交互与操作控制；然后详细阐述这种虚实联动式交互控制的基本流程，并从技术角度对这种交互控制的可实践性进行分析和论证。

3.1 交互控制“五元组”模型

根据图1所示的行为能力建模流程和图2所示的对应关系，基于GIS的城市感知设施交互控制主要包含以下几方面内容： ① 用户在GIS构建的数字世界中操作或控制设施时空对象执行特定行为；② 受用户触发或设施自身主动触发，设施时空对象的相应行为组件被调用； ③ 根据调用的行为组件，触发产生相应的控制信号。由于每个控制信号都是面向特定通信协议实现的，因此可以基于该通信协议与现实世界中的设施实物建立通信；④ 控制信号发出后，可以被现实世界中的设施实物接收，然后调用相应行为来执行特定任务。
可见，要通过GIS构建的数字世界来实现城市感知设施的交互控制，需要顾及5个方面的基本要素，分别是用户（User）、对象（Object，此处指设施时空对象）、行为（Behavior，此处指对象的行为能力）、信号（Signal，此处指控制信号）和设备（Device，此处指城市感知设施实物）。为此，为了将城市感知设施交互控制过程在GIS构建的数字世界中进行表达，提出一种城市感知设施交互控制“五元组”模型——“用户-对象-行为-信号-设备”模型，简称UOBSD模型，图中的m、r、t均代表对应每个基本要素的数量，如图3所示。
图3 UOBSD—城市感知设施交互控制“五元组”模型

Fig. 3 UOBSD - a "five-tuple" model of virtual-real interactive control of urban sensing facilities

UOBSD模型的5个基本要素的具体内涵如下：① 用户：用户是与数字世界主动产生交互的要素，通过操控可视化场景中的设施时空对象，触发对象执行各种行为，如接入实时数据、控制设施运动等，而用户也是设备实时感知的目标之一；② 对象：此处是指设施时空对象，是接收用户指令并调用具体行为的中间要素；③ 行为：此处是指设施时空对象所具有的行为能力，一个特定的行为能力对应一个特定的行为组件；④ 信号：此处是指用户通过调用设施时空对象行为组件向现实世界中的设施实物发送的连接请求、数据请求、控制请求等信息，主要包括接入信号和控制信号2种类型；⑤ 设备：此处是指在现实世界中与设施时空对象对应的设施实物，可以对城市基础设施、环境参数以及包括用户在内的人进行实时感知，或者执行特定动作。部分设备具有智能性，能够根据感知目标的变化自动触发相应时空对象行为的调用。实际上，设备与对象具有一一对应关系，这种对应在图3中也进行了体现。

3.2 交互控制基本原理

在“五元组”模型基础上，城市感知设施虚实联动交互控制的基本原理可以通过图4进行解释。用户位于整个交互控制的源头，与GIS可视化场景中的设施时空对象产生实时交互，交互的类型包括请求连接、请求数据、请求控制、交互控制、断开连接等。可视化场景是用户远程控制设施实物的接口，可以对顶层应用场景、设施时空对象、对象的行为能力、设施产生的实时数据、设施的位置变化和属性变化等多种信息进行可视化展示，并提供交互分析功能。为了便于将行为组件绑定到设施时空对象上，设施时空对象通常被持久化存储于数据库中，并通过计算机前端直接展示给用户。用户操控可视化场景中的设施时空对象执行特定动作，本质上是调用或执行设施时空对象的行为组件，而行为组件通常以用户设置的参数为输入，并且基于一定的通信协议来发送控制信号。实际上，设施时空对象的每个行为组件都对应了唯一的通信协议，例如控制摄像头P产生转动的行为组件可以按照摄像头的连网方式对应Ethernet和Wi-Fi两种通信协议，控制姿态传感器Q感知姿态信息的行为组件通常对应串口（如RS485、RS232）通信协议。可见，控制信号和相应的通信协议在基于GIS的城市感知设施交互控制中是非常重要的角色，是基于行为组件控制设施实物执行行为的基本媒介。
图4 基于UOBSD模型的城市感知设施虚实联动交互 控制的基本原理

Fig. 4 Principles of virtual-real interactive control of urban sensing facilities based on the UOBSD model

行为组件发送的控制信号通常分为2种，一种是控制设施实物实时感知和获取周边包括人、基础设施和环境在内的目标信息的信号，也是接入实时数据的信号；另一种则是控制设施实物执行特定行为的信号。控制信号发出后，即可远程驱动现实世界中的设施实物执行特定行为，而行为执行的结果根据控制信号的类型也分为2种：一种是获取的实时信息基于通信协议远程反馈到可视化场景，并实时可视化展示给用户；另一种是设施执行特定的动作，例如摄像头旋转、无人车启动等，此时用户可以对这些结果进行直接的观测和检验。
此外，部分设施具有智能性，能够实时监测城市场景中的感知目标发生的变化，并自动触发调用可视化场景中对应的设施时空对象行为组件，从而控制自身执行其他特定动作。例如，当智能摄像头探测到视场内发生交通事故，就会自动执行相应的时空对象行为，从而聚焦到事故现场，获得清晰的视频图像。

3.3 交互控制基本流程

基于上述“五元组”模型和基本原理，城市感知设施虚实联动交互控制的基本流程如图5所示。
图5 基于UOBSD模型的城市感知设施虚实联动交互控制基本流程

Fig. 5 Procedure of virtual-real interactive control of urban sensing facilities based on the UOBSD model

在图5所示的流程中，感知设施交互控制的整个过程可分为两阶段，分别是可视化场景中的交互控制和现实世界中的交互控制，二者组合就可以实现人、计算机场景和感知设施实物三者之间的虚实联动交互控制。
（1）可视化场景中的交互控制
这一阶段的交互控制的主体是用户，客体是计算机所构建的虚拟可视化场景。当用户与可视化场景中的设施时空对象产生交互时，将触发产生交互信号。在对信号类型进行解译后，根据其中的对象标识即可快速定位待操作的目标对象，并确定对应的对象行为，然后调用相应的行为组件。本文将接入实时数据也作为设施时空对象的一种行为，相应的行为组件可以控制设施实物实时感知和获取周边环境信息；行为组件被调用后，即通过UOBSD模型映射，向现实世界发送对应的交互信号。
（2）现实世界中的交互控制
这一阶段的交互主体是可视化场景，客体是现实世界。控制信号在现实世界中被转发后，可以由一个专门的控制端接收并处理，通过该控制端解译出信号中的对象标识、行为参数等信息，并按照接入型和控制型进行划分。接入型信号可以驱动设施实物感知周围环境信息并产生实时数据流，然后将实时数据反馈到可视化平台的虚拟场景中，供用户查询和分析；控制型信号基于行为组件的行为参数，驱动设施实物执行其他特定行为，并将包括连接状态、数据状态、控制状态、场景刷新等控制结果反馈给用户，用户可以直接观测设施实物执行动作的结果，以检验是否达到预期的交互控制目的。
通过上述2个阶段，就实现了物联网中基于直接指令的设施交互控制在GIS数字世界中的映射与表达，将人与设施的“二元”交互控制通过数字世界中的设施时空对象行为能力建模与调用表达出来，实现一个闭环的人、机、物三元融合的虚实联动交互控制流程。

4 实验与分析

为验证本文提出的城市感知设施行为能力建模方法和虚实联动交互控制方法的有效性与可行性，选用多种城市感知设施进行实验。首先，基于图1和图2所示的建模流程和对应关系，利用全空间信息系统的交互式建模工具Designer和Creator完成设施时空对象的行为能力建模，研制相应的行为组件并与设施时空对象绑定；然后设计标准化的控制信号结构，并实现统一的控制端，基于该控制端即可实现控制信号的远程接收、匹配解译，然后驱动现实世界中的设施实物执行相应行为；最后将交互控制结果在全空间信息系统的可视化场景中进行展示，或者直接反馈给用户。

4.1 实验环境

实验环境以及实验过程中产生的实时数据如表1所示。其中：① 3台计算机中，1台用作应用端，用于部署全空间信息系统的桌面端软件[19]，提供设施时空对象的建模与可视化、设施实时数据的可视化等功能；1台用作服务端，用于中继应用端发送的控制信号，以及远程接收设施实物感知的实时数据，并转发至应用端的可视化场景中； 1台用于实现和部署控制端，用于接收服务端中继的控制信号，并发送给现实世界中的设施实物，驱动设施感知环境或执行动作。② 所涉及的系统和软件中，除了全空间信息系统桌面端基于Visual Studio 2010、 Qt 4.8.6和三维地理信息可视化与仿真平台VBF研制外，其他软件均基于Visual Studio 2010和Qt 4.8.6研制。③ 2个摄像头中，浙江大华摄像头基于Ethernet有线协议进行通信，用作交互控制的设施实物；海康威视摄像头基于Wi-Fi无线进行通信，用于实时监控现实世界中的设施控制结果，并将实时视频流传回至应用端的可视化场景中。④ 实验中选用的城市感知设施不仅包括真实设施，还包括虚拟的设施模拟器，可用于模拟真实设施产生实时数据流。
表1 实验环境以及实验过程中产生的实时数据

Tab. 1 Experimental environment and real-time data generated during the experiment

环境类别 环境名称 数量/个 详细配置 设施实时数据
硬件环境 计算机 3 Thinkpad T460，AMD四核CPU，8 G内存，512G SSD
无人机（MavLink） 1 DJI Air 2S，一英寸相机5.4 K超高清视频 实时视频流
无人车（GPS） 2 YahBoom STM32 GPS轨迹数据
摄像头（Ethernet、Wi-Fi） 2 浙江大华DH-IPC-HDBW2433R-ZS、海康威视HIKVISION T12H-IA 2.8 MM 视频流
温度传感器（Wi-Fi） 2 Vadias WZP-PT100 温度数据
湿度传感器（Wi-Fi） 2 RicherLink 湿度数据
姿态传感器（串口RS485） 2 DCS306M 姿态数据
设施模拟器（Socket） 50 C++应用程序 GPS轨迹、温度数据、湿度数据
软件环境 操作系统 4 Windows 10
集成开发环境 Visual Studio 2010；Qt 4.8.6；VBF
其他工具 全空间信息系统建模工具Designer和Creator

4.2 实验流程

实验采用如图6所示流程，包括以下几个步骤：
图6 城市感知设施虚实联动交互控制实验流程

Fig. 6 Experimental procedure of virtual-real interactive control of urban sensing facilities

（1）城市感知设施对象化建模
城市感知设施对象化建模主要基于全空间信息系统中提供的交互式建模工具Designer和Creator实现。Designer是类建模工具，用于将地理时空实体类抽象描述为多粒度时空对象类，通过为每个时空实体类赋予时空参照、属性特征、关联关系等方面的值来完成类模板的创建；Creator是类模板实例化工具，也是多粒度时空对象数据生成工具。
图7展示了基于城市感知设施对象化建模方法，利用交互式建模工具对表1中的感知设施进行对象化建模的实验效果。通过Designer将感知设施抽象描述为设施时空对象类，然后利用Creator对生成的各个类模板进行实例化，即可生成具体的设施时空对象。图7（a）所示为以无人机为例，设计和创建城市感知设施类模板的详细过程，图7（b）所示为基于该无人机类模板的设施时空对象实例化的详细过程。基于上述建模过程，最终实现了对表1中的61个城市感知设施的对象化建模与实例化，生成了61个设施时空对象，建模对象涵盖实物设施和虚拟设施两大类。
图7 基于交互式建模工具的设施时空对象建模与实例化

Fig. 7 Spatiotemporal object modeling and instantiation of facilities based on interactive modeling tools

（2）行为能力建模与行为组件实现
行为能力建模是本文开展设施时空对象建模相比现有相关研究的特色，能够对设施的动态行为信息进行描述与表达。行为能力建模同样基于交互式建模工具完成，且在设施对象化建模的过程中同步实现。
如图8所示，以创建“无人机001”对象为例，在创建“无人机”类模板的过程中，可以为该类模板添加“获取实时视频”、“无人机起飞”等行为能力，并且实现相应的行为组件，然后将行为组件上传后，再绑定到按照图7所示创建的设施时空对象上，即可实现“无人机”这一设施时空对象类的行为能力建模。然后通过继承对象类模板后再实例化赋值的方式，即可生成具有行为能力的“无人机001”对象。
图8 设施时空对象行为组件研制与绑定—以摄像头为例

Fig. 8 Development and binding of behavior components of facility spatiotemporal objects—taking cameras as example

（3）控制信号设计与控制端研制
为了基于设施时空对象的行为来驱动现实世界中的设施实物进行实时感知或执行动作，需要设计相应的控制信号的数据结构。本文顾及城市感知设施及其通信协议的多样性，设计一种通用的控制信号数据结构，如图9所示。一个控制信号包含消息头、版本号、信号类型、设施编码、信号标识和消息尾等6个字段，每个字段的数值均采用十六进制整数存储，且在可视化场景、服务端和控制端之间的控制信号统一使用Socket协议传输，信号从行为组件发出后到达控制端，即可被控制端解译和提取出设施编码、通信协议等信息，然后通过此通信协议实现对相应设施实物的控制。
图9 控制信号设计及控制端平台实现

Fig. 9 Control signal design and the implementation of control terminal platform

为了基于控制信号对设施实物进行交互控制，首先需要实现对控制信号的远程接收和中继。本文设计和实现了面向设施远程交互控制的控制端，如图9所示。控制端具备通信协议适配、控制信号接收与拆解、连接设施端并调用设施控制程序或SDK、控制设施执行相应行为等多种能力，且基于Socket协议能够满足设施交互控制的实时性需求。
可见，控制端是连接可视化场景与现实世界设施实物的“虚”与“实”二者之间的重要桥梁。通过实现控制端，即实现了对设施实物的远程交互控制，从而为后续进一步实现感知设施虚实联动的交互控制奠定基础。
（4）虚实联动交互控制
在上述步骤基础上，可以实现对表1中所示的多种感知设施的虚实联动交互控制，实现效果如图10所示。图10（a）展示了对搭载GPS、温/湿度传感器的无人车等复合型设施进行实时数据接入与虚实联动交互控制的实验效果。图10（b）展示了对搭载虚拟的温/湿度传感器的虚拟舰船进行实时数据接入与虚实联动交互控制的实验效果。当用户需要通过可视化场景对感知设施进行交互控制时，首先从全空间信息系统中加载该设施时空对象，然后触发、调用相应的对象行为组件，再通过上述控制端对交互控制信号的转发来驱动现实世界中的设施实物进行感知或动作，最终将实时感知数据接入到可视化场景中，或者控制设施实物执行特定行为，并将感知或控制结果实时反馈给用户，或者在可视化场景中进行展示，引起场景中设施时空对象的属性更新或者位置更新。如果接入的实时数据中包含对象的属性信息，则将自动引起设施时空对象的属性更新，且该更新过程本质上是创建新的属性特征或对当前属性特征进行替换的过程；如果某类设施属于移动设施，则通过将表征位置变化的设施实时数据接入到数字世界中，可以引起该类设施时空对象的位置更新，即场景中的设施时空对象的位置会随着接入实时轨迹数据而发生相应变化。
图10 城市感知设施虚实联动交互控制的实验效果

Fig. 10 Experimental effect of virtual-real interactive control of urban sensing facilities

此外，部分智能设施能够根据感知目标的实时变化，自动触发并执行在可视化场景中对应的时空对象行为，然后再驱动自身执行特定动作。例如，图10（a）中的无人车不仅可以接收来自用户在可视化场景中调用对象行为而产生的控制指令，还可以自动判断前方有无障碍物，当存在障碍时即自动调用“停止前进”行为，驱动自身停止；待障碍清除后调用“继续前进”行为，驱动自身继续前行。

4.3 实验结果及分析

从图7所示的建模和实例化效果可以看出，基于本文所提出的城市感知设施对象化建模方法，有效实现了对表1所示的多种感知设施的对象化建模，生成了相应的感知设施时空对象，证明了所提出的对象化建模方法的有效性。
从图8所示的行为能力建模结果可以看出，本文所提出的城市感知设施行为能力建模方法能够有效支持城市感知设施的行为能力建模，支持通过行为组件来对设施时空对象的行为进行实现；同时，将看似抽象的城市感知设施行为能力通过具象的行为组件进行表达和实现，通过将行为组件绑定到相应的设施时空对象上，使得在可视化场景中设施时空对象的行为执行过程转化为对象行为组件的调用过程，为基于实体的面向对象时空数据模型中关于时空行为的建模与实现提供了可靠参考。
结合图9和图10所示的控制端实现结果和虚实联动交互控制实验效果可以看出，本文所提出的交互控制方法既支持通过用户调用设施时空对象行为而引起实时数据接入和设施动作执行，也支持智能设施因外界感知目标变化而触发的自身行为调用，且所有的实时接入与动作执行结果均可以直接反馈给用户，也可以反馈到可视化场景，引起场景更新。
综上所述，图7,图8,图9,图10所示的实验结果验证了所提出的城市感知设施虚实联动交互控制方法的有效性与可行性，实现了人、机、物三元融合的城市感知设施虚实联动可视交互与操作控制。

5 结论与讨论

针对数字孪生城市建设中多源、异构、海量的城市感知设施的虚实联动交互控制这一科学问题，面对物联网、VR/AR以及GIS 3个领域中相关研究的缺失或不足，提出一种时空对象行为驱动的城市感知设施交互控制方法。该方法首先在城市感知设施对象化建模基础上，对设施时空对象的行为能力进行建模、表达和实现，这种顾及行为的对象化建模方法本质上是一种统一的、对象化的数据组织方式，模型本身与应用场景是独立的，因此当切换到其他任何场景，该建模方法仍具有通用性。然后在行为驱动基础上设计和实现了一种交互控制“五元组”模型，基于该模型将物联网领域基于指令的城市感知设施交互控制映射到GIS构建的数字世界中，有效推动了GIS与IoT的更深层次融合。实验结果表明，所提出的方法实现了人、机、物三元融合的虚实联动可视交互，弥补了相关领域研究存在的不足。具体地，与现有相关方法相比，本文所提出的方法具有以下特色和优势： ① 相比现有的GIS建模方法，实现了设施时空对象的行为能力建模，且行为组件是被绑定到真正的对象上而非要素上，支持对现实世界中以对象为粒度的城市感知设施的行为能力进行描述与表达； ② 相比现有的物联网设施交互控制方法，能够有效支持在GIS构建的数字世界中通过时空对象的“虚拟”行为来驱动现实世界中的设施实物的实际行为，从而将物联网中用户与设施之间的交互映射到数字世界中，真正意义上实现了基于GIS的物联网控制；③ 相比VR、AR等虚实结合的交互技术，增加了在信息世界中对设施实物的远程控制，实现了用户对计算机中的时空对象和现实世界中的设施实物的虚实联动交互控制。
本文的重点是提出了一种城市感知设施交互控制方法，受时间和精力限制，还存在以下问题与不足： ① 目前仅对该方法的有效性和可行性进行了研究和论证，证明了时空对象行为驱动的交互控制可以支撑GIS中数字孪生式的城市感知设施交互控制这一结论，但是尚未对交互控制的效率和稳定性进行评价。实际上，可以引入高性能的并行计算集群架构，对现有的单机式显示环境进行改进，从而有效提升可视化场景中的交互控制效率。 ② 对象化建模的过程本质上是数据组织方式或数据结构的转换过程，目前的对象化建模是一种半自动化的方式，需要结合建模工具与人工干预才能完成；为了提升建模的效率，一种可行的解决方案是利用自然语言处理（Natural Language Processing，NLP）或者大语言模型（Large Language Model，LLM）来加速设施时空对象的生成，每当监测到新的原始数据进来时，利用NLP或者LLM自动提取原始数据中的关键要素，从而形成结构化的信息并自动填充到类模板中。三是当前实验中使用的感知设施的种类和数量均还偏少，后续可以使用更多类型、更大规模的城市感知设施开展研究和实验。上述不足及相应的思考将在后续研究中不断解决和实现。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
王家耀. 新型智慧城市与时空大数据平台[R]. 首届粤港澳大湾区地理信息发展高峰论坛, 广东: 珠海度假村, 2018.

[ Wang J Y. New smart city and spatiotemporal big data platform[R]. The First Guangdong-Hong Kong-Macao Greater Bay Area Geographic Information Development Summit Forum, Guangdong: Zhuhai Resort, 2018. ]

[2]
郭仁忠, 林浩嘉, 贺彪, 等. 面向智慧城市的GIS框架[J]. 武汉大学学报·信息科学版, 2020, 45(12):1829-1835.

[ Guo R Z, Lin H J, He B, et al. GIS framework for smart cities[J]. Geomatics and Information Science of Wuhan University, 2020, 45(12):1829-1835. ] DOI:10.13203/j.whugis20200536

[3]
顾建祥, 杨必胜, 董震, 等. 面向数字孪生城市的智能化全息测绘[J]. 测绘通报, 2020(6):134-140.

DOI

[ Gu J X, Yang B S, Dong Z, et al. Intelligent perfect-information surveying and mapping for digital twin cities[J]. Bulletin of Surveying and Mapping, 2020(6):134-140. ] DOI:10.13474/j.cnki.11-2246.2020.0196

[4]
张新长, 廖曦, 阮永俭. 智慧城市建设中的数字孪生与元宇宙探讨[J]. 测绘通报, 2023(1):1-7,13.

DOI

[ Zhang X C, Liao X, Ruan Y J. Discussion on digital twin and metaverse in smart city construction[J]. Bulletin of Surveying and Mapping, 2023(1):1-7,13. ] DOI:10.13474/j.cnki.11-2246.2023.0001

[5]
Yang F, Hua Y X, Li X, et al. A survey on multisource heterogeneous urban sensor access and data management technologies[J]. Measurement: Sensors, 2022, 19:100061. DOI:10.1016/j.measen.2021.100061

[6]
Bagdadee A H, Hoque M Z, Zhang L. IoT based wireless sensor network for power quality control in smart grid[J]. Procedia Computer Science, 2020, 167:1148-1160. DOI: 10.1016/j.procs.2020.03.417

[7]
龚健雅, 李小龙, 吴华意. 实时GIS时空数据模型[J]. 测绘学报, 2014, 43(3):226-232,275.

[ Gong J Y, Li X L, Wu H Y. Spatiotemporal data model for real-time GIS[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(3):226-232,275. ] DOI:10.13485/j.cnki.11-2089.2014.0033

[8]
Esri中国信息技术有限公司. ArcGIS 10.7白皮书[R]. 北京: Esri中国信息技术有限公司, 2019.

[Esri China Information Technology Co. Ltd.. ArcGIS 10.7 white paper[R]. Beijing: Esri China Information Technology Co. Ltd., 2019. ]

[9]
自然资源部办公厅. 实景三维中国建设技术大纲[R]. 北京: 自然资源部, 2021.

[ General Office of the Ministry of Natural Resources of the People's Republic of China. Realistic 3D China construction technology outline[R]. Beijing: Ministry of Natural Resources of the People's Republic of China, 2021. ]

[10]
周成虎. 全空间地理信息系统展望[J]. 地理科学进展, 2015, 34(2):129-131.

DOI

[ Zhou C H. Prospects on pan-spatial information system[J]. Progress in Geography, 2015, 34(2):129-131. ]

DOI

[11]
华一新. 全空间信息系统的核心问题和关键技术[J]. 测绘科学技术学报, 2016, 33(4):331-335.

[ Hua Y X. The core problems and key technologies of pan-spatial information system[J]. Journal of Geomatics Science and Technology, 2016, 33(4):331-335. ] DOI:10.3969/j.issn.1673-6338.2016.04.001

[12]
华一新, 周成虎. 面向全空间信息系统的多粒度时空对象数据模型描述框架[J]. 地球信息科学学报, 2017, 19(9):1142-1149.

DOI

[ Hua Y X, Zhou C H. Description frame of data model of multi-granularity spatio-temporal object for pan-spatial information system[J]. Journal of Geo-information Science, 2017, 19(9):1142-1149. ] DOI:10.37 24/SP.J.1047.2017.01142

[13]
华一新, 张江水, 曹一冰. 基于时空域的全空间数字世界时空对象组织与管理研究[J]. 地球信息科学学报, 2021, 23(1):76-83.

DOI

[ Hua Y X, Zhang J S, Cao Y B. Research on organization and management of spatio-temporal objects in pan-spatial digital world based on spatio-temporal domain[J]. Journal of Geo-information Science, 2021, 23(1):76-83. ] DOI:10.12082/dqxxkx.2021.200417

[14]
王培. 多粒度时空对象空间形态理论和方法研究[D]. 郑州: 战略支援部队信息工程大学, 2019:18-23.

[ Wang P. Research on the theory and method of multi-granularity spatiotemporal object spatial form[D]. Zhengzhou: Information Engineering University, 2019:18-23. ]

[15]
郭玮, 谷宇航, 江南. 面向多粒度时空对象数据模型的网络电子地图生成方法[J]. 地球信息科学学报, 2022, 24(7):1264-1274.

DOI

[ Guo W, Gu Y H, Jiang N. Generation methods of the web electronic map for data model of multi-granularity spatiotemporal object[J]. Journal of Geo-information Science, 2022, 24(7):1264-1274. ] DOI:10.12082/dqxxkx.2022.210603

[16]
杨飞, 华一新, 李响, 等. 基于多粒度时空对象数据模型的城市基础设施建模与管理[J]. 地球信息科学学报, 2021, 23(11):1984-1997.

DOI

[ Yang F, Hua Y X, Li X, et al. An urban facilities modeling and management method based on the multi-granularity spatiotemporal object data model[J]. Journal of Geo-information Science, 2021, 23(11):1984-1997. ] DOI:10.12082/dqxxkx.2021.210400

[17]
曹一冰, 华一新, 郭邵萌. 多粒度时空对象行为特征的描述方法研究[J]. 地理信息世界, 2018, 25(2):23-29.

[ Cao Y B, Hua Y X, Guo S M. Study on the description of behavior characteristics of spatial-temporal objects of multi-granularity[J]. Geomatics World, 2018, 25(2):23-29. ] DOI:10.3969/j.issn.1672-1586.2018.02.005

[18]
杨飞, 华一新, 李响, 等. 多粒度时空对象行为驱动的传感设施接入方法[J]. 测绘科学技术学报, 2020, 37(5):537-544.

[ Yang F, Hua Y X, Li X, et al. Research on sensor facilities access method driven by multi-granularity spatio-temporal object behavior[J]. Journal of Geomatics Science and Technology, 2020, 37(5):537-544. ] DOI:10.39 69/j.issn.1673-6338.2020.05.015

[19]
曹一冰, 张江水, 华一新, 等. 全空间时空对象可视化工具的设计与实现[J]. 测绘科学技术学报, 2021, 38(2):173-180.

[ Cao Y B, Zhang J S, Hua Y X, et al. Design and implementation of the visualization tool for spatio-temporal objects in pan-spatial information system[J]. Journal of Geomatics Science and Technology, 2021, 38(2):173-180. ] DOI:10.3969/j.issn.1673-6338.2021.02.011

Options
文章导航

/

〈 〉