地球信息科学理论与方法

面向城市交通的动态知识图谱综述——构建、表示与应用

  • 刘奕含 , 1 ,
  • 宁念文 , 1, * ,
  • 杨东霖 2 ,
  • 李伟 1 ,
  • 吴斌 3 ,
  • 周毅 1
展开
  • 1.河南大学人工智能学院,郑州 450046
  • 2.百度网讯科技有限公司移动生态事业群搜索策略部,北京 100193
  • 3.北京邮电大学计算机学院,北京 100876
* 宁念文(1991— ),男,河南郑州人,博士,讲师,硕士生导师,研究方向为图神经网络及时空数据分析。E-mail:

刘奕含(1998— ),女,辽宁抚顺人,硕士,研究方向为知识图谱及智慧交通。E-mail:

收稿日期: 2023-09-23

  修回日期: 2023-11-29

  网络出版日期: 2024-05-11

基金资助

国家自然科学基金项目(62176088)

国家重点研发计划政府间国际科技创新合作专项(2023YFE0112500)

河南省科技攻关计划(222102210067)

河南省科技攻关计划(222102520028)

河南省高等学校重点科研项目(22A120001)

Survey of Dynamic Knowledge Graph for Urban Traffic: Construction, Representation and Application

  • LIU Yihan , 1 ,
  • NING Nianwen , 1 ,
  • YANG Donglin 2 ,
  • LI Wei 1 ,
  • WU Bin 3 ,
  • ZHOU Yi 1
Expand
  • 1. School of Artificial Intelligence, Henan University, Zhengzhou 450046, China
  • 2. Mobile Ecology Business Group Search Strategy Department, Baidu Netcom Science and Technology Co., Ltd., Beijing 100193, China
  • 3. School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China
* NING Nianwen, E-mail:

Received date: 2023-09-23

  Revised date: 2023-11-29

  Online published: 2024-05-11

Supported by

National Natural Science Foundation of China(62176088)

International Strategic Innovative Project of National Key Research & Development Program of China(2023YFE0112500)

Key Science and Technology Research Project of Henan Province of China(222102210067)

Key Science and Technology Research Project of Henan Province of China(222102520028)

Key Project of Science & Technology Research of the Education Department of Henan Province(22A120001)

摘要

在智能交通领域中,各种信息采集设备积累了海量的多源异构数据,如车辆轨迹、道路状态、交通事件等。如何依据这些海量的交通数据进行关联整合,并利用这些数据进行辅助决策是当前面临的挑战。为应对这些挑战,知识图谱技术由于其具有强大的实体间关联建模能力,在知识挖掘、表示、管理及推理能力等方面显现出了巨大的应用潜力。首先,本文依次针对地理交通图、多模态知识图谱及动态知识图谱的构建技术进行综述,以此展示知识图谱在智能交通领域的广泛适用性。接着对智能交通领域的各类知识图谱构建方法进行介绍。其次,对智能交通领域的知识图谱表示学习技术及知识推理技术进行归纳总结。其中涵盖了多模态知识图谱表示学习的相关算法以及动态知识图谱表示学习的探讨,并展开介绍了动态交通多模态知识图谱中的补全技术和因果推理技术,对于提高智能交通系统的数据理解能力和决策推理水平具有重要的理论意义和实际应用前景。再次,归纳整理了几个应用场景下知识图谱为城市的智能决策提供重要支撑的解决方案。最后,对现有技术瓶颈进行了分析和探讨,并对未来交通知识图谱的关键技术及其辅助应用进行了展望。

本文引用格式

刘奕含 , 宁念文 , 杨东霖 , 李伟 , 吴斌 , 周毅 . 面向城市交通的动态知识图谱综述——构建、表示与应用[J]. 地球信息科学学报, 2024 , 26(4) : 946 -966 . DOI: 10.12082/dqxxkx.2024.230572

Abstract

In the field of intelligent transportation, various information collection devices have produced a massive amount of multi-source heterogeneous data. These data encompass various types of information, including vehicle trajectories, road conditions, and traffic incidents, soured from devices such as traffic cameras, sensors, and GPS. However, the current challenge faced by researchers and practitioners is how to correlate and integrate the massive amount of heterogeneous data to facilitate decision support. To address this challenge, knowledge graph technology, with its powerful entity-to-entity modeling ability, has shown great potential in knowledge mining, representation, management, and reasoning, making it well-suited for intelligent transportation applications. In this paper, we first review the construction techniques for geographic traffic graphs, multimodal knowledge graphs, and dynamic knowledge graphs, demonstrating the broad applicability of knowledge graphs in the field of intelligent transportation. Secondly, we summarize relevant algorithms of multi-modal knowledge graph representation learning and discuss dynamic knowledge graph representation learning in the field of intelligent transportation. Knowledge graph representation learning technology plays a crucial role in creating high-quality knowledge graphs by capturing and organizing the relationships between entities and their attributes within the transportation domain. This technology utilizes advanced machine learning algorithms to analyze and process the heterogeneous data from various sources to extract meaningful patterns and structures. We also introduce the completion technology and causal reasoning technology in dynamic transportation multi-modal knowledge graph, which is useful for improving the data of intelligent transportation systems. Comprehension ability and decision-making reasoning level have important theoretical significance and practical application prospects. Thirdly, we summarize the solutions of knowledge graph that provide important support for intelligent decision-making in several application scenarios. The utilization of knowledge graphs in intelligent transportation systems facilitates real-time data integration and enables correlation analysis of diverse data sources to provide a holistic view of the traffic ecosystem. This comprehensive understanding empowers decision-makers to implement targeted interventions and proactive measures, ultimately mitigating traffic congestion and reducing the occurrence of accidents. Through the continuous refinement and enrichment of the traffic knowledge graph, the intelligent transportation system can adapt and evolve to address emerging challenges and optimize transport networks for enhanced efficiency and safety. Finally, we analyze and discuss the existing technical bottlenecks. The future of traffic knowledge graphs and their auxiliary applications are also prospected and discussed, highlighting the potential impact of this important technology on intelligent transportation systems.

1 引言

随着城市治理体系与城市化建设的迅猛发展,以及城市交通数据的急速增长,众多交通安全问题、交通运输问题相继涌现。为了便于交通管理部门精准治理,以及帮助城市管理者提供有效决策,各类智能交通技术由此成为加快推进新型智慧城市的重要环节之一[1]。在全时空感知方面,依托于部署在城市的多种类型物联网设备、城市中的多源异构数据以及人工智能技术,可以对数据进行深层挖掘以及进行决策任务[2]。然而,目前的机器学习及深度学习仍处于弱人工智能范围[3],其中数据特征的筛选更多依赖于人的干预。为了提高智慧交通的水平,则需要让机器掌握大量的知识,并以类似人脑的方式进行决策分析。然而,知识图谱作为一种结构化的知识表示方法,能够将各类智能交通技术所涉及的关键信息、规则和关系进行整合和表达,为交通管理部门和城市管理者提供更全面、准确的知识支持和决策参考。
知识图谱(Knowledge Graph, KG)以结构化图的形式呈现现实世界中的事实,包括实体和实体之间的关系[4]。除此之外,知识图谱可以整合和分析混乱的多源异构数据,以图形式展示复杂关系,并通过图计算和匹配算法对数据进行深层次分 析[5]。在数据挖掘方面,可以挖掘节点之间的隐含关系,从而提取更全面的空间相关性[6]。在数据维度方面,知识图谱可以通过节点之间的关系对未知节点进行推理和补充,从而解决数据稀疏问题。在可解释性方面,知识图谱相对于传统方法具有更加语义化的特点,参数和流程可通过可视化方法呈现,增加模型的可解释性,为数据分析和推理提供更具说服力的证据[7]。时空知识图谱是传统静态知识图谱的扩展,引入了时间和空间维度的信息,以更全面地描述实体、关系和事件之间的时空关联。它包含实体和关系在不同时间和空间下的变化情况,揭示事物的演化过程和时空模式。动态知识图谱是一种特殊形式的知识图谱,专注于描述知识的变化和演化。它在静态知识图谱的基础上扩展为四元组表示,将时间信息纳入实体和关系的表达中。动态知识图谱可以包含结构和属性的变化,用于研究知识的时序演化和趋势变化。因此,时空知识图谱可以被认为是动态知识图谱的一种应用,它利用动态知识图谱的方法和技术,在时空维度上建模和分析知识的变化和演化。时空知识图谱可以帮助我们更好地理解和预测事物的时空行为,而动态知识图谱则提供了实现时空知识图谱的基础框架和方法。在城市交 通领域中被称为城市交通知识图谱,与传统知识图谱相比,城市交通知识图谱更注重处理时间和空间维度的交通信息,提供复杂的推理、预测和决策支持功能。它包含城市交通基础设施、交通网络、车辆、行人等关键实体和关系,为交通规划、管理和智能交通等领域提供丰富的时空信息和强大的数据处理能力。目前,基于知识图谱的交通决策任务包括城市交通流量预测、轨迹和出行预测、交通事故和违法事件分析与风险预警、自动驾驶场景理解、车联网边缘计算、子图查询以及应急决策等。
随着知识图谱在智慧交通中的广泛应用和重要地位的逐步突显,对于交通知识图谱的构建、表示学习、推理以及相关应用的研究已经成为学术界和工业界共同关注的焦点。为了更深入地探讨智慧交通领域中知识图谱的应用与意义,本文对交通知识图谱的构建、表示学习、推理及相关应用作归纳总结,并阐述知识图谱在智慧交通中的重要地位。同时,对当前技术瓶颈进行了挖掘,提出新的技术挑战。智能交通的知识图谱总体技术流程如图1所示。
图1 智能交通知识图谱的技术流程

Fig. 1 The technical process of intelligent traffic knowledge graph

2 交通知识图谱的构建

为了捕捉空间图的交通路网结构信息并进行下游应用,需要构建由交通设备、固定兴趣点(Point of Interest, POI)及路网结构构成的静态地理空间图,即静态知识图谱[8]。由于交通管理部门在日常管理工作中会收集大量文本形式的交通数据,各交通设备也会捕捉到海量的图像数据以及结构化的数值型数据,这些不同来源的数据构成了多模态的交通数据系统,利用其构建的具有多模态实体及多模态实体间语义关系的知识图谱即多模态知识图谱[9]。在应用的过程中,由于知识具有时效性,所以交通事件需要在特定的时间基础上才更具研究价值。具有时序信息的知识图谱能够反映更多的信息,即动态知识图谱[10]。本节将针对城市交通领域本体设计、多模态知识图谱、动态知识图谱,以及交通领域内现存的知识图谱构建技术分别进行重点介绍。

2.1 城市交通领域本体设计

在地理空间信息领域,由于海量的地理空间数据具有多样性和异构性,故将地理数据与知识图谱技术结合应用的研究不断涌现。常见的操作是从开放的地理数据与知识中提取不同类型的地理知识实体,并以资源描述框架(RDF)的格式存储为地理知识图谱,例如CrowdGeoKG[11]、GeoKG[12]等。此外,可以设计城市交通领域本体,从而增强知识图谱的内容和功能,以提供更强大的时空信息处理能力,满足交通规划、管理和智能交通等领域的需求。
领域知识图谱在构建过程中由于涉及的领域范围不同,导致本体的构建有所差异。在地理空间知识图谱构建过程中,知识建模内部需要构建概念层,而概念层为各类本体(Ontology)的集合[13]。地理空间数据本体是指一种用于描述相关知识的实体,并形式化地对共享概念体系进行说明的结构化数据模型。智慧城市将数字城市与物联网通过云计算结合起来,实现数字城市与城市系统的结合。在文献[14]中,作者通过对接入的子本体和领域本体进行学习、消歧和质量评价,实现知识概念融合,最终实现知识图谱的更新和城市场景下的知识本体动态完善。图2为自下而上的消息知识接入过程,能够实现本体动态的完善,最终得到适用于城市场景的知识本体。
图2 多源知识的接入过程

Fig. 2 The process of accessing knowledge from multiple sources

此外,在城市交通领域的其他应用场景中也存在着不同的本体构建示例。例如,为了在应急决策领域提供智能服务,Chen等[15]提出了利用时空城市交通知识图谱作为信息管理框架的方法。在构建应急决策的概念层过程中,引用了OGC标准设计概念层,并采用本体建模工具Protégé定义知识模型。Tan等[16]根据斯坦福大学提出的七步法,构建城市交通领域的本体。这些地理空间知识图谱本体大致分为以下几种类型:公共交通系统、交通态势、出行方式、交通基础设施、交通参与和交通POI等。图3展示了城市交通领域本体的层次结构图。通过该框架可以更好地组织和表示城市交通相关的知识,提升知识的可理解性和可扩展性,并为进一步的推理、预测和决策提供有力支持,同时还能促进交通系统的智能化发展和优化。
图3 城市交通领域本体层次结构

Fig. 3 Ontology hierarchy diagram for urban transportation domain

由于交通路网规划及道路建设的持续推进,故路网结构的复杂性不可忽视。此外,地理空间数据具有多种特征:本质特征、形态特征及来源特征。其中形态特征在构建地理空间知识图谱中需要被重点考虑。例如需要强调道路之间的依赖关系:限行道路、限速道路、具有车道差异的道路、多模式交通道路等。

2.2 多模态知识图谱

区别于静态知识图谱,多模态知识图谱所利用的数据源包括文本数据、图像数据、视频数据以及音频数据。结合多模态数据进行研究能够全面理解特定主题或领域,并精确地表述复杂概念和关系。从无结构的文本数据中提取结构化知识是构建知识图谱的前提,因此有效提取和分析多模态知识是研究的重点内容。本节将对多类模态数据的知识抽取方法展开讨论。
交通管理部门在日常管理工作中收集了大量的文本交通事故数据,如何针对这些文本数据进行挖掘和分析,对于开展道路安全分析和对道路风险的防控研究有着重要的意义。Herwanto等[17]利用监督学习算法中的支持向量机对推文中的交通状况信息进行提取。为了分析交通事故时空特征及事故原因,文献[14]提出了一种用于城市交通事件抽取的多任务联合抽取预训练模型,进行事件类型识别任务、论元角色与论元抽取任务。Hua等[18]则通过文本挖掘和自然语言处理技术对铁路事故报告进行分析,并设计了多通道卷积神经网络(M-CNN)和条件随机场(CRF)模型来提取事故风险因素。通过对以上研究的总结,可以得出文本模态数据的知识抽取流程,如图4所示。
图4 文本模态交通数据的知识抽取

Fig. 4 Knowledge extraction of textual modal traffic data

此外,例如IMGPedia[19]、MMKG[20]为多模态知识图谱的应用提供了丰富的图像及视频数据来源。前者的目的是通过对不同来源的图像资源进行收集、标注和分类,构建了一个包含丰富多样的图像库。其中一种基于实体属性补充角度的图像模态信息抽取方法是基于文本知识图谱,利用关键词通过搜索引擎从Wikimedia-Commons视觉资源中检索与文本实体对应的图像模态数据进行补充。此方法定义了视觉实体属性,以此来计算图片相似度,方便查找相似图片。Liu等[20]提出的MMKG项目,不仅能够对图谱中的实体和图像进行实体对齐,还通过将数值和图片资源与实体绑定来构建多模态数据集合。该项目旨在通过对不同知识图谱进行实体对齐,从而提高知识图谱的数据质量。同时,MMKG使用了3个知识图谱子集,其中包含大量已对齐的实体及具有不同的拓扑结构。这些数据集合不仅可以为多模态信息的实体对齐技术提供基准数据集,也为知识图谱的构建和应用提供了丰富的数据资源。此外,MMKG还发掘了不同知识图谱之间的联系,为知识图谱之间的相互补充和整合提供了启示。然而,通过人工理解直接从视觉数据中提取出有效的特征存在着诸多问题。在早期的图像识别任务中,研究学者们采用尺度不变特征转换和方向梯度直方图等算法提取有效特征,然后结合机器学习算法进行图像识别。但这种方法需要对数据进行繁琐的预处理。随着卷积神经网络的出现,能够直接以图像的原始像素作为输入,通过卷积操作和池化操作,生成矩阵表示。典型的方法有AlexNet[21]、ResNet[22]等,该方法能够减少数据的预处理工作,且具有能够保留空间结构信息,对平移和尺度变化具有鲁棒性等优点。
基于知识图谱的交通辅助应用需要基于大量的数值型数据进行决策,例如结构化的交通轨迹数据、交通流量数据等。Landowski等[23]提出一种利用统计方法进行知识提取的方法。在确定车辆交通量的特征的基础上,综合考虑了车辆类型、时间信息以及车辆速度等因素,计算选定点的车辆交通量特征。Liu等[2]设计了一种名为RFP-KMN的框架,旨在从多源异构数据中挖掘出流量模式知识三元组。该框架能够实现时空数据的特征提取和融合。主要包含2个模块:关系和实体提取模块和城市区域流量模式的知识三元组挖掘模块。前者通过对城市地图进行划分,映射多元数据到相应位置,将其处理成矩阵或张量形式。同时,利用基于LSTM的自编码器提取交通流量变化特征及两区域间的特征,并将其作为两区域间的关系。此外,采用基于二维卷积神经网络(2D-CNN)模型提取关系特征,并将两类特征的融合结果作为区域的特征。该方法可以从城市的时空数据中挖掘出知识三元组,并作为一种相对通用的模式表示。这种表示方法可以被应用于各种下游任务和预测模型中。

2.3 动态知识图谱

为了获取更加全面的知识,丰富知识图谱的特征,近年来许多研究逐渐将时间信息引入知识表示学习和知识图谱补全中,即动态知识图谱。动态知识图谱的表示是在静态知识图谱的三元组基础上扩展为具有四元组表示的知识图谱[24]。从结构上划分,动态知识图谱一般可分为结构动态及属性动态。结构动态是指当有新的实体或边加入到当前知识图谱后会发生图谱更新。属性动态是指将时间信息作为标签纳入静态知识图谱的边或节点中,实体及关系都会随时间的更新而发生改变。
在学习节点的静态表示过程中可能导致重要信息丢失,为了解决这个问题, Goel等[25]在静态模型中配置一个历时实体嵌入函数DEEMB: ( V , T ) ψ,将每对 ( v , t )转化为 ψ的隐藏表示,其中 ψ为向量和或矩阵的非空元组的类。设 z v t为DEEMB中的向量,其定义如下:
$\boldsymbol{z}_{v}^{t}[n]=\left\{\begin{array}{lr} \boldsymbol{s}_{v}[n] \sigma\left(\boldsymbol{w}_{v}[n] t+\boldsymbol{r}_{v}[n]\right) & 1 \leqslant n \leqslant \gamma d \\ \boldsymbol{s}_{v}[n] & \gamma d \leqslant n \leqslant d \end{array}\right.$
式中:svwvrv为具有可学习参数的向量;σ为激活函数。式中向量的第一个γd元素用于捕获时间特征,而其他 (1-γ)d元素用于捕获静态特征。相比于现有的仅提供静态实体特征的临时知识图谱嵌入方法,该函数提供了实体在任意时间点的特征,从而建立了新的动态知识图谱补全模型。该模型与SimplE相结合,可以得到一个完全表达的动态知识图谱补全模型。由于事件和时间缺乏一致性,Han等[26]提出了可解释的推理框架xERTE,该框架可以实现对动态知识图谱的查询及相关子图进行推理,并对图结构及时序上下文信息进行联合建模,以预测未来发生事件的关联。模型在从动态知识图谱中提取的动态扩展推理图Gi上进行的推理过程如图5所示。其中,每条有向边从一个源节点指向其前邻域。 b i l表示节点vi在第l个推理步骤上的注意力分数, β i , j l表示节点i与其前邻域间的边在第l个推理步骤上的注意力分数。给定查询条件 q u e r y = ( e q , p q , ? , t q ),利用节点vquery初始化Gi,其中节点 v q u e r y = ( e q , t q )包含查询主题及查询时间,通过采样vquery的先验邻域来扩展推理图。利用嵌入模块为Gi内包含的每个节点及谓词分配一个跨查询共享的时间嵌入,进而将推理图输入至时序关系图注意力层(TRGA),该层以节点嵌入及谓词嵌入作为输入,通过在小型推理图上传递消息,为每个节点生成查询依赖的表示,并为每条边计算依赖于查询的注意力分数。
图5 xERTE框架体系架构

Fig. 5 Framework architecture of xERTE

目前,交通领域中的研究主要集中在利用静态结构化数据构建知识图谱,但传统模型难以捕捉交通数据中的时间变化信息。为了更好地理解交通系统的动态性,研究者开始关注动态知识图谱的研究。动态知识图谱引入时间信息,能更准确地描述实体和关系在时间上的演化,从而为交通规划和智能交通管理提供更精准的决策依据。因此,动态知识图谱的研究成为了一个热点领域,其提供了一种全新的视角来理解和应对交通系统的动态挑战。本文针对当前交通领域中的知识图谱构建研究及相关应用进行了介绍。Zhou等[27]对城市的每个区域的知识及气象数据进行获取,并进行离散化处理。采用自顶向下的方法构建了包含不同类型城市知识类型的按区域组织的城市知识图谱。Wang等[28]提出了一种基于知识表示学习的地铁交通流量预测方法(KRG-STGNN)。其中构建的地铁交通知识图谱如图6所示,实体包括地铁站点、路线、POI以及随时间变化的因素如交通事件、地铁站客流等。
图6 地铁交通知识图谱实例

Fig. 6 Example of knowledge graph for metro transportation

改善交通安全环境的重要数据源还包括交通事故数据,其中记录了大量与事故相关的多维动态及静态因素。Zhang等[29]基于交通事故案例数据,对交通事故的知识需求、知识建模、知识抽取及知识存储等方面进行了详细分析。为了能够更有效地利用地铁数据中包含的语义信息,构建了交通事故知识图谱。并从事故画像、事故分类、事故统计以及事故关联路径4个角度进行事故可视化分析。Muppalla等[30]提出了一种基于图像的交通传感知识图谱框架(ITSKG),该框架具有从相机捕捉到的图像中识别动态交通状况的能力。
在具有时序信息的动态交通知识图谱领域,Sun等[31]基于构建的城市交通知识图谱提出了一种星型子图查询算法TKG_Sub。通过将道路网络层模型与轨迹层模型相结合,充分表达了动态知识图谱的特征。Zhang等[32]提出了一种城市知识图神经网络模型(UKG-NN),通过结合城市知识图谱及神经网络,解决了交通事故推理和货物存储优化问题。Liu等[33]提出了一种构建铁路运营事故知识图谱(ROAKG)的建模方法,旨在通过描述异构网络中的事故和危害来揭示事故的潜在规律。在构建ROAKG的过程中,利用3种结构矩阵提取实体间的关系:因果邻接矩阵(CAM)、类型矩阵(TM)及值矩阵(VM)。CAM矩阵的定义如式(2)所示。
$\boldsymbol{C A M}_{n m}=\left\{\begin{array}{ll} 1 & <n, \textit { cause }- \textit { effect }, m>\in K T s \\ 0 & <n, \textit { cause }- \textit { effect, } m>\notin K T s \end{array}\right.$
式中:n表示危害;m表示危害或事故;KTs表示识别的所有知识三元组,该矩阵是由关键词“cause-effect”的知识三元组所决定的。通过CAM可以将描述因果关系的知识三元组映射成一个图,即当CAMnm=1时,从实体n到实体m间存在一条因果关系边。利用所选知识三元组为例,CAM矩阵及其图结构如图7所示。
图7 CAM矩阵及其相应的图结构

Fig. 7 CAM matrice and its corresponding graph structure

类似地,TM矩阵由关键词“typels”的知识三元组所确定。VM值矩阵由关键词“hasValueof”的三元组所确定。其矩阵的定义如式(3)、式(4)所示,图结构如图8图9所示。
图8 TM矩阵及其相应的图结构

Fig. 8 TM matrice and its corresponding graph structure

图9 VM矩阵及其相应的图结构

Fig. 9 VM matrice and its corresponding graph structure

$\boldsymbol{T M}_{m m}=\left\{\begin{array}{ll} 1 & <n, \textit { typels }, m>\in K T s \\ 0 & <n, \textit { typels }, m>\notin K T s \end{array}\right.$
$\boldsymbol{V M}_{n m}=\left\{\begin{array}{ll} a & <n, \textit { hasValueofa, } m>\in K T s \\ 0 & <n, \textit { hasValueofa, } m>\in K T s \end{array}\right.$
式中:a表示相应三元组中频率(Frequency)与结果(Consequence)的具体值。Wang等[34]基于交通轨迹数据及POI类别信息,利用预定义的数据模式提取实体、关系及事实,进而构建时空城市知识图谱(STKG),如图10所示。此外提出了一种嵌入模型用于学习STKG中的所有实体的特征向量,最后基于学习到的嵌入向量实现移动预测,并首次将移动预测问题转化为时空城市知识图谱中的知识图谱补全问题。
图10 用于用户移动预测的系统工作流程

Fig. 10 System workflow for user mobility prediction

综上所述,表1依据3类知识图谱的属性和优势及不足进行总结和归纳。研究者可以根据具体的应用场景和需求,选择合适的知识图谱类型解决相应的问题。
表1 交通领域各类知识图谱对比

Tab. 1 Comparison of various types of knowledge graphs in transportation

类型 优势 不足
静态知识图谱 描述精确,能够准确描述交通领域实体间的关系和属性,包括道路网络拓扑结构、交通规则等静态信息;适于长期存储和高效查询,支持路径规划、道路管理等应用 缺乏实时性,无法实时反映交通状况的变化,对实时决策和调整有限;对于动态变化的需求有限,如交通流量预测、拥堵分析等
动态知识图谱 具有实时性,能够捕捉实时数据,对于实时决策和调整具有较强的支持能力;能够追踪和分析实体的历史演化过程,对于预测、推荐系统以及时间序列分析等应用具有价值 图谱构建和维护方面面临数据质量和准确性方面的挑战,需要处理噪声、数据缺失等问题;存储和计算成本较高
多模态知识图谱 信息全面,可以提供更加全面丰富的交通状况描述;综合分析多种模态数据,帮助进行交通态势分析 数据量较大,计算复杂度较高;需要解决数据融合和一致性的问题

3 交通知识图谱的表示学习

如何从大规模的知识图谱中有效且高效地提取和利用有用信息,以支持下游任务,是一项艰巨的挑战。为了解决这个具有挑战性的任务,在机器学习领域,知识图谱表示学习引起了广泛的关注[35]。知识图谱表示学习的目标是将知识图谱中的语义关系嵌入到一个低维空间中,同时要求保留原始知识图谱的语义和关系结构。通过学习得到的嵌入向量,可以进行各种下游应用,对知识图谱进行进一步的应用和分析[36]
由于基于嵌入表示的方法既能够很好地进行知识表示又有着令人满意的执行效率,能够将图结构中的隐含语义信息映射至欧式空间,使得原来难以观测的关系变得更加显而易见[37],所以被广泛应用于交通领域的知识图谱表示学习中。基于规则的方法被分为基于逻辑的方法、基于统计的方法以及基于图结构的方法。基于嵌入表示的方法又包括张量分解方法、距离模型方法、语义匹配模型[38]。本节将分别针对多模态知识图谱、动态知识图谱,以及交通领域中常用的表示学习方法进行介绍。

3.1 多模态知识图谱的表示学习

现有的知识图谱表示学习方法主要基于实体与关系间的结构性知识,很大程度上忽略了实体间的知识[39]。并且一些表示方法虽然能够对实体知识进行有效的集成,但缺乏多模态知识的适用性。Wang等[40]通过将多模态自编码器(AE)和TransE模型相结合,提出了一种新的表示学习方法TransAE。整个多模态自编码器的训练目的是为了使重构误差G实现最小化,其中重构误差是2种模态的输入层和输出层的不相似度之和:
G = e i ( 1 ) - e i ( 5 ) 2 2 + e t ( 1 ) - e t ( 5 ) 2 2
式中: e i ( 1 ) e t ( 1 )分别表示输入层接收到的2种输入特征:图像特征向量与文本特征向量; e i ( 5 ) e t ( 5 )分别表示通过解码器后映射到输出层的特征。TransAE模型中使用了自编码器的隐藏层作为TransE模型中实体的表示,因此它不仅编码结构化知识,还将图像知识和文本知识等多模态知识编码为最终的向量表示。与仅基于结构化知识的传统方法相比,TransAE在链路预测和三元组分类任务的效果上有明显的提高。虽然目前针对多模态知识图谱的表示学习已具备一定程度的改进,但有研究学者考虑到直接在嵌入中加入视觉信息可能导致负面影响,故Wang等[41]考虑到视觉语境对表示学习的影响,提出了一种新的关系敏感多模态知识嵌入模型RMSE。如图11所示,RMSE由基本的嵌入模型、滤波门、遗忘门以及融合门组成。首先,RMSE采用过滤门对不相关的图像进行过滤。当视觉信息被选中时,图像能够通过遗忘门来增强其有益的特征,而MRP分数较小的噪声将被忽略。遗忘门之后将视觉信息与图谱结构信息融合至融合门中,最终通过最小化损失函数实现实体和关系的嵌入。
图11 知识嵌入模型RMSE的流程

Fig. 11 Flowchart of the knowledge embedding model RMSE

其中,为了便于统一结构模型和视觉信息,基本嵌入模型采用了语义匹配ComplEx模型。此外,为了研究不同图像编码器对知识嵌入的影响,文中采用了3种图像编码器:CNN编码器(VGG16[42]或Resnet50[43])、感知哈希算法(pHash)以及Vision Transformer(VIT)。在表示学习的建模方面还需考虑多模态知识图谱的关系复杂等问题,故模型需要对不同类型的关系有较强的区分能力。基于此,Wang等[44]提出了多头自注意力的多模态知识图谱表示学习模型(MKGRL-MS),该模型为每个实体补充多模态信息,提取相应的文本及图像特征,然后将其拼接成特征矩阵。如图12所示,在语义合成过程中,通过学习实体不同模态特征的注意程度来组合不同的模态信息。在该模型中,实体的嵌入不仅表示其语义信息,还表示其本身的多模态特征信息。
图12 多模态知识图谱表示学习模型MKGRL-MS的流程

Fig. 12 Flowchart of the multimodal knowledge graph representation learning model MKGRL-MS

通常情况下,多模态知识图谱存在着低覆盖率以及不完整等问题。针对以上问题, Guo等[45]提出了双曲多模态实体对齐方法。首先,采用双曲图卷积网络(HGCNs)学习实体的结构表示,进而对于视觉信息使用密集网络模型生成图像嵌入,使用HGCNs将其投射至双曲空间中。最后,将双曲空间中的结构和视觉表示相结合,并使用聚合嵌入预测潜在的对齐结果。

3.2 动态知识图谱的表示学习

对于交通中的动态演化情况,传统知识图谱表示方法忽略了知识库中的时间信息[46]。随着深度学习在各领域的逐步发展,其对时间序列数据进行有效编码的手段也越来越丰富。主流的动态知识图谱表示学习算法可被分为具有时间片的方法和缺失时间片的方法。具有时间片的方法即把动态知识图谱依据每个时间戳分割成若干个静态知识图谱,算法通过划分时间片来建模知识在不同时间点的演化过程。而在缺失时间片的动态知识表示方法中,算法直接对整个时序知识图谱进行建模。接下来将对2种分类方式中的典型算法进行介绍。
(1)具有时间片的动态知识表示方法
Dasgupta等[47]提出一种时间感知的知识嵌入方法HyTE,通过将每个时间戳与相应的超平面相关联,明确地将时间信息结合至实体-关系空间中。HyTE将时间戳作为超平面 w τ,并将实体和关系进行投影表示:
P τ ( e h ) = e h - ( w τ e h ) w τ P τ ( e t ) = e t - ( w τ e t ) w τ P τ ( r ) = r - ( w τ r ) w τ
式中: e h e t r分别表示三元组中的头实体、尾实体及关系; P τ ( e h ) P τ ( e t ) P τ ( r )则分别表示经过投影后的头实体、尾实体及关系。时间投影的评分函数如下所示:
f τ ( e h , r , e t ) = P τ ( e h ) + P τ ( r ) + P τ ( e t ) L 1 / L 2
在时间τ上有效的正三元组,其映射为 P τ ( e h ) + P τ ( r ) P τ ( e t )。Jin等[48]提出了一种用于预 测未来交互的新型自回归架构:循环事件网络RE-NET。RE-NET使用循环事件编码器对过去事实进行编码,并使用邻域聚合器对同一时间戳中的事实连接进行建模,进而能够基于两模块以顺序方式推断未来事实。如图13所示,聚合器对全局图结构及局部邻域进行编码,分别捕获全局和局部信息。循环事件编码器使用图结构的编码表示序列更新其状态,MLP解码器定义当前图的概率。
图13 RE-NET的结构示意

Fig. 13 Illustration of RE-NET architecture

Garg等[49]提出DARTNET框架能够整合来自动态知识图谱中的信息以进行时间序列预测。如图14所示,通过学习图中每个节点的静态嵌入以及依赖于动态属性值的动态嵌入,采用关系特定均值从邻域捕获信息,并使用RNN对历史信息进行编码。
图14 DARTNET框架的链路预测及属性预测过程

Fig. 14 Link prediction and attribute prediction processes for the DARTNET framework

对于不完整的知识图谱进行缺失事实预测已有相关研究,然而预测未来事实的动态知识图谱还未得到解决。基于此, Li等[50]提出一种基于图卷积网络的循环进化网络RE-GCN。通过对知识图谱序列进行循环建模来学习每个时间戳的实体和关系的进化表示。具体来说,对于进化单元,利用关系感知GCN在每个时间戳捕获图谱内的结构依赖性。为了并行捕获所有事实的顺序模式,历史图谱序列由门控循环组件自回归建模。在动态知识图谱的推理中,洞察历史事件是进行预测未来事实任务的关键。从历史发展规律的角度,综合考虑历史事实的顺序性、重复性和周期性,有利于预测未来事实。为此,Li等[51]提出了一种具有局部-全局历史模式的时序导向递归图网络模型TiRGN。具体来说,该模型使用局部循环图编码器网络对相邻时间戳上事件的历史依赖性进行建模,并使用全局历史编码器网络收集重复的历史事实。
(2)缺失时间片的动态知识表示方法
Jiang等[52]提出了一种新型时间感知的知识嵌入方法。具体来说,通过使用时间顺序约束来建模时间敏感关系之间的转换。其中定义了时间顺序关系对(ri, rj)以及之间的转换矩阵 N R n × n,并要求正时序关系对的分数低于负对。将时间顺序评分函数定义为 f ( r i , r j ) = r i N - r j 1。知识图谱中的链接预测任务大多集中于静态多关系数据上,考虑到动态知识图谱中的实体间关系可能只在一个时间间隔或特定时间点内保持一致,García-Duran等[53]通过学习潜在实体和关系类型表示来解决这个问题。为了合并时间信息,利用RNN学习关系类型的时间感知表示。具体来说,将谓词标记序列和时间标记序列连接起来,并使用LSTM对连接的时间感知谓词序列进行编码。每个长度为n的谓词序列以LSTM的最后一个隐藏状态 e t e m p = h n来表示。扩展的TransE和DistMult的评分函数分别为 e h + e t e m p - e t 2 ( e h e t ) e t e m p
Sadeghian等[54]提出了一种学习实体、关系和时间表示的时序旋转嵌入方法ChronoR。该模型学习了一种由关系和时间参数化的k维旋转变换,使得每个事实的头部实体在使用旋转变换后落在其相应的尾部实体附近。对于真实的事实来说,存在如下情况:Pr,τ(z)=t,其中 z , t R n × kPr,τ表示k维空间中由rτ参数化的线性算子。通过将高维旋转作为变换算子,ChronoR捕获了时序知识图谱的时态特征和多关系特征之间丰富的交互作用。大多数现有的方法在建模动态知识图谱时没有考虑到利用已知事实预测未来知识的重要性,Zhu等[55]认为更精确的时间事实推断应该充分利用过去已知的事实,故提出了基于时间感知复制生成机制的表示学习模型CyGNet。该模型不仅能够预测未来的事实,还能够识别重复发生的事实,并参考已知的事实预测未来事实。模型将复制模式(Copy mode)和生成模式(Generation mode)进行结合,对于时间为tq的每个查询四元组 ( e h , r , ? , t q )来说,其训练过程为:
V t q ( e h , r ) = v t 1 ( e h , r ) + v t 2 ( e h , r ) + + v t q - 1 ( e h , r )
式中: v t q ( e h , r表示n维多热(multi-hot)指示向量。复制模式旨在通过识别具有递归性的事实,并根据已知的历史事实进行复制进而预测未来事实。具体来说,复制模式首先通过MLP生成n维索引向量 h k
h k = t a n h W c e h , r , t k + b c
式中:$W_{c}\in \mathbb{R} ^{2d\times n}$与$b_{c}\in \mathbb{R}^{n}$为可训练参数;$e_{h}$为头实体;$r$为关系;$t_{k}=t_{k-1}+t_{m}$中$t_{m}$表示单位时间阶跃。索引向量$h_{k}$为n维向量,n表示整个实体词汇表的基数。模型通过索引向量$h_{k}$与指示向量$\dot{V}_{t_{q}}^{e_{h},r}$来划分候选空间,令不感兴趣的实体出现的概率达到最小值,使用softmax函数估计历史词汇表中目标实体出现的概率:
z q = h k + V ˙ t q ( e h , r s ( z ) = s o f t m a x ( z q )
式中:$s(z)$是一个大小等于整个实体词汇表大小的向量,表示对历史词汇表的预测概率;$z{q}$为n维索引向量生成模式同样会生成一个索引向量$f_{g}$,并使用softmax函数进行归一化来预测。与复制模式中$s(z)$的相似,$s(f)$表示整个实体词汇表的预测概率:
f g = W g e h , r , t k + b g s ( f ) = s o f t m a x ( f g )

3.3 动态多模态知识图谱的表示学习

交通领域是一个信息密集的领域,涉及到大量的结构化和非结构化数据。除了数值型的结构化数据,例如车辆速度、道路拥堵程度等,交通领域中还存在着大量的文本和图像数据。这些文本数据包括交通新闻、博客、社交媒体评论等,而图像数据则包括交通摄像头监控画面、交通标志和路况图片等。
在交通领域中,文本和图像数据的处理具有一定的挑战性。文本数据往往存在着多样的表达方式和语言差异,需要进行文本理解和自然语言处理,以提取有用的信息。为了充实交通领域的知识图谱,研究人员致力于设计相关的知识表示学习方法。这些方法旨在将文本和图像数据转化为低维向量表示,以便更好地进行数据分析和推理。文本模态信息的表示学习方法包括距离模型和基于深度学习模型的方法。其中,距离模型方法将实体和关系映射到低维向量空间进行表示。而基于深度学习模型的方法,则是在获取结构化形式的表示向量后,利用深度学习模型得到文本的表示。例如,在自动驾驶场景中,Wickramarachchi等[56]通过使用图像数据集,采用了TransE距离模型和RESCAL语义匹配模型相结合的方法,得到低维向量空间中的实体和关系表示。为了解决RESCAL在处理大规模知识图谱时的局限性,他们还引入了HolE算法来增强嵌入模型。HolE算法通过循环计算实体嵌入,并且能够建模不对称的关系。
此外,为了基于边缘计算的车联网的多源数据推理交通信息,Shi等[57]提出了TKGERM框架。传统的交通数据处理方法主要处理原始交通数据,然而TKGERM框架将坐标映射模型和关联上下文的知识表示学习模型相结合,能够克服非原始交通数据中地理位置的模糊性以及缺失语义信息的问题。

4 动态交通多模态知识图谱的推理

知识推理技术通过挖掘和推断未知知识来完善知识图谱或纠正其中的错误知识,为下游应用提供支持[58]。由于构建时会面临知识局限性以及数据的非静态特性,故通常会导致知识三元组的缺失。因此,知识推理对于预测知识图谱中缺失的关系具有重要的研究和应用价值[59]。本节将从补全技术与因果推理技术两个角度展开进行归纳,并对相关的研究方法进行梳理。

4.1 知识图谱的补全技术

在交通领域中,当处理非结构化文本数据、图像数据或结构化数据时,进行实体和关系抽取时经常会面临三元组缺失和不完整的问题。为了应对这些问题,知识图谱的补全技术应运而生。该技术旨在结合外部来源的信息填补知识图谱中的缺失,使其更加完整和准确。补全的过程包括预测新的实体和关系,根据已有知识推断缺失的信息,或通过外部资源补充图谱的内容。其中,子任务主要涵盖实体、关系以及属性的预测[60]。实体预测是根据给定的三元组中的实体和关系预测出其他实体,而关系预测是通过给定实体预测两者间的关系。如图15所示,交通领域中可以通过知识图谱补全技术对静态交通数据的关系进行推理。
图15 知识图谱补全技术实例

Fig. 15 Examples of knowledge graph completion

根据对符号的处理方式的划分,动态知识图谱的补全技术可分为基于符号逻辑的方法以及基于表示学习的方法。描述逻辑EL(Description logic EL)是符号逻辑的一种特定形式,因其语言简洁和计算效率高得到了广泛关注,广泛应用于语义网和知识图谱领域。然而,在描述逻辑EL中,传统的EL不具备处理时间维度的能力,无法对时间相关的查询做出准确的回答。为了解决这个问题,Borgwardt等[61]研究了基于时间化OBDA w.r.t本体的描述逻辑,并进行了高效推理。通过在EL语言中引入时间维度,用户可以进行包括过去、现在和未来在内的时间相关查询。这种结合了描述逻辑推理能力和时间语义的方法,能够准确地回答与时间相关的查询,如查询某个时间点的概念成员、属性取值等。此外,Borgwardt等[62]研究了通过经典本体访问时态数据的时态连接查询(TCQs),通过扩展DL-Lite提出了时态查询推理算法,实现了经典本体访问时态数据的功能。通过这种查询,可以从带有时态信息的知识图谱中提取满足一组条件的实体或关系,并且可以指定特定时间点或时间段,这在时态数据分析和知识图谱应用中的时态推理非常重要。另外, Gutiérrez-Basulto等[63]提出了基于分支时间逻辑CTL和轻量级时间逻辑EL的时间描述逻辑(tdl)方法,证明了在子片段上的时态查询任务可以在多项式时间内解决。在交通领域的知识补全任务中,Tan等[16]采用了一种基于交通实体之间隐含关系的方法,对三元组中缺失的实体数据进行补全,通过比较TransD模型与经典推理模型TransE、TransH的效果,解决了城轨通勤者的起止点补全任务和交通态势与POI间的关系挖掘任务中的数据稀疏问题。Ji等[64]采用DeepPath强化学习方法进行知识推理,DeepPath是解决多跳知识图谱推理任务的最先进的方法。知识图谱训练模块的核心是采用基于策略的强化学习(Reinforcement Learning, RL)方法,根据知识图谱的结构使强化学习智能体在知识图谱上进行移动,并尝试通过学习推理路径来对拥塞传播关系进行推理。通过训练策略网络,智能体在每个时间步内学习最优策略扩展推理路径。与其他补全任务不同的是,Wang等[34]将用户移动预测问题转化为知识图谱补全问题进行解决。针对每个用户个体、目标时间和辅助POI信息,提出的算法通过在所有候选辅助信息上进行迭代,并使用得分函数计算得分,最终选择得分最高的POI作为预测结果。
相对于其他领域的应用来说,知识图谱补全技术在交通领域的研究和发展并不广泛,所以预测任务以及新知识的需求在交通中还有待研究,其中的可解释性及可扩展性也有待挖掘。

4.2 因果推理技术

在交通领域,因果推理可以被应用于分析交通系统中不同变量之间的关系,例如交通拥堵与路网规划、交通安全与交通信号系统、驾驶员行为与交通事故等。通过对这些关系的分析,可以发现交通系统中的瓶颈和其原因,并提出相应的优化策略。因此,在交通领域中,因果推理成为了知识图谱辅助决策的重要方法之一。因果推理是根据因果关系的发生情况提取知识的过程,可以被看作是确定系统中各种变量之间的关系的一种方法,尤其是在确定某些事件之间的关系时是由一种事件决定于另一种事件的[65]。近年来,因果推断的分析技术在不同领域得到了发展。在大多数的研究分析中,典型的研究目的是识别变量之间的相关性。然而,当发现一个强关联或强相关性发生时不能简单地暗示因果关系。在一些涉及的研究中,有几种算法方法可供选择,包括重新加权法(Reweighting methods)、匹配法(Matching methods)、分层法(Stratification methods)等[66]。重新加权法是通过调节每个因果推理研究对象的权重,使得干预(Treatment)与对照组(Control groups)的分布保持一致。匹配法提供了一种估计反事实的方法,减少了混杂因素带来的估计偏差。通过匹配估计的第i个推理研究对象的潜在结果计算方法如下所示:
$\hat{Z}_{i}(0)=\left\{\begin{array}{ll} Z_{i} & W_{i}=0 \\ \frac{1}{\# H(i)} \sum_{k \in H(i)} Z_{k} & W_{i}=1 \end{array}\right.$
$\hat{Z}_{i}(1)=\left\{\begin{array}{ll} \frac{1}{\# H(i)} \sum_{k \in H(i)} Z_{k} & W_{i}=0 \\ Z_{i} & W_{i}=1 \end{array}\right. $
式中: W = 0 W = 1分别表示对照组及干预组; Z ^ ( 0 ) Z ^ ( 1 )为对照组及干预组的估计结果; H ( i )表示相反组中与样本距离最近的样本对象。分层法是将干预组及对照组的样本进行分组,使得干预组和对照组属性同构。在反事实推理方面,Johansson等[67]提出了利用神经网络及领域适应方法对反事实结果进行推理。通过将训练集中的差异距离(Discrepancy distance)最小化以及正则化,对事实化的结果错误率进行最小化。
在对交通系统进行因果推理时,需要考虑系统中的复杂性和数据的异质性。例如,在分析交通拥堵与路网规划之间的因果关系时,需要考虑路网拓扑结构、交通流量分布、驾驶员出行行为等多方面因素。因此,在执行因果推理之前,需要进行数据预处理和特征工程,以确保数据的质量和准确性。此外,需要采用合适的因果推理模型和算法,以探索变量之间的因果关系,并进行有效的决策支持。无论是交通还是其他领域的知识图谱辅助决策方法,机器学习和因果推理方法可以相互融合并为彼此服务,而且机器学习为因果效应估计带来了强大的算法。因果推理如何帮助改善机器学习算法设计中的鲁棒性、泛化和知识转移等问题,也面临着较大的挑战。

5 智能交通知识图谱的应用

5.1 城市交通流量预测

随着社会经济的不断发展,人口数量及汽车数量飞速增长。城市交通拥堵现象在此背景下接踵而至,城市交通和安全问题迎来了挑战。基于交通拥堵预测的各种手段可以为交通管理部门进行调度并做出决策。近年来,针对该问题的解决方法如火如荼,例如采用统计分析模型、机器学习模型、深度学习模型及基于图神经网络的深度学习模型等。但有研究发现,将知识图谱融合到深度学习模型中,能够将知识图谱的语义能力和数据挖掘能力进行结合,从而得到更优的拥堵预测效果[68]。基于知识图谱的交通流量及拥堵预测的具体流程如图16所示。
图16 基于知识图谱的交通流量及拥堵预测

Fig. 16 Traffic flow and congestion prediction based on knowledge graph

在交通预测研究中,研究学者们越来越青睐于将知识图谱技术作为辅助手段,相比于单纯采用深度学习方法,这种方法能够显著提高交通预测效果。Zhou等[27]提出了知识图谱结合时空卷积神经网络的模型(KG-ST-CNN)对城市拥堵区域预测。在知识图谱构建方面,采用自顶而下的构建方法,对城市及气象数据进行离散化和语义处理,然后引入图卷积网络提取知识图谱的特征。在时间相关性上,利用多卷积网络提取时间特征。通过北京交通运营协调中心提供的交通数据进行验证,证明了模型预测的有效性,能够精准预测拥堵区域的状态。
Zhu等[69]提出了一种基于时空图卷积网络(KST-GCN)的知识表示驱动的交通预测方法。首先构建交通知识图谱,通过知识表示学习方法KR-EAR获得知识表示XE。然后提出了知识融合单元(KF-Cell),将外部知识引入到主干时空图卷积网络中。KF-Cell的输入为知识嵌入以及t时刻观测到的路段特征Xt。由于外部因素具有多样性,故将由外部因素得到的嵌入向量分为静态嵌入es和动态嵌入ed,将两类外部因素特征通过门控单元对交通特征进行更新,进而得到更新后的路段特征 X t '。为了建立基于知识表示的交通流量空间依赖模型,采用更新后的路段特征和邻接矩阵作为图卷积GCN的输入,GCN利用谱图理论捕捉交通网络的拓扑关系和特征,实现空间依赖性的捕捉,从而得到各路段的表示向量:
g c y l ' , A = σ ( D ˜ - 1 2 A ˜ D ˜ - 1 2 y l ' W l )
式中:$σ(*)$为激活函数;A为邻接矩阵;$\tilde{A}$为自连接邻接矩阵;$\tilde{D}$为$\tilde{A}$的度矩阵;Wl为第l层卷积的权值矩阵;$y'_{l}$为第l层节点特征的非线性组合的输出。然后,利用门控循环单元GRU捕获时间依赖性。具体而言,通过GRU的门控机制,可以自适应地选择性地更新和遗忘信息。输入门控单元决定当前时刻的输入是否进入隐藏状态;更新门控单元则控制隐藏状态的更新,根据当前输入和之前的隐藏状态来生成新的隐藏状态;最后,输出门控单元决定隐藏状态中的信息是否输出作为预测结果。在深圳罗湖区的真实数据集上进行实验,证明了融入知识图谱能够有效提升预测效果。Xiong等[70]提出了一种嵌入异构路网信息的时空图卷积网络HIT-GCN。具体而言,使用知识嵌入方法生成知识向量,用于度量节点属性信息之间的异质性。在路网层,通过计算基于路网拓扑结构和节点异质性的同质邻接矩阵,判断两个路段节点是否具有相似的空间特征。根据节点的拓扑结构和异构信息相似性,为相邻节点分配不同的权重,从而控制时空图卷积网络的传播,提高预测的准确性和可靠性。
在地铁交通流量预测方面,为了可以更好地将外部因素的影响融入时空图神经网络预测模型中,Wang等[28]提出了一种基于知识图谱表示学习的地铁交通流预测方法(KGR-STGNN)。通过知识图谱表示学习方法,从交通知识图谱中学习外部因素的影响表示。随着地铁系统智能化运营管理的快速发展,将出行行为和时空依赖关系整合到预测中这一方面仍存在一定的障碍。Zeng等[71]在构建地铁系统知识图谱的基础上,提出了一种分割注意力机制的关系图卷积网络(SARGCN)。该模型集成了关系图卷积网络(R-GCN)、分割注意力机制(Split-attention mechanism)和长短期记忆网络(LSTM),研究了客流流入及流出间的时空相关性和依赖性。

5.2 轨迹及出行预测

在交通系统中,预测轨迹目的地如何利用大规模轨迹数据是交通领域研究的一个重要分支。为了使机动车能够在复杂的交通场景中安全高效地行驶,需要对其运动状态进行预测。此外,由于驾驶员的行为是多模态的,这为预测任务带来一定的困难[72]。单个轨迹数据只能反映个体出行情况,但若采用多条轨迹数据则可以挖掘更多隐含的有价值的信息,极大地有助于城市规划等任务的实施[73]。Ahmed等[74]提出了一种基于知识图谱的方法来检测轨迹中的异常值。将轨迹点、经纬度及时间信息作为构成有向图的基础元素。进而采用有向加权图构造正常图和异常图。通过对源图与目标图进行比较,提取图的相似特征,进而得到向量表示。基于TPOT算法利用这些特征对轨迹进行分类,能够高精度地检测出轨迹的离群点和偏差点。
随着感知技术的进步,从车辆个体层面获取出行数据具有更加细粒度的特点及更大的研究潜力,为了更好地处理个体层面的城市车辆出行大数据,可以引入知识图谱进行研究[75]。针对个体级行程数据的组织问题,Li等[76]构建了个体层面的出行知识图谱,将个体层面的出行数据组织起来,并将出行信息以三元组的形式进行表示,能够直接表达数据间的关系,从而显著提高了数据获取效率。此外,还提出了一种机动特性挖掘方法来分析车辆的出行模式。最后,针对个体层面的出行数据获取困难且隐私问题无法开放的问题,提出了一种出行知识图谱生成算法,该算法可以生成去除敏感信息的行程知识图谱。近年来,研究人员致力于从轨迹数据中发现有价值的信息,但现有方法大多局限于特定场景和应用,缺乏通用性。吴瑕等[77]提出了将交通轨迹转换成知识图谱结构的方法,从而建立轨迹图谱。设计TGEI、TGRI、TGEAI、TGRAI共4种算法,分别对预处理后的Geolife数据集进行实体、关系、属性的抽取。在实际应用中,采用图数据库的查询语言Cypher对查询进行描述,例如各类轨迹查询、范围查询、最近邻查询、关键词查询与模式查询等。

5.3 交通事件挖掘和预测

随着城市轨道交通网的复杂化,繁荣的交通不仅为社会带来了积极的效益,同时也带来了负面的影响[78]。为了稳控道路交通安全形势并开展安全分析,挖掘事故的潜在规律成为亟须解决的问题。利用知识图谱的语义化且能够充分挖掘数据价值的特点,能够实现交通事件文本型数据的识别、交通问题或事件的查询,并为事故预警提供辅助[79]
在构建交通事故知识图谱的过程中,实体包括事故当事人的姓名、违法行为、车牌号、发生事故的道路以及气象状态等。关系是指不同实体或概念间的联系。Zhang等[29]基于结构化的交通事故数据,通过直接映射的方法将其映射为RDF三元组,从而实现17 182个实体和51 992个关系的知识提取。通过Cypher查询语句进行实现了查询任务:事故分类查询、事故多发地点的位置分析、事故多发地点的时间要素分析、事故当事人的特征分析以及事故关联路径分析。例如,若根据事故发生地点进行事故分类查询,则可利用如下Cypher语句进行查询:MATCH p = (n: “道路”)- [r:位于] -> (m: “道路”) RETURN p。在我国道路交通安全法律法规体系不断完善的背景下,利用事理图谱技术可以构建道路交通领域知识库,以揭示道路交通违法行为事件之间的逻辑关系。王等[80]基于交通违法案例数据集构建了道路交通领域语料库,并采用Bert-BiLSTM-CRF模型进行事件抽取。该模型中采用BERT模型嵌入向量对输入文本序列进行语义表示,再采用双向LSTM进行上下文的特征学习和捕获,最后采用CRF进行标记和事件提取,以提高模型的准确性。这种方法能够快速且有效地辅助处理交通违章事件。
对于基于事件类型数据构建的知识图谱,需要对非结构化文本数据进行处理,Zhou等[81]结合BERT、Bi-LSTM和条件随机场提取触发器,采用掩码语言模型(MLM)和下句预测(NSP)进行多任务训练。通过引入BERT可以获得词和句子的向量表示,同时保留句子中词的语义信息。使用Bi-LSTM从输入的前后方向提取和连接特征。通过对CRF模型的训练完成序列标记的任务。通过结合BERT和ConditionalLayer-Norm模型来提取参数,将待分析的句子和文本中触发点的位置设置为输入。特征由单词和触发器之间的相对距离表示。触发器的相对距离为0,条件层范数模型的输入是BERT的输出。此外,突发事件演化结果预测对城市轨道交通系统的应急方案和安全运营至关重要。然而,现有方法较为复杂、缺乏准确性,而且过于依赖决策者主观设定的特征权重和检索模板。朱等[82]提出了一种基于知识图谱和关系卷积神经网络的轨道交通突发事件演化结果预测方法。首先,从构建的事件案例知识图谱中获取历史信息并构建三元组。其次,采用关系图卷积神经网络(R-GCN)中的编码器将未来预测事件的特征与生成的三元组进行共同训练,进而生成融合邻域实体及关系特征的实值向量。进而采用DistMult模型进行评分,将得分最高的三元组中的尾实体视为最终预测结果。该方法具有较高的准确性及普适性,为轨道交通应急管理提供了技术 支持。

5.4 车联网中的辅助应用

(1)场景理解及态势理解
当前在自动驾驶(AD)领域,研究学者们正在研究如何利用知识图谱来管理车辆传感器产生的海量异构数据[83]。场景理解是自动驾驶领域中的一个重要部分,其需要考虑场景的各个方面,包括被检测的对象、事件、时间和位置[84]。关于知识图谱嵌入的工作,已经被证实能够提高机器学习模型的预测性能[85],通过该方法能够进行神经符号的融合,提高场景理解能力。Wickramarachchi等[56]在Aptiv和Lyft基准数据集的基础上构建知识图谱,并生成了多个具有不同信息细节程度的知识图谱。这些生成的知识图谱用于表示自动驾驶汽车在道路中任意一段过程中出现的各种场景或状况。构建不同知识图谱的目的是为了评估其嵌入向量的能力。每个知识图谱都使用了3种流行的嵌入算法(TransE、RESCAL、HoLE)将其转换为嵌入向量表示,并使用了分类指标、连贯指标和语义转换距离这3个指标进行评估。在考虑嵌入算法的有效性时,研究人员发现基于翻译距离的TransE算法比基于语义匹配模型的算法能更好地捕获类型和关系语义。
由于交通运输系统是一个具有自组织特性的开放且复杂的系统,所以在研究交通运输系统的运行逻辑及特点时需要从系统要素入手。目前的研究缺乏对交通系统要素的整体网络分析,因此,Zhang等[86]基于自主交通运输系统(Autonomous Transportation System,ATS)的五类要素构建了一个关系网络,以“基于V2X的自动驾驶汽车碰撞预警方案”为例,利用知识图谱结合相关指标进行网络分析,挖掘各要素的特征和潜在规律,将其关联关系进行可视化展示,最终为运输管理人员提供决策依据,并为ATS系统架构的建设和完善奠定理论基础。
在日常的交通状况下,驾驶者的驾驶行为复杂多样,所以分析驾驶者的驾驶特性并做出正确的意图辨识是重点关注的内容。这项任务很大程度上取决于许多主观因素和客观因素,包括驾驶者当前的状态、目的地以及周围环境等。安全驾驶需要了解当前的驾驶情况,并感知当前的交通状况,理解其含义并预测未来会发生什么。情境意识(Situation Awareness,SA)是指驾驶者对驾驶环境能够快速认识并试图做出相应的反应[87]。自动驾驶系统(Automated Driving Systems,ADS)可以通过对困难驾驶情况发出警告来协助驾驶员减少事故。
Halilaj等[88]提出了基于知识图谱的上下文态势智能方法(CoSI),用于融合并组织异构类型的与交通状况相关的信息源,包括驾驶员、车辆、道路基础设施、驾驶情况和与其相互作用的交通参与者的信息。并构建了一个本体来封装对驾驶环境至关重要的核心概念。来自外部本体的概念能够被重复利用,从而能够实现简单的扩展和不同数据源间的互联,并有助于数据提取。此外,介绍了如何通过图神经网络等嵌入方法利用知识图谱中的知识来实现高级驾驶辅助系统(ADAS)和ADS中使用的分类和预测任务。结果表明,与传统方法相比,该方法在分类任务中具有更高的准确率,表明CoSI知识图谱能够有效地表示驾驶域的复杂信息。
(2)边缘计算
交通交互服务对于自动驾驶汽车和驾驶者来说至关重要,例如路线规划和拥堵预警。通常利用强大的计算能力对无人机及车联网(IoV)中的路边单元(RSUs)等多源设备产生的数据进行实时处理[89]。然而,许多相关技术存在云计算延迟且无法满足对信息时效性要求极高的数据等问题。近年来,边缘计算通过安装在车辆附近的边缘节点(ENs)等通信介质,可以通过将复杂的任务转移到Ens,即可享受交互式交通服务。其中作为先验知识的原始和非原始交通数据,能够对边缘车联网(EIoV)中含有知识图谱的交通信息进行推理。针对这些问题,Shi等[57]利用非原始交通数据、来自导航应用程序的交通相关数据和政府数据提出了一种基于时序知识图谱的推理框架(TKGERM)。利用多源数据进行逻辑平滑和滤波,对每个EN的数据进行初始化,然后利用复向量表示空间中的时间戳信息将知识图谱三元组扩展为四元组形式,进而构建时序知识图谱。该框架能够利用过去事件的相对时间信息,对逻辑规则进行挖掘进而对交通信息进行推理。

5.5 其他应用

5.5.1 应急决策

公共安全保障是重要的民生问题之一,其中应急决策是实现公共安全保障的重要支撑。Chen等[15]通过将与应急决策相关的区域植被、建筑及道路等时空信息存储到GraphDB图数据库中,建立了时空知识图谱。通过使用SPARQL查询语句检索三元组,实现了时空知识图谱的知识检索功能,为应急领域提供辅助决策支持。

5.5.2 子图查询

城市交通知识图谱能够形式化地描述城市交通概念、实体和其之间的关系,具有用户出行、路线规划和城市规划等应用场景中的潜力。Sun等[31]使用路网数据和轨迹数据提取城市交通知识,并建立城市交通知识图谱。并提出一种名为TKG_Sub的基于城市交通知识图谱的星型子图查询算法。通过过滤机制来排除超出数据范围的查询,提高了针对具有时间特征的城市交通知识图谱的查询效率。该算法可以应用于多个方面,例如根据某人的移动轨迹经常出现在学校或医院等地,可以通过构建星型子图来预测这个人的职业,同时也可用于路线规划。

6 未来方向

交通领域知识图谱具备从多源异构数据中提取知识并进行高效管理,并为辅助决策提供服务的能力,这为现代交通行业提供了强大的基础。然而,在实际应用中,交通领域知识图谱仍然面临一些障碍和挑战,需要进一步的研究和解决:
(1)交通知识密度低且难以提取。在交通领域,多模态数据主要以文本和结构化数据为主,而图像视频类数据的应用较少,从而导致交通数据中的知识密度较低且难以提取。因此,在构建知识图谱时缺乏足够的支撑知识。对此需要探索其他信息源和相关技术手段,以补充和丰富数据,从而支持知识图谱的构建和应用。
(2)关键技术算法存在局限性。当前,知识图谱推理的研究如火如荼,在交通领域中,基于翻译模型和随机游走的方法简单高效、计算复杂度低,因此在知识图谱嵌入方面的研究相对较多。然而,这种方法仍然存在一些不足之处,例如不能处理非一对一关系、跨空间投影运算成本高、参数量多以及模型训练困难等问题。因此,急需解决多元关系预测的问题。
(3)本体覆盖范围小。为使基于知识图谱的辅助决策更加有效,需要在本体构建方面不仅限于交通设施和交通参与者,还需结合城市物联网的其他设备构建本体,充分利用本体之间的密切关联关系,从而构建覆盖更全面的智慧城市知识图谱。进而可以实现对城市各要素的全面感知,为城市大脑的高效运营提供支持。

7 结语

本综述对交通领域知识图谱的关键技术及应用场景进行了全面概述。首先,本文简要概述了交通知识图谱的背景、概念以及构建方法。其次,介绍了多模态知识图谱及动态知识图谱的两大关键技术:知识图谱表示学习方法及知识图谱的推理方法。最后,对智能交通中几种应用场景下的决策应用进行了详细阐述,同时分析了现有知识图谱表示学习和推理等技术所面临的困难和障碍。此外,文章还提出了未来的研究方向,并展望了相关领域的发展,为后续的研究提供了有价值的参考。
本文图文责任编辑: 蒋树芳 黄光玉
[1]
Zhu L, Yu F R, Wang Y G, et al. Big data analytics in intelligent transportation systems: A survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(1):383-398. DOI:10.1109/TITS.2018.2815678

[2]
Liu J, Li T R, Ji S G, et al. Urban flow pattern mining based on multi-source heterogeneous data fusion and knowledge graph embedding[J]. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(2):2133-2146. DOI:10.1109/TKDE.2021.3098612

[3]
Wang W Y, Siau K. Artificial intelligence, machine learning, automation, robotics, future of work and future of humanity[J]. Journal of Database Management, 2019, 30(1):61-79. DOI:10.4018/jdm.2019010104

[4]
刘俊楠, 刘海砚, 陈晓慧, 等. 基于地理空间数据的知识图谱构建技术研究[J]. 中文信息学报, 2020, 34(11):29-36.

[ Liu J N, Liu H Y, Chen X H, et al. Construction of knowledge graph based on geo-spatial data[J]. Journal of Chinese Information Processing, 2020, 34(11):29-36. ]

[5]
陆锋, 诸云强, 张雪英. 时空知识图谱研究进展与展望[J]. 地球信息科学学报, 2023, 25(6):1091-1105.

DOI

[ Lu F, Zhu Y Q, Zhang X Y. Spatiotemporal knowledge graph: Advances and perspectives[J]. Journal of Geo-information Science, 2023, 25(6):1091-1105. ] DOI:10.12082/dqxxkx.2023.230154

[6]
Zhou Y C, Wang W J, Qiao Z Y, et al. A survey on the construction methods and applications of sci-tech big data knowledge graph[J]. Scientia Sinica Informationis, 2020, 50(7):957-987. DOI:10.1360/ssi-2019-0271

[7]
江旭晖, 沈英汉, 李子健, 等. 社交知识图谱研究综述[J]. 计算机学报, 2023, 46(2):304-330.

[ Jiang X H, Shen Y H, Li Z J, et al. A survey of social knowledge graph[J]. Chinese Journal of Computers, 2023, 46(2):304-330. ] DOI:10.11897/SP.J.1016.2023.00304

[8]
Ji S X, Pan S R, Cambria E, et al. A survey on knowledge graphs: Representation, acquisition, and applications[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(2):494-514. DOI:10.1109/TNNLS.2021.3070843

[9]
王萌, 王昊奋, 李博涵, 等. 新一代知识图谱关键技术综述[J]. 计算机研究与发展, 2022, 59(9):1947-1965.

[ Wang M, Wang H F, Li B H, et al. Survey on key technologies of new generation knowledge graph[J]. Journal of Computer Research and Development, 2022, 59(9):1947-1965. ] DOI:10.7544/issn1000-1239.20210829

[10]
孙水发, 李小龙, 李伟生, 等. 图神经网络应用于知识图谱推理的研究综述[J]. 计算机科学与探索, 2023, 17(1):27-52.

DOI

[ Sun S F, Li X L, Li W S, et al. Review of graph neural networks applied to knowledge graph reasoning[J]. Journal of Frontiers of Computer Science & Technology, 2023, 17(1):27-52. ] DOI:10.3778/j.issn.1673-9418.2207060

[11]
Chen J Y, Deng S M, Chen H J. CrowdGeoKG: crowdsourced geo-knowledge graph[C]// China Conference on Knowledge Graph and Semantic Computing. Singapore: Springer, 2017:165-172. DOI:10.1007/978-981-10-7359-5_17

[12]
Wang S, Zhang X Y, Ye P, et al. Geographic knowledge graph (GeoKG): A formalized geographic knowledge representation[J]. ISPRS International Journal of Geo-Information, 2019, 8(4):184. DOI:10.3390/ijgi8040184

[13]
张雪英, 张春菊, 吴明光, 等. 顾及时空特征的地理知识图谱构建方法[J]. 中国科学:信息科学, 2020, 50(7):1019-1032.

[ Zhang X Y, Zhang C J, Wu M G, et al. Spatio-temporal features based geographical knowledge graph construction[J]. Scientia Sinica (Informationis), 2020, 50(7):1019-1032. ] DOI:10.1360/SSI-2019-0269

[14]
马亚中, 张聪聪, 徐大鹏, 等. 城市大脑知识图谱构建及应用研究[J]. 中文信息学报, 2022, 36(4):48-56.

[ Ma Y Z, Zhang C C, Xu D P, et al. Construction and application of city brain knowledge graph[J]. Journal of Chinese Information Processing, 2022, 36(4):48-56. ]

[15]
Chen J H, Ge X T, Li W C, et al. Construction of spatiotemporal knowledge graph for emergency decision making[C]// 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. IEEE, 2021:3920-3923. DOI:10.1109/IGARSS47720.2021.9553867

[16]
Tan J Y, Qiu Q Q, Guo W W, et al. Research on the construction of a knowledge graph and knowledge reasoning model in the field of urban traffic[J]. Sustainability, 2021, 13(6):3191. DOI:10.3390/su13063191

[17]
Herwanto G B, Prasetya Dewantara D.. Traffic condition information extraction from twitter data[C]// 2018 International Conference on Electrical Engineering and Informatics (ICELTICs). IEEE, 2018:95-100. DOI:10.1109/ICELTICS.2018.8548921

[18]
Hua L L, Zheng W, Gao S G. Extraction and analysis of risk factors from Chinese railway accident reports[C]// 2019 IEEE Intelligent Transportation Systems Conference (ITSC). IEEE, 2019:869-874. DOI:10.1109/ITSC.2019.8917094

[19]
Ferrada S, Bustos B, Hogan A. IMGpedia: A linked dataset with content-based analysis of wikimedia images[C]// International Semantic Web Conference. Cham: Springer, 2017:84-93. DOI:10.1007/978-3-319-68204-4_8

[20]
Liu Y, Li H, Garcia-Duran A, et al. MMKG: multi-modal knowledge graphs[C]// The Semantic Web. Cham: Springer International Publishing, 2019:459-474. DOI:10.1007/978-3-030-21348-0_30

[21]
Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6):84-90. DOI:10.1145/3065386

[22]
He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016:770-778. DOI:10.1109/CVPR.2016.90

[23]
Landowski M, Landowska A. Knowledge extraction from the experimental data of the vehicle traffic volume[J]. Transportation Research Procedia, 2019, 39:270-279. DOI:10.1016/j.trpro.2019.06.029

[24]
翟社平, 李方怡, 李航, 等. 融合层次类型信息的双向图注意力机制的知识图谱嵌入模型[J]. 计算机应用研究, 2023, 40(7):2031-2038.

[ Zhai S P, Li F Y, Li H, et al. Knowledge graph embedding model for bidirectional graph attention mechanism with hierarchical type information[J]. Application Research of Computers, 2023, 40(7):2031-2038. ] DOI:10.19734/j.issn.1001-3695.2022.12.0763

[25]
Goel R, Kazemi S M, Brubaker M, et al. Diachronic embedding for temporal knowledge graph completion[C]// Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(4):3988-3995. DOI:10.1609/aaai.v34i04.5815

[26]
Han Z, Chen P, Ma Y P, et al. xERTE: Explainable reasoning on temporal knowledge graphs for forecasting future links[EB/OL]. 2020: arXiv: 2012.15537.

[27]
Zhou G L, Chen F. Urban congestion areas prediction by combining knowledge graph and deep spatio-temporal convolutional neural network[C]// 2019 4th International Conference on Electromechanical Control Technology and Transportation (ICECTT). IEEE, 2019:105-108. DOI:10.1109/ICECTT.2019.00031

[28]
Wang S, Lv Y M, Peng Y A, et al. Metro traffic flow prediction via knowledge graph and spatiotemporal graph neural network[J]. Journal of Advanced Transportation, 2022,2022:1-13. DOI:10.1155/2022/2348375

[29]
Zhang L Y, Zhang M, Tang J Z, et al. Analysis of traffic accident based on knowledge graph[J]. Journal of Advanced Transportation, 2022,2022:1-16. DOI:10.1155/2022/3915467

[30]
Muppalla R, Lalithsena S, Banerjee T, et al. A knowledge graph framework for detecting traffic events using stationary cameras[C]// Proceedings of the 2017 ACM on Web Science Conference. New York: ACM, 2017:431-436. DOI:10.1145/3091478.3162384

[31]
Sun T, Xu J Q, Hu C P. An efficient algorithm of star subgraph queries on urban traffic knowledge graph[J]. Data Science and Engineering, 2022, 7(4):383-401. DOI:10.1007/s41019-022-00198-0

[32]
Zhang N Y, Deng S M, Chen H J, et al. Structured knowledge base as prior knowledge to improve urban data analysis[J]. ISPRS International Journal of Geo-Information, 2018, 7(7):264. DOI:10.3390/ijgi7070264

[33]
Liu J T, Schmid F, Li K P, et al. A knowledge graph-based approach for exploring railway operational accidents[J]. Reliability Engineering & System Safety, 2021, 207:107352. DOI:10.1016/j.ress.2020.107352

[34]
Wang H D, Yu Q H, Liu Y, et al. Spatio-temporal urban knowledge graph enabled mobility prediction[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2021, 5(4):1-24. DOI:10.1145/3494993

[35]
Gottschalk S, Demidova E. EventKG-the hub of event knowledge on the web-54and biographical timeline generation[J]. Semantic Web, 2019, 10(6):1039-1070. DOI:10.3233/sw-190355

[36]
Chakrabarti S. Deep knowledge graph representation learning for completion, alignment, and question answering[C]// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2022:3451-3454. DOI:10.1145/3477495.3532679

[37]
张天成, 田雪, 孙相会, 等. 知识图谱嵌入技术研究综述[J]. 软件学报, 2023, 34(1):277-311.

[ Zhang T C, Tian X, Sun X H, et al. Overview on knowledge graph embedding technology research[J]. Journal of Software, 2023, 34(1):277-311. ] DOI:10.13328/j.cnki.jos.006429

[38]
Dai Y F, Wang S P, Xiong N N, et al. A survey on knowledge graph embedding: Approaches, applications and benchmarks[J]. Electronics, 2020, 9(5):750. DOI: 10.3390/electronics9050750

[39]
Afyouni I, Al Aghbari Z, Razack R A. Multi-feature, multi-modal, and multi-source social event detection: A comprehensive survey[J]. Information Fusion, 2022, 79:279-308. DOI:10.1016/j.inffus.2021.10.013

[40]
Wang Z K, Li L J, Li Q D, et al. Multimodal data enhanced representation learning for knowledge graphs[C]// 2019 International Joint Conference on Neural Networks (IJCNN). IEEE, 2019:1-8. DOI:10.1109/IJCNN.2019.88 52079

[41]
Wang M, Wang S, Yang H, et al. Is visual context really helpful for knowledge graph? A representation learning perspective[C]// Proceedings of the 29th ACM International Conference on Multimedia. New York: ACM, 2021:2735-2743. DOI:10.1145/3474085.3475470

[42]
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014: arXiv: 1409.1556.

[43]
López de la Rosa F, Gómez-Sirvent J L, Sánchez-Reolid R, et al. Geometric transformation-based data augmentation on defect classification of segmented images of semiconductor materials using a ResNet50 convolutional neural network[J]. Expert Systems With Applications, 2022, 206:117731. DOI:10.1016/j.eswa.2022.117731

[44]
Wang E Q, Yu Q, Chen Y L, et al. Multi-modal knowledge graphs representation learning via multi-headed self-attention[J]. Information Fusion, 2022, 88:78-85. DOI:10.1016/j.inffus.2022.07.008

[45]
Guo H, Tang J Y, Zeng W X, et al. Multi-modal entity alignment in hyperbolic space[J]. Neurocomputing, 2021, 461:598-607. DOI:10.1016/j.neucom.2021.03.132

[46]
Wang X Y, Chen L Z, Ban T Y, et al. Knowledge graph quality control: A survey[J]. Fundamental Research, 2021, 1(5):607-626. DOI:10.1016/j.fmre.2021.09.003

[47]
Dasgupta S S, Ray S N, Talukdar P. HyTE: hyperplane-based temporally aware knowledge graph embedding[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics, 2018: 2001-2011. DOI:10.18653/v1/d18-1225

[48]
Jin W, Qu M, Jin X S, et al. Recurrent event network: Autoregressive structure inference over temporal knowledge graphs[C]// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics, 2020: 6669-6683. DOI:10.18653/v1/2020.emnlp-main.541

[49]
Garg S, Sharma N, Jin W, et al. Temporal attribute prediction via joint modeling of multi-relational structure evolution[EB/OL]. 2020: arXiv: 2003.03919.

[50]
Li Z X, Jin X L, Li W, et al. Temporal knowledge graph reasoning based on evolutional representation learning[C]// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM, 2021:408-417. DOI:10.1145/3404835.3462963

[51]
Li Y J, Sun S L, Zhao J. TiRGN: time-guided recurrent graph network with local-global historical patterns for temporal knowledge graph reasoning[C]// Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2022: 2152-2158. DOI:10.24963/ijcai.2022/299

[52]
Jiang T S, Liu T Y, Ge T, et al. Encoding temporal information for time-aware link prediction[C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics, 2016:2350-2354. DOI:10.186 53/v1/d16-1260

[53]
García-Durán A, Dumančić S, Niepert M. Learning sequence encoders for temporal knowledge graph completion[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA, USA: Association for Computational Linguistics, 2018:4816-4821. DOI:10.18653/v1/d18-1516

[54]
Sadeghian A, Armandpour M, Colas A, et al. ChronoR: Rotation based temporal knowledge graph embedding[C]// Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(7):6471-6479. DOI:10.1609/aaai.v35i7.16802

[55]
Zhu C C, Chen M H, Fan C J, et al. Learning from history: Modeling temporal knowledge graphs with sequential copy-generation networks[C]// Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(5):4732-4740. DOI:10.1609/aaai.v35i5.16604

[56]
Wickramarachchi R, Henson C, Sheth A. An evaluation of knowledge graph embeddings for autonomous driving data: Experience and practice[EB/OL]. 2020: arXiv: 2003.00344.

[57]
Shi H Y, Zhang Y L, Xu Z Y, et al. Multi-source temporal knowledge graph embedding for edge computing enabled Internet of vehicles[J]. Neurocomputing, 2022, 491:597-606. DOI:10.1016/j.neucom.2021.12.036

[58]
朱超宇, 刘雷. 基于知识图谱的医学决策支持应用综述[J]. 数据分析与知识发现, 2020, 4(12):26-32.

[ Zhu C Y, Liu L. A review of medical decision supports based on knowledge graph[J]. Data Analysis and Knowledge Discovery, 2020, 4(12):26-32. ] DOI:10.11925/infotech.2096-3467.2020.0953

[59]
Chen Y H, Li H, Li H, et al. An overview of knowledge graph reasoning: Key technologies and applications[J]. Journal of Sensor and Actuator Networks, 2022, 11(4):78. DOI:10.3390/jsan11040078

[60]
Zeng X X, Tu X Q, Liu Y S, et al. Toward better drug discovery with knowledge graph[J]. Current Opinion in Structural Biology, 2022, 72:114-126. DOI:10.1016/j.sbi.2021.09.003

[61]
Borgwardt S, Thost V.. Temporal query answering in the description logic EL[C]// Proceedings of the 24th International Joint Conference on Artificial Intelligence (IJCAI). Buenos Aires, Argentina, 2015:2819-2825. DOI:10.1007/978-3-642-40885-4_11

[62]
Borgwardt S, Thost V. Temporal conjunctive query answering in the extended DL-lite family[EB/OL]. 2020: arXiv: 2003.09508.

[63]
Gutiérrez-Basulto V, Jung J C, Schneider T. Lightweight temporal description logics with rigid roles and restricted TBoxes[C]// Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015:3015-3021. DOI:10.5555/3060621.3060774

[64]
Ji Q Y, Jin J C. Reasoning traffic pattern knowledge graph in predicting real-time traffic congestion propagation[J]. IFAC-PapersOnLine, 2020, 53(5):578-581. DOI:10.1016/j.ifacol.2021.04.145

[65]
Akbari K, Winter S, Tomko M. Spatial causality: A systematic review on spatial causal inference[J]. Geographical Analysis, 2023, 55(1):56-89. DOI:10.1111/gean.12312

[66]
Yao L Y, Chu Z X, Li S, et al. A survey on causal inference[J]. ACM Transactions on Knowledge Discovery from Data, 15(5):1-46. DOI:10.1145/3444944

[67]
Johansson F D, Shalit U, Sontag D. Learning representations for counterfactual inference[C]// Proceedings of the International Conference on Machine Learning, New York, USA, 2016, 48:3020-3029. DOI:10.48550/arXiv.1605.03661

[68]
Jiang W W, Luo J Y. Graph neural network for traffic forecasting: A survey[J]. Expert Systems With Applications, 2022, 207:117921. DOI:10.1016/j.eswa.2022.117921

[69]
Zhu J W, Han X, Deng H H, et al. KST-GCN: A knowledge-driven spatial-temporal graph convolutional network for traffic forecasting[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(9):15055-15065. DOI: 10.1109/TITS.2021.3136287

[70]
Xiong H T, Shen G J, Lan X A, et al. HIT-GCN: Spatial-temporal graph convolutional network embedded with heterogeneous information of road network for traffic forecasting[J]. Electronics, 2023, 12(6):1306. DOI:10.3390/electronics12061306

[71]
Zeng J, Tang J J. Combining knowledge graph into metro passenger flow prediction: A split-attention relational graph convolutional network[J]. Expert Systems With Applications, 2023, 213:118790. DOI:10.1016/j.eswa.2022.118790

[72]
Leon F, Gavrilescu M. A review of tracking and trajectory prediction methods for autonomous driving[J]. Mathematics, 2021, 9(6):660. DOI:10.3390/math9060660

[73]
Pang Y T, Liu Y M. Conditional Generative Adversarial Networks (CGAN) for Aircraft Trajectory Prediction considering weather effects[C]// Proceedings of the AIAA Scitech 2020 Forum. Reston, Virginia: AIAA, 2020: AIAA2020-1853. DOI:10.2514/6.2020-1853

[74]
Ahmed U, Srivastava G, Djenouri Y, et al. Knowledge graph based trajectory outlier detection in sustainable smart cities[J]. Sustainable Cities and Society, 2022, 78:103580. DOI: 10.1016/j.scs.2021.103580

[75]
Rudenko A, Palmieri L, Herman M, et al. Human motion trajectory prediction: A survey[J]. The International Journal of Robotics Research, 2020, 39(8):895-935. DOI: 10.1177/0278364920917446

[76]
Li G L, Chen Y X, Xie J, et al. Urban vehicle mobility characteristic mining and trip generation based on knowledge graph[EB/OL]. 2022: arXiv: 2203.04085.

[77]
吴瑕, 赵小明, 余建坤. 轨迹图谱:一种基于知识图谱结构的轨迹信息抽取方法[J]. 计算机应用研究, 2020, 37(11):3255-3262.

[ Wu X, Zhao X M, Yu J K. Trajectory graph: Method of trajectory information identifying based on knowledge graph[J]. Application Research of Computers, 2020, 37(11):3255-3262. ] DOI:10.19734/j.issn.1001-3695.2019.07.0270

[78]
von Rueden L, Mayer S, Beckh K, et al. Informed machine learning-A taxonomy and survey of integrating prior knowledge into learning systems[J]. IEEE Transactions on Knowledge and Data Engineering, 2021, 35(1):614-633. DOI: 10.1109/TKDE.2021.3079836

[79]
Chand A, Jayesh S, Bhasi A B. Road traffic accidents: An overview of data sources, analysis techniques and contributing factors[J]. Materials Today: Proceedings, 2021, 47:5135-5141. DOI: 10.1016/j.matpr.2021.05.415

[80]
王翠, 胡昊天, 邓三鸿. 面向道路交通违法行为的事理图谱构建技术[J]. 交通信息与安全, 2022, 40(1):36-44.

[ Wang C, Hu H T, Deng S H. Development of a knowledge base for reasoning penalty for traffic violations based on event evolutionary graph[J]. Journal of Transport Information and Safety, 2022, 40(1):36-44. ] DOI: 10.3963/j.jssn.1674-4861.2022.01.005

[81]
Zhou Y, Shi J, Li Z P, et al. Analysis and architecture design of a large-scale event-centric knowledge graph system for dispute resolution[C]// International Conference on Artificial Intelligence and Security. Cham: Springer, 2022:493-503. DOI:10.1007/978-3-031-06767-9_41

[82]
朱广宇, 张萌, 裔扬. 基于知识图谱的城市轨道交通突发事件演化结果预测[J]. 电子与信息学报, 2023, 45(3):949-957.

[ Zhu G Y, Zhang M, Yi Y. Prediction of evolution results of urban rail transit emergencies based on knowledge graph[J]. Journal of Electronics & Information Technology, 2023, 45(3):949-957. ] DOI:10.11999/JEIT211594

[83]
Hu M, Wu B J, Zhou W B, et al. Self-driving shield: Intelligent systems, methodologies, and practice[J]. Automation in Construction, 2022, 139:104326. DOI:10.1016/j.autcon.2022.104326

[84]
Xing Y, Lv C, Cao D P, et al. Toward human-vehicle collaboration: Review and perspectives on human-centered collaborative automated driving[J]. Transportation Research Part C: Emerging Technologies, 2021, 128:103199. DOI:10.1016/j.trc.2021.103199

[85]
Wang H W, Zhang F Z, Zhao M, et al. Multi-task feature learning for knowledge graph enhanced recommendation[C]// WWW '19:The World Wide Web Conference. New York: ACM, 2019:2000-2010. DOI:10.1145/3308558.3313411

[86]
Zhang L M, Jiang S, Huang K, et al. Knowledge graph-based network analysis on the elements of autonomous transportation system[C]// 2021 IEEE 21st International Conference on Software Quality, Reliability and Security Companion (QRS-C). IEEE, 2022:536-542. DOI:10.1109/QRS-C55045.2021.00082

[87]
Mutzenich C, Durant S, Helman S, et al. Updating our understanding of situation awareness in relation to remote operators of autonomous vehicles[J]. Cognitive Research: Principles and Implications, 2021, 6(1):1-17. DOI:10.1186/s41235-021-00271-8

[88]
Halilaj L, Dindorkar I, Lüttin J, et al. A knowledge graph-based approach for situation comprehension in driving scenarios[C]// European Semantic Web Conference. Cham: Springer, 2021:699-716. DOI:10.1007/978-3-030-77385-4_42

[89]
Liu S S, Liu L K, Tang J, et al. Edge computing for autonomous driving: Opportunities and challenges[J]. Proceedings of the IEEE, 2019, 107(8):1697-1716. DOI:10.1109/JPROC.2019.2915983

文章导航

/