EN中文

Journal of Geo-information Science >

2023 , Vol. 25 >Issue 1: 102 - 114

DOI: https://doi.org/10.12082/dqxxkx.2023.220331

A Physics-Constrained GRU Neural Network for River Water Quality Prediction

  • LI Yuzhao , 1 ,
  • LIU Qiliang , 1, * ,
  • DENG Min 1 ,
  • XU Rui 2 ,
  • WANG Maoyang 2 ,
  • YANG Hainan 2
Expand
  • 1. Department of Geo-informatics, Central South University, Changsha 410083, China
  • 2. Guizhou Survey & Design Research Institute for Water Resources and Hydropower, Guiyang 550002, China
*LIU Qiliang, E-mail:

Received date: 2022-05-21

  Revised date: 2022-07-09

  Online published: 2023-03-25

Supported by

National Key Research and Development Program of China(2021YFB3900903)

The Natural Science Foundation of Hunan Province, China(2021JJ20058)

The Natural Science Foundation of Hunan Province, China(2020JJ4695)

Water conservancy science and technology project of Guizhou, China(KT202110)

Fold

Abstract

River water quality prediction plays a key role in water environment management and water pollution prevention. In recent years, artificial neural networks have been widely used in river water quality prediction. However, the lack of physical mechanism becomes a major limitation of artificial neural networks. As a result, the prediction results obtained by artificial neural networks are usually difficult to interpret and are unstable. To overcome this limitation, this study proposed a physics-constrained Gated Recurrent Unit model (PHY_GRU) for predicting dissolved oxygen in rivers. Specifically, two kinds of physical rules were identified, i.e., the rule of monotonicity and the rule of gradation. These physical rules were modeled as the loss functions of Gated Recurrent Unit (GRU). The water quality dataset in Atlanta, USA was used to evaluate the performance of the PHY_GRU. The experimental results show that: ① Compared with autoregressive integrated moving average, multilayer perceptron, and GRU model, the prediction accuracy and stability of PHY_GRU were the highest ( the root mean square error of prediction was reduced by 94.8%, 62.9% and 37.2%, respectively); ② the PHY_GRU performed best when different physical rules were considered simultaneously; ③ When PHY_GRU used 30% of the training samples of GRU, it could outperform GRU in terms of prediction accuracy and stability. The proposed PHY_GRU effectively incorporates physical mechanism into artificial neural networks and may be helpful for water management.

Key words： water quality prediction; Gated Recurrent Unit; prior knowledge; physical law; dissolved oxygen; time series; neural network

Cite this article

LI Yuzhao , LIU Qiliang , DENG Min , XU Rui , WANG Maoyang , YANG Hainan . A Physics-Constrained GRU Neural Network for River Water Quality Prediction[J]. Journal of Geo-information Science, 2023 , 25(1) : 102 -114 . DOI: 10.12082/dqxxkx.2023.220331

1 引言

城市化和工业化进程带来的河流水污染问题是当前社会可持续发展面临的严峻问题，严重影响城市居民健康和生态环境[1-2]。采用地理信息系统的空间分析技术对河流水质变化进行预测，对于河流水污染预警以及制定科学的河流水质管理策略具有重要价值[3⇓-5]。现有水质预测模型主要分为机理性模型和非机理性模型两类[6]，前者针对水体中水质因子的物理、化学和生物过程进行分析，基于质量守恒定律模拟水质变化规则，后者采用历史数据建立水质因子与影响因子之间的函数关系，间接捕捉历史数据反映出的水质内在变化规律。
机理性水质预测模型主要建模物理和生物化学过程对水质变化的定量影响，例如：平流和湍流扩散的影响，水体运输作用的影响以及光合作用的影响等[7]。一些代表性的机理性模型已在水质预测领域发挥了重要作用。例如：S-P模型通过建模生物化学需氧量的衰减对水体中溶解氧含量的影响，对河流的氧平衡进行模拟[8]；QUAL模型基于一维稳态的假设，同时考虑河流的平流、扩散和生化作用对水质因子浓度的影响[9]；在QUAL模型基础上，MIKE模型进一步借助全流体动力学方程，动态求解河流的平流扩散变化[10]。由于自然系统的复杂性，机理性模型无法建模所有潜在的物理过程，只能实现对现实的粗略近似，并且需要收集大量实际数据校准模型参数，限制了机理性水质预测模型的推广[11]。为了解决上述问题，非机理性水质预测模型以“黑盒”的形式隐式建模物理和生物化学过程对水质因子的影响，降低了对水质变化规律的先验假设的依赖[12]。早期的非机理性水质预测模型主要采用统计回归方法[13]（例如：差分自回归移动平均模型）或概率统计方法[14]（例如：马尔可夫链）以及灰色系统方法[15]（例如：灰色填充模型）建模水质因子的时间相关性，实现对未来水质变化规律的预测。上述方法模型构建简单且计算效率较高，但是其难以捕捉水环境中各因子之间的非线性关系[16-17]。针对上述问题，人工神经网络模型以其良好的非线性关系建模能力，在水质预测领域受到了广泛关注[18⇓-20]。基于误差反向传播和梯度下降机制的多层感知机最早被应用于水质预测领域[21]。后续一些学者亦引入群智优化方法、模糊集理论，改善了神经网络易陷入局部最优的不足及应对模糊性的能力[22-23]。早期的神经网络模型只考虑输入与预测目标之间的映射关系，对水质时间序列中的时间相关性建模能力不足。循环神经网络（Recurrent Neural Network，RNN）通过在输入时间序列的每个时刻的节点间建立连接，结合上一时刻的输出以及当前时刻的输入实现对下一时刻的预测，能有效建模时间相关性[24]。传统的RNN模型在网络层数加深时面临梯度爆炸和梯度弥散的问题，限制了其长期记忆能力[25]。RNN的变体-长短期记忆网络（Long Short-Term Memory，LSTM）和门控循环单元网络可以有效缓解传统RNN的梯度弥散和梯度爆炸问题，已被应用于水质预测领域[26-27]。当前，以神经网络为代表的非机理性模型虽然已在水质预测领域广泛应用，但是此类模型只基于数据特征对水质变化建模，缺乏对水质变化物理规律和先验知识的考虑，容易导致预测结果与实际水质变化规律不符，预测结果难以解释、稳定性差[28]。
近年来，在神经网络模型中融入领域先验知识已经成为机器学习领域研究的热点问题之一[29]，常用的策略包括：① 物理规律引导的初始化策略，即采用机理性预测模型生成的模拟数据进行神经网络预训练，这种策略可以解决稀疏观测的问题，然而借助机理模型生成模拟数据需要经验确定模型参数[30]；② 物理规律引导的网络损失函数设计，即根据物理定律在神经网络的损失函数中添加有关的惩罚项，这类策略由于其低耦合的特性适用于大多数神经网络，且损失函数的形式易于理解和解释。近年来，亦有学者开始探索基于物理规律重新设计神经网络架构[31]，然而对神经网络的“黑盒”结构进行机理性解释仍然存在较多的困难，直接影响了模型的泛化性能。
本研究针对河流水质预测问题，以溶解氧含量预测为例，采用物理规律引导的网络损失函数设计的策略，提出了一种物理约束的GRU神经网络-PHY_GRU。具体地，本文将河流水质因子变化的单调性规律和渐变性规律作为先验知识约束，建模于GRU神经网络之中。溶解氧是水质预测中最重要的水质参数之一，在水质评价体系中具有重要价值[26]。溶解氧是有机物分解和水生生物生存所必需的因素，水体中的多种理化反应（例如：气压变化、光合作用、化学氧化等）与水质参数（例如：生化需氧量、氮磷浓度等）的变化均受溶解氧含量的影响[9]。准确建模溶解氧含量的变化可为政府部门提供关于河流健康和水质变化的关键信息，评估河流系统的污染程度[32]。与LSTM网络相比，GRU网络具有更简单的结构和更少的参数，训练速度更快[33]，因此本文选择GRU作为水质预测的基础模型。本文以美国亚特兰大市2021年河流溶解氧预测为例验证了PHY_GRU的有效性和优越性，可为在神经网络模型中融入水质领域知识提供借鉴，有助于提升水质预测模型辅助决策的水平。

2 研究方法

本文针对河流水质评价的关键指标-溶解氧进行预测，构建了一种河流水质预测的物理约束GRU神经网络。本文方法的技术路线如图1所示，首先分析基于河流溶解氧变化的先验知识，归纳了溶解氧单调性和渐变性变化的物理规律；进而，将溶解氧单调性和渐变性变化的物理规律建模为GRU网络中的损失函数，构建物理约束的GRU神经网络；最后，在真实数据集上进行实验分析与对比。
图1 技术路线

Fig. 1 The specific technical route

2.1 溶解氧变化的单调性和渐变性物理规律

溶解氧是溶解在水中的分子态氧，溶解氧的饱和度符合气体溶解度与大气压强之间的物理化学关系，即Henry定律[34]。气压一定的条件下，溶解氧饱和度可以表达为温度和盐度的函数[35]：
l n c s f = - 139.34411 + 1.575701 × 10 5 T -                           6.642308 × 10 7 T 2 + 1.243800 × 10 10 T 3 -                         8.621949 × 10 11 T 4
l n c s s = l n c s f - S ( 1.7674 × 10 - 2 -                           1.0754 × 10 1 T + 2.1407 × 10 3 T 2 )
式中： c s f表示一个大气压下水体中溶解氧的饱和度/（mg/L）； c s s表示含盐水体中溶解氧的饱和度/（mg/L）； T为温度/K； S为盐度/ppt。
综合式（1）、式（2）中的函数关系可以发现，在其他条件保持不变时：① 水体温度越高则溶解氧饱和度越低；② 盐度的升高也会使溶解氧饱和度值降低。上述规律可以反映溶解氧对应温度和盐度的单调关系，也直接表明水体温度和盐度能够在一定程度上影响水体中溶解氧的浓度。水体盐度可以通过电导率进行反映，电导率越高则水体盐度越高[36]。本文研究数据集中24个站点溶解氧与温度、电导率的皮尔逊相关系数平均值分别为-0.91和-0.37，说明溶解氧与电导率、温度均呈现负相关，符合溶解氧变化的物理规律。
自然条件下的水环境中各组分随着时间变化，但是短时间间隔内水质组分的含量变化通常是渐变而非大幅度跳变[37]。图2展示了数据集中各监测站点溶解氧含量间隔1 h的差分值（ Δ D O）的总体分布，可见溶解氧含量短时间内的变化幅度一般保持在较小的范围内。本文将所有 Δ D O视为样本数据，根据一定的置信水平可以确定 Δ D O总体均值的置信区间，处于置信区间外的 Δ D O值将被视为跳变。
图2 溶解氧含量1 h间隔差分值分布直方图

Fig. 2 The histogram of observed changes in dissolved oxygen concentration over each 1-h time interval

2.2 门控循环单元神经网络

GRU采用门控机制融合历史信息（ t - 1时刻的状态 h t - 1）与当前时刻观测记录（ t时刻的输入 x t）获得下一时刻的预测值 y ^ t + 1，能够有效建模时间序列的长程依赖性。输入的历史时间序列 X和未来时刻的预测值 Y分别表示为：
X = x t - d ,   x t - d + 1 ,   … ,   x t - 1
Y = y ^ t ,   y ^ t + 1 ,   … ,   y ^ t + n
式中： t为时刻； d为滞后窗口； n为预测步长。GRU模型旨在构建 X和 Y间映射关系的函数 f：
Y = f ( X ) = f x t - d ,   x t - d + 1 ,   … ,   x t - 1
GRU的一个单元结构如图3所示：① 更新门 z t：用于确定最终输出的隐藏状态 h t中候选隐藏状态 h t '和历史状态 h t - 1的重要程度。 z t值接近0则保留历史状态 h t - 1， z t值接近1则舍弃历史状态 h t - 1；② 重置门 r t：用于确定历史状态 h t - 1影响候选隐藏状态 h t '的程度。 r t值接近1则保留历史状态 h t - 1， r t值接近0则舍弃历史状态 h t - 1；③ 上一时刻的历史状态 h t - 1：包含截止上一时刻的所有历史信息；④ 候选隐藏状态 h t '：综合当前输入 x t与重置门控制的历史状态 h t - 1得出，主要用于记忆短期的时间相关性；⑤ 输出的隐藏状态 h t：综合更新门控制的候选隐藏状态 h t '以及历史状态 h t - 1得出，在考虑与最近输入 x t有关的短期记忆 h t '的同时保留长期历史记忆 h t - 1中的有效信息。 z t、 r t、 h t '和 h t的具体计算过程如下：
z t = σ W z ∙ h t - 1 , x t + b z
r t = σ W r ∙ h t - 1 , x t + b r
h t ' = t a n h W c ∙ r t ⊙ h t - 1 , x t + b c
h t = 1 - z t ⊙ h t - 1 + z t ⊙ h t '
式中： W z、 W z、 W c均为权重参数； b z、 b r、 b c为偏置值； σ ( * )、 t a n h ( * )为激活函数； ⊙表示矩阵中对应元素相乘，即Hadamard积。
图3 门控循环单元结构

Fig. 3 Structure of Gated Recurrent Unit

在实际预测过程中，首先按时间顺序将每一历史时刻的观测值输入对应的GRU单元，并将计算的隐藏状态传入下一时刻的GRU单元；下一时刻的GRU单元将上一时刻的隐藏状态及观测值作为输入，并按序列长度循环进行前馈计算；最后，由最近历史时刻的隐藏状态 h t进行线性变换，生成 t时刻预测输出 y ^ t：
y ^ t = W o h t + b o
式中： W o为权重参数； b o为偏置值。设每个站点 s在 t时刻的实测值为 y s , t，相应的预测值为 y ^ s , t， N s为站点总数， N T为预测时间序列长度。最终模型反向传播的训练损失 L o s s m o d e l定义如下：
L o s s m o d e l = 1 N S N T   ∑ i = 1 N S   ∑ j = 1 N T y s , t - y ^ s , t 2

2.3 溶解氧单调性与渐变性物理约束建模

本文在GRU模型的损失函数中建模溶解氧单调性与渐变性的物理约束，允许在考虑目标预测损失的同时衡量模型输出与物理规律的不一致性。顾及物理约束的损失函数表达为：
L o s s t r a i n = L o s s m o d e l + λ   L o s s p h y s i c s
式中： L o s s t r a i n为总训练损失； L o s s m o d e l为衡量实测值和预测值之间差距的监督损失； L o s s p h y s i c s为添加的物理约束损失； λ为定义物理规律重要程度的超参数，本文提出的物理约束的GRU模型（PHY_GRU）架构如图4所示。
图4 物理约束门控循环单元模型架构

Fig. 4 Architecture of the physics-constrained Gated Recurrent Unit model

根据2.2.2节中对溶解氧变化物理机制的理解，本文构造3个物理约束损失函数，包括2个单调性约束和1个渐变性约束。
（1）溶解氧含量与温度的单调性约束：如式（13）所示，除温度外其他条件不变的情况下，同一站点在不同时刻的溶解氧含量与温度遵循以下单调关系：
y ^ s ,   t + d - y s , t < 0 ,     i f     T s ,   t + d - T s , t > 0
式中： y s , t表示 t时刻 s站点溶解氧的观测值； y ^ s ,   t + d表示 d个时间间隔后溶解氧的预测值； T s ,   t + d和 T s , t分别表示在 t时刻和 t + d时刻温度的观测数据。本文基于这一单调关系定义溶解氧含量与温度的单调性约束损失函数：
L o s s T = 1 N S N X ∑ i = 1 N S ∑ j = 1 N X R e L U T s ,   t + d - T s , t y ^ s ,   t + d - y s , t
式中： R e L U ( * )为线性整流激活函数； N S表示站点个数； N X表示训练集时间序列长度。
（2）溶解氧含量与盐度的单调性约束：由于本文研究数据中缺乏水体盐度信息，因此采用电导率间接反映盐度信息（电导率越高则水体盐度越高）。如式（15）所示，除电导率外其他条件不变的情况下，同一站点在不同时刻的溶解氧含量与电导率遵循以下单调关系：
y ^ s ,   t + d - y s , t < 0 ,     i f     E C s ,   t + d - E C s , t > 0
式中： E C s ,   t + d和 E C s , t分别表示在 t时刻和 t + d时刻电导率的观测数据。与溶解氧含量与温度的单调性关系类似，电导率和溶解氧的单调关系也可以作为物理一致性约束。综上所述，溶解氧含量与电导率的单调性约束损失函数可定义为：
L o s s E C = 1 N S N X ∑ i = 1 N S ∑ j = 1 N X R e L U E C s ,   t + d - E C s , t y ^ s ,   t + d - y s , t
本研究使用的是严格的单调关系。当预测中出现一种水质参数保持不变，但另一种水质参数发生变化的情况，上述损失函数并不能进行惩罚。因此本研究针对差分值为零的情况添加高斯噪声，从而使损失函数能够响应不满足严格单调性的预测，强化模型对单调性约束的敏感度。
（3）溶解氧含量的渐变性约束：本文对溶解氧含量在短时间内的突变现象附加一个约束。根据观测样本估计总体分布，为相邻时刻溶解氧含量的变化量设定一个合理范围，用来控制溶解氧含量剧烈变化的频率。本文首先计算数据集中溶解氧含量的 d阶差分值 Δ D O， d表示预测模型输入的时间序列长度；然后对 t + d时刻的 s站点的溶解氧含量预测值 y ^ s ,   t + d与时间间隔 d步之前的观测到的实测值 y s ,   t进行差分；最后，对于给定置信度 Δ，计算差分值 Δ D O总体均值的置信区间，对应差分值超出区间范围的预测值将被视为异常跳变。为了确保预测的变化程度符合溶解氧变化值在合理区间内，本文通过手动调整选择代表真实数据分布均值置信度的参数 Δ，对应置信区间的上下界分别为 Δ u p和 Δ l o w。损失函数形式如式（17）所示：
L o s s G = 1 N S N X ∑ i = 1 N S ∑ j = 1 N X R e L U { [ ( y ^ s ,   t + d - y s ,   t ) - Δ u p ] + [ Δ l o w - ( y ^ s ,   t + d - y s ,   t ) ] }
综合式（14）、（16）和（17），本文构建的物理约束的损失函数可以表达为：
L o s s t r a i n = L o s s M S E + λ T   L o s s T +                                     λ E C   L o s s E C   +   λ G   L o s s G
式中： L o s s M S E为纯数据驱动的神经网络预测溶解氧含量的监督损失； λ T和 λ E C分别为温度和电导率与溶解氧单调关系的权重系数； λ G为控制渐变性规律作用的强度的权重系数。考虑物理约束的损失函数可以引导神经网络参数在优化时选择更接近保证物理一致性的搜索空间，可以增强模型应用于不同数据集时的泛化能力。

3 实验数据及实验设置

3.1 实验数据

本文研究区域位于美国东南部佐治亚州的亚特兰大市，该地区地形地貌复杂多样，水网密集。研究数据集为美国地质调查局国家水信息系统（https://waterdata.usgs.gov/nwis/）提供的河流水质监测传感器数据。研究区域共包含24个监测站点（图5），数据集时间跨度为2021年1月1日至2021年12月29日，采样间隔为15 min/次，总计34 848条记录。数据集中的水质参数包括：溶解氧、水体温度（以下简称温度）、pH值、电导率、浊度。本文实验数据归一化至[01]区间。本文实验均基于 Python编程语言，在PyCharm开发环境下编程实现。河流溶解氧同时受到自然环境与人类活动影响[1⇓-3]，由于本文研究数据集中缺乏反映人类活动影响的变量（如：生物指标、营养盐浓度、兴趣点等），因此本文仅考虑自然环境变化对河流溶解氧的影响。
图5 研究区域水质监测站点

注:图中数字表示研究区域中水质监测站点编号。

Fig. 5 The water quality monitoring sites in the study area

3.2 实验设置

本文按连续滑动窗口的方式构造训练和测试数据集：首先，确定输入和输出的时间序列长度，滑动窗口大小为二者之和；其次，确定滑动步长，即窗口滑动的长度，在每次窗口滑动后将窗口内的数据分割为输入和输出数据；最后，将所有滑动窗口中取得的输入和输出数据进行组织，并对数据集进行划分。溶解氧含量观测数据输入序列的长度为4（1 h），输出序列的长度为1，滑动步长为1。本文取前80%作为训练集，其余20%作为测试集。根据训练集的比例确定训练的时间跨度为2021年1月1日至2021年10月18日，测试集时间跨度为2021年10月18日至2021年12月29日，模型使用训练集进行训练后，对测试集中的溶解氧含量进行预测。
本文方法（PHY_GRU）实验结果分别与差分自回归移动平均模型（Autoregressive Integrated Moving Average Model，ARIMA）、多层感知机（MLP）和门控循环单元（GRU）网络进行对比。ARIMA的模型参数为（4，0，0）；MLP隐藏层数为2，每层神经元数为20个，batch size为16，学习率为0.001，epoch为100；GRU为单层结构，单元数为20个，batch size为16，学习率为0.001，epochs 为100；PHY_GRU的超参数与GRU一致，损失函数中包含的各物理约束项的权重系数借助交叉验证的方式进行选择，最终确定参数组合为{ λ T：0.5， λ E C：0.5， λ G：0.1， Δ：0.8}。所有神经网络均使用Adam优化器进行梯度下降。
本文共设计了3组实验：① PHY_GRU与基线模型的预测性能对比；② 包含不同物理约束的模型的预测性能对比分析；③ PHY_GRU物理损失函数中权重参数敏感性分析。

3.3 模型评价指标

本文采用测试集中溶解氧含量实测值和预测值的均方根误差、平均绝对误差与平均绝对百分比误差评估模型预测性能：
（1）均方根误差：
R M S E = 1 N S N C ∑ i = 1 N S   ∑ j = 1 N C y s , t - y ^ s , t 2
（2）平均绝对误差：
M A E = 1 N S N C ∑ i = 1 N S   ∑ j = 1 N C y s , t - y ^ s , t
（3）平均绝对百分比误差：
M A P E = 100 % N S N C ∑ i = 1 N S   ∑ j = 1 N C   y s , t - y ^ s , t y s , t
式中： N s表示站点个数； N C表示测试集时间序列的长度； y s , t、 y ^ s , t分别表示 t时刻 s站点溶解氧含量的实测值和预测值。

4 实验结果分析

4.1 模型预测性能比较

针对2021年10月18日至2021年12月29日的测试集数据，4种不同方法的预测精度对比结果列于表1。可以发现，本文提出的PHY_GRU模型预测性能最佳。GRU和PHY_GRU相比ARIMA模型，其预测值与实测值的RMSE分别降低了约91.8%和94.8%，MAE降低了约92.4%和96.2%；GRU和PHY_GRU相比MLP模型，其预测值与实测值的RMSE分别降低了约40.9%和62.9%，MAE降低了约36.5%和67.8%；ARIMA的预测精度最低，其主要原因可能是其难以建模水质因子的非线性变化；基于神经网络的预测模型优于统计回归的方法，验证了神经网络更擅长捕获非线性关系的能力；GRU模型的预测精度优于MLP，表明其层内神经元连接的序列信息传递和更新机制可以有效建模水质变化的时间相关性。
表1 不同模型溶解氧含量预测结果对比

Tab. 1 Comparison of the prediction results of dissolved oxygen concentration obtained by different models

预测模型 RMSE MAE MAPE/%
ARIMA 1.156 0.962 10.010
MLP 0.159 0.115 1.207
GRU 0.094 0.073 0.762
PHY_GRU 0.059 0.037 0.387
PHY_GRU相对于没有考虑物理约束的GRU，其预测值与实测值的RMSE进一步降低约37.2%，MAE降低了约49.3%，MAPE降低了约49.2%，证明了本文在神经网络模型中考虑物理规律约束的重要性和有效性。为更直观地对比2种方法，本文选择了部分水质站点的预测结果及预测残差进行展示。图6和图7分别为GRU模型和PHY_GRU模型对2203863、2203873、2203900、2203950号站点在2021年10月18日至2021年12月29日之间的预测结果及残差，可以发现：相比GRU模型，PHY_GRU模型预测结果中残差为负的情况明显减少，表明PHY_GRU的物理约束建模能力有效减少了虚低的预测值。
图6 4个站点上不同预测模型溶解氧含量预测值与实测值的对比

Fig. 6 Fitting comparison of the predicted values of dissolved oxygen concentration obtained by different models at four randomly selected sites

图7 4个站点上不同模型溶解氧含量预测残差的对比

Fig. 7 Residuals of model predictions at four randomly selected sites

4.2 包含不同物理约束的模型的预测性能对比分析

为了评估物理约束对水质预测的影响，本文采用GRU模型、PHY_GRU_mc模型、PHY_GRU_gc模型和PHY_GRU模型对测试集进行预测，其中GRU为基线方法，PHY_GRU_mc为只考虑单调性约束的预测模型，PHY_GRU_gc模型为仅考虑渐变性约束的预测模型，PHY_GRU_mc和PHY_GRU_gc是PHY_GRU模型的子模型。图8展示了上述4种模型预测值与实测值的RMSE、MAE和MAPE。可以发现：① 考虑单调性约束的PHY_GRU_mc模型预测性能优于原始GRU模型，说明考虑溶解氧变化的单调关系能有效提升模型的精度；② 考虑渐变性约束的PHY_GRU_gc模型的性能优于原始GRU模型，这是因为物理约束的损失函数可以减少超出溶解氧含量常规变化范围的突变预测值（GRU和PHY_GRU_gc的突变预测值占测试集预测值的比例分别为6.81%和2.23%）；③ PHY_GRU预测性能优于单纯考虑一种物理约束的子模型（PHY_GRU_mc或PHY_GRU_gc），这说明多种物理约束的共同作用能够更加全面地考虑各种物理规则对河流溶解氧含量的共同影响，使预测结果更接近河流中实际溶解氧含量。
图8 包含不同物理约束的模型预测性能对比

Fig. 8 Comparison of predictive performance of the models with different physical constraints

本文进一步测试了训练集样本数量对预测精度和预测稳定性的影响。本文首先按一定比例对训练集（2021年1月1日至2021年10月18日）进行随机采样，同时保持测试集（2021年10月18日至2021年12月29日）规模不变。为了保证训练集样本数量始终大于测试集，本文训练集采样的最低比例设置为30%。给定训练集采样比例，随机采样生成10组训练数据，在每组训练数据上分别训练GRU和PHY_GRU模型，并在测试集上统计模型预测值与实测值RMSE的均值和标准差。从图9中可以发现：① 预测模型的预测值与实测值的RMSE随着训练集数据量的增加而降低，这符合神经网络的在训练中不断优化的特点；② 对不同比例的训练集，考虑物理约束的PHY_GRU均能取得较原始GRU模型更高的预测精度。在使用训练集30%的采样数据时，PHY_GRU模型的预测精度已优于使用全部训练数据的GRU模型，验证了物理约束对模型参数优化具有良好的引导作用，可以减少模型对训练样本数量的依赖；③ 在不同样本数量的训练集上均进行10次实验，PHY_GRU模型预测值与实测值RMSE的标准差均小于GRU模型，这表明PHY_GRU模型的预测稳定性更高。
图9 训练集样本数量对门控循环单元模型与物理约束门控循环单元模型预测精度的影响

Fig. 9 The effect of training set size on the prediction accuracy of Gated Recurrent Unit and physics-constrained Gated Recurrent Unit

4.3 物理约束损失函数权重参数敏感性分析

本文针对物理约束损失函数中的超参数进行敏感性测试，评估 λ T、 λ E C 和 λ G对预测性能的影响。本文对每个权重超参数用一系列的候选值进行预测实验，实验过程中仅改变目标权重参数，其余参数保持3.1节中最优参数组合的取值。从图10可以看出：①单调性约束权重取0.5，渐变性约束权重取0.1左右时，模型预测性能较好；②随着权重值逐渐增加，预测精度逐渐下降。 λ T、 λ E C 和 λ G过大时，会使模型过度关注预测结果是否符合物理规律约束，而忽略了预测值与实测值之间的差异。
图10 损失函数权重参数对物理约束门控循环单元模型预测精度的影响

Fig. 10 The effect of the weight parameters in loss function on the prediction accuracy of Gated Recurrent Unit and physics-constrained Gated Recurrent Unit

5 讨论

通过上述实验结果可以发现，与现有基于统计回归和基于神经网络的预测模型相比，本文构建的PHY_GRU模型可以有效提升溶解氧含量预测的精度和稳定性。PHY_GRU与ARIMA、MLP、GRU模型相比，预测结果的RMSE分别降低了94.8%，62.9%和37.2%，MAE分别降低了96.2%，67.8%和49.3%，MAPE分别降低了96.1%，67.9%和49.2%。上述结果的主要原因在于：
（1）本文构建的PHY_GRU模型在神经网络训练过程中明确引入溶解氧变化的物理规律，在一定程度缓解了单纯数据驱动模型的过拟合问题。网络参数在优化时选择更符合水质变化物理规律的搜索空间，减少了与实际水质变化规律不符的预测结果（例如，考虑渐变性约束的GRU较原始GRU的突变预测值比例减少了4.58%）；
（2）PHY_GRU模型依据溶解氧含量变化物理规律在神经网络的损失函数中添加多个惩罚项，在网络训练过程中增加了物理约束指导。与现有单纯数据驱动的神经网络模型相比，PHY_GRU可以获得除数据本身特征外的额外信息，从而能够更为全面地建模河流水环境中溶解氧变化的影响因素。
（3）河流溶解氧含量变化是一种多因素共同作用的复杂过程，难以全面和精确地描述其变化。本文提出的PHY_GRU模型在部分已知物理规律的基础上，用神经网络隐式建模影响规律不明确的过程，这种知识与数据相融合的策略可以实现更精确的预测。
PHY_GRU模型构造的损失函数构造仅考虑了溶解氧的物理化学特性，因此PHY_GRU仅适用于溶解氧含量的预测任务。实际针对pH值、电导率、氮磷浓度等水质参数的预测任务，PHY_GRU模型不能直接应用，需要依据不同水质参数的理化特征设计针对性的损失函数。但是，本文将物理约束转化为神经网络损失函数的策略具有较好的普适性，PHY_GRU模型融合物理约束的设计思路可以为其他水质参数预测模型的构造提供重要的参考。

6 结论与展望

本文针对河流水质溶解氧含量预测问题，提出了一种物理约束的GRU神经网络（PHY_GRU）。PHY_GRU模型将溶解氧浓度与温度、盐度的单调性关系以及溶解氧浓度的渐变性规律建模为3种物理约束的损失函数，实现了在GRU模型训练过程中考虑物理先验知识的约束，为构建数据驱动与知识驱动相融合的水质预测模型提供了一种新的思路。在美国亚特兰大市河流水质溶解氧含量预测的实际应用表明PHY_GRU模型的预测精度与稳定性均明显优于现有的ARIMA模型、MLP模型和GRU模型：① PHY_GRU模型综合考虑多种物理约束可以提升预测精度；② PHY_GRU模型有效降低了与物理规律不一致的预测结果（例如错误的突变预测值）；③ PHY_GRU模型可以降低对训练集样本数量的依赖，即使采用比GRU模型更少的训练样本，仍然可以获得比GRU模型更高的预测精度。综上所述，本文提出的方法提升了非机理性模型预测结果的可解释性和稳定性，对水资源管理、水污染治理有着重要价值。
本文提出的物理约束的水质预测模型也存在局限性：① 由于数据集的限制，本文研究仅考虑自然环境变化对溶解氧的影响，未来需要深入研究自然环境和人类活动双重影响下的河流水质预测模型；② 实际中一般需要针对不同的预测变量设计不同的预测模型，未来需要进一步探索针对不同水质参数的物理约束预测模型的构建方法；③ 本文提出的PHY_GRU模型没有考虑监测站点间水质变化的空间相关性，未来需要进一步研究时空耦合的河流水质预测模型。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
Nong X Z, Shao D G, Zhong H, et al. Evaluation of water quality in the South-to-North Water Diversion Project of China using the water quality index (WQI) method[J]. Water Research, 2020, 178:115781. DOI:10.1016/j.watre s.2020.115781

DOI

[2]
王紫薇, 蔡红艳, 陈慕琳. 基于大数据的化工企业时空变化特征及其对水域的潜在影响分析方法[J]. 地球信息科学学报, 2022, 24(4):673-683.

DOI

[Wang Z W, Cai H Y, Chen M L. A method of spatio-temporal characteristics analysis of chemical enterprises using big data and their potential impacts on waterbodies[J]. Journal of Geo-information Science, 2022, 24(4):673-683. ] DOI:10.12082/dqxxkx.2022.210761

DOI

[3]
Romero E, Le Gendre R, Garnier J, et al. Long-term water quality in the lower Seine: Lessons learned over 4 decades of monitoring[J]. Environmental Science & Policy, 2016, 58:141-154. DOI:10.1016/j.envsci.2016.01.016

DOI

[4]
Behmel S, Damour M, Ludwig R, et al. Water quality monitoring strategies: A review and future perspectives[J]. Science of the Total Environment, 2016, 571:1312-1329. DOI:10.1016/j.scitotenv.2016.06.235

DOI

[5]
吴在栋, 林广发, 张明锋, 等. 突发河流污染事件应急资源调度动态规划模型研究[J]. 地球信息科学学报, 2018, 20(6):799-806.

DOI

[Wu Z D, Lin G F, Zhang M F, et al. A dynamic planning model for emergency resource scheduling for sudden river pollution incident[J]. Journal of Geo-information Science, 2018, 20(6):799-806. ] DOI:10.12082/dqxxkx.2018.180023

DOI

[6]
樊敏, 顾兆林. 非机理性水质模型研究综述[J]. 环境科学与管理, 2009, 34(9):63-67.

[Fan M, Gu Z L. Overview on research methods for non-mechanism water quality model[J]. Environmental Science and Management, 2009, 34(9):63-67. ] DOI:10.3969/j.issn.1673-1212.2009.09.016

DOI

[7]
Cox B A. A review of currently available in-stream water-quality models and their applicability for simulating dissolved oxygen in lowland rivers[J]. Science of the Total Environment, 2003, 314/315/316:335-377. DOI:10.1016/S0048-9697(03)00063-9

DOI

[8]
陈昌仁, 吕玲玲, 王纪杰, 等. 基于S-P概化模型的滁河干流六合段纳污能力分析[J]. 水生态学杂志, 2011, 32(2):82-85.

[Chen C R, Lv L L, Wang J J, et al. Analysis on water environmental capacity in Liuhe reach of chuhe river based on S-P generalized model[J]. Journal of Hydroecology, 2011, 32(2):82-85. ] DOI:10.15928/j.1674-3075.2011.02.014

DOI

[9]
Chen Q S, Xie X H, Du Q Y, et al. Parameters sensitivity analysis of DO in water quality model of QUAL2K[J]. IOP Conference Series: Earth and Environmental Science, 2018, 191:012030. DOI:10.1088/1755-1315/191/1/012030

DOI

[10]
Li X J, Huang M T, Wang R H. Numerical simulation of Donghu Lake hydrodynamics and water quality based on remote sensing and MIKE 21[J]. ISPRS International Journal of Geo-Information, 2020, 9(2):94. DOI:10.3390/ijgi9020094

DOI

[11]
Bai J, Zhao J, Zhang Z Y, et al. Assessment and a review of research on surface water quality modeling[J]. Ecological Modelling, 2022, 466:109888. DOI:10.1016/j.ecolmod el.2022.109888

DOI

[12]
Tiyasha, Tung T M, Yaseen Z M. A survey on river water quality modelling using artificial intelligence models: 2000-2020[J]. Journal of Hydrology, 2020, 585:124670. DOI:10.1016/j.jhydrol.2020.124670

DOI

[13]
Katimon A, Shahid S, Mohsenipour M. Modeling water quality and hydrological variables using ARIMA: a case study of Johor River, Malaysia[J]. Sustainable Water Resources Management, 2018, 4(4):991-998. DOI:10.1007/s40899-017-0202-8

DOI

[14]
Avila R, Horn B, Moriarty E, et al. Evaluating statistical model performance in water quality prediction[J]. Journal of Environmental Management, 2018, 206:910-919. DOI:10.1016/j.jenvman.2017.11.049

DOI PMID

[15]
Cui Y H, Qu J G, Yang A M, et al. Computer simulation of the grey system prediction method and its application in water quality prediction[C]// 2009 International Conference on Test and Measurement. IEEE, 2009:323-326. DOI:10.1109/ICTM.2009.5412927

DOI

[16]
Gaya M S, Abba S I, Abdu A M, et al. Estimation of water quality index using artificial intelligence approaches and multi-linear regression[J]. IAES International Journal of Artificial Intelligence (IJ-AI), 2020, 9(1):126. DOI:10.11591/ijai.v9.i1.pp126-134

DOI

[17]
Wang X, Tian W C, Liao Z L. Statistical comparison between SARIMA and ANN's performance for surface water quality time series prediction[J]. Environmental Science and Pollution Research, 2021, 28(25):33531-33544. DOI:10.1007/s11356-021-13086-3

DOI

[18]
Najah Ahmed A, Binti Othman F, Abdulmohsin Afan H, et al. Machine learning methods for better water quality prediction[J]. Journal of Hydrology, 2019, 578:124084. DOI:10.1016/j.jhydrol.2019.124084

DOI

[19]
Haghiabi A H, Nasrolahi A H, Parsaie A. Water quality prediction using machine learning methods[J]. Water Quality Research Journal, 2018, 53(1):3-13. DOI:10.2166/wqrj.2018.025

DOI

[20]
Al-Mukhtar M, Al-Yaseen F. Modeling water quality parameters using data-driven models, a case study Abu-ziriq marsh in south of Iraq[J]. Hydrology, 2019, 6(1):24. DOI:10.3390/hydrology6010024

DOI

[21]
Lek S, Guiresse M, Giraudel J L. Predicting stream nitrogen concentration from watershed features using neural networks[J]. Water Research, 1999, 33(16):3469-3478. DOI:10.1016/S0043-1354(99)00061-5

DOI

[22]
Yaseen Z M, Ramal M M, Diop L, et al. Hybrid adaptive neuro-fuzzy models for water quality index estimation[J]. Water Resources Management, 2018, 32(7):2227-2245. DOI:10.1007/s11269-018-1915-7

DOI

[23]
Feng Z K, Niu W J, Tang Z Y, et al. Evolutionary artificial intelligence model via cooperation search algorithm and extreme learning machine for multiple scales nonstationary hydrological time series prediction[J]. Journal of Hydrology, 2021, 595:126062. DOI:10.1016/j.jhydrol.2021.126062

DOI

[24]
LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436-444. DOI:10.1038/nature14539

DOI

[25]
Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks, 1994, 5(2):157-166. DOI:10.1109/72.279181

DOI PMID

[26]
Wang Y Y, Zhou J, Chen K J, et al. Water quality prediction method based on LSTM neural network[C]// 2017 12th International Conference on Intelligent Systems and Knowledge Engineering (ISKE). IEEE, 2017: 1-5. DOI:10.1109/ISKE.2017.8258814

DOI

[27]
Xu J L, Wang K, Lin C, et al. FM-GRU: A time series prediction method for water quality based on seq2seq framework[J]. Water, 2021, 13(8):1031. DOI:10.3390/w13081031

DOI

[28]
Reichstein M, Camps-Valls G, Stevens B, et al. Deep learning and process understanding for data-driven Earth system science[J]. Nature, 2019, 566(7743):195-204. DOI:10.1038/s41586-019-0912-1

DOI

[29]
Karpatne A, Atluri G, Faghmous J H, et al. Theory-guided data science: A new paradigm for scientific discovery from data[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(10):2318-2331. DOI:10.1109/TKDE.2017.2720168

DOI

[30]
Jia X W, Xie Y Q, Li S, et al. Physics-guided machine learning from simulation data: An application in modeling lake and river systems[C]// 2021 IEEE International Conference on Data Mining. IEEE, 2021:270-279. DOI:10.1109/ICDM51629.2021.00037

DOI

[31]
Hunter J M, Maier H R, Gibbs M S, et al. Framework for developing hybrid process-driven, artificial neural network and regression models for salinity prediction in river systems[J]. Hydrology and Earth System Sciences, 2018, 22(5):2987-3006. DOI:10.5194/hess-22-2987-2018

DOI

[32]
Abba S I, Linh N T T, Abdullahi J, et al. Hybrid machine learning ensemble techniques for modeling dissolved oxygen concentration[J]. IEEE Access, 2020, 8:157218-1572 37. DOI:10.1109/ACCESS.2020.3017743

DOI

[33]
Shewalkar A, Nyavanandi D, Ludwig S A. Performance evaluation of deep neural networks applied to speech recognition: RNN, LSTM and GRU[J]. Journal of Artificial Intelligence and Soft Computing Research, 2019, 9(4):235-245. DOI:10.2478/jaiscr-2019-0006

DOI

[34]
Sander R. Compilation of Henry's law constants (version 4.0) for water as solvent[J]. Atmospheric Chemistry and Physics, 2015, 15(8):4399-4981. DOI:10.5194/acp-15-4399-2015

DOI

[35]
Thomann R V, Mueller J A. Principles of surface water quality modeling and control[M]. New York: Harper & Row, 1987

[36]
Poisson A. Conductivity/salinity/temperature relationship of diluted and concentrated standard seawater[J]. IEEE Journal of Oceanic Engineering, 1980, 5(1):41-50. DOI:10.1109/JOE.1980.1145442

DOI

[37]
Hanson P C, Stillman A B, Jia X W, et al. Predicting lake surface water phosphorus dynamics using process-guided machine learning[J]. Ecological Modelling, 2020, 430:109136. DOI:10.1016/j.ecolmodel.2020.109136

DOI

Options
Outlines

/

〈 〉