2025-11-13T12:43:11.038101

Knowledge-aware equation discovery with automated background knowledge extraction

Ivanchik, Hvatov
In differential equation discovery algorithms, a priori expert knowledge is mainly used implicitly to constrain the form of the expected equation, making it impossible for the algorithm to truly discover equations. Instead, most differential equation discovery algorithms try to recover the coefficients for a known structure. In this paper, we describe an algorithm that allows the discovery of unknown equations using automatically or manually extracted background knowledge. Instead of imposing rigid constraints, we modify the structure space so that certain terms are likely to appear within the crossover and mutation operators. In this way, we mimic expertly chosen terms while preserving the possibility of obtaining any equation form. The paper shows that the extraction and use of knowledge allows it to outperform the SINDy algorithm in terms of search stability and robustness. Synthetic examples are given for Burgers, wave, and Korteweg--De Vries equations.
academic

Knowledge-aware equation discovery with automated background knowledge extraction

基本信息

  • 论文ID: 2501.00444
  • 标题: Knowledge-aware equation discovery with automated background knowledge extraction
  • 作者: Elizaveta Ivanchik, Alexander Hvatov (ITMO University)
  • 分类: cs.AI
  • 发表时间: 2025年1月3日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2501.00444

摘要

在微分方程发现算法中，先验专家知识主要被隐式地用于约束期望方程的形式，这使得算法无法真正发现方程。相反，大多数微分方程发现算法试图恢复已知结构的系数。本文描述了一种允许使用自动或手动提取的背景知识发现未知方程的算法。该算法不施加刚性约束，而是修改结构空间，使某些项在交叉和变异算子中更有可能出现。通过这种方式，算法模拟专家选择的项，同时保留获得任何方程形式的可能性。实验表明，知识的提取和使用使其在搜索稳定性和鲁棒性方面优于SINDy算法。

研究背景与动机

问题定义

微分方程发现是从观测数据中提取可解释物理模型的重要任务。当前的微分方程发现方法主要面临以下问题：

  1. 过度依赖先验知识：现有方法如SINDy主要通过预定义项库来约束方程形式，实质上是系数恢复而非真正的方程发现
  2. 结构空间限制：基于梯度优化的方法只能在固定结构空间内搜索，限制了发现新方程的能力
  3. 知识利用方式僵化：现有方法要么完全不使用背景知识，要么施加过于严格的结构约束

研究动机

本文的核心动机是开发一种能够：

  • 自动提取和利用背景知识
  • 在保持结构灵活性的同时引导搜索过程
  • 提高方程发现的稳定性和鲁棒性 的微分方程发现算法。

核心贡献

  1. 提出了知识感知的方程发现框架：开发了基于EPDE的改进算法，通过修改概率分布而非硬约束来利用背景知识
  2. 设计了自动知识提取机制：基于改进的SymNet架构自动生成初始猜测，并转换为项重要性分布
  3. 实现了软性知识引导：通过修改交叉和变异算子的概率分布，在保持搜索空间完整性的同时引导优化过程
  4. 验证了方法有效性：在Burgers方程、波动方程和KdV方程上的实验表明，该方法在稳定性和鲁棒性方面优于SINDy

方法详解

任务定义

给定离散网格上的观测数据 X={x(i)}i=1NX = \{x^{(i)}\}_{i=1}^N 和对应的观测值 U={u(i)}i=1NU = \{u^{(i)}\}_{i=1}^N，目标是发现描述数据的微分方程模型：

M(S,P,x)→u(x):M(S,P,x(i))→u(xi)∼u(i)M(S, P, x) \rightarrow u(x) : M(S, P, x^{(i)}) \rightarrow u(x_i) \sim u^{(i)}

其中 SS 表示结构，PP 表示参数。

模型架构

1. 基础EPDE算法

EPDE算法使用参数化的token作为基本构建块： t=t(π1,...,πn)t = t(\pi_1, ..., \pi_n)

token组合形成项：T=t1⋅...⋅tTlengthT = t_1 \cdot ... \cdot t_{T_{length}}，模型形式为： M(S,{C,P})=∑j=1NtermsCjTjM(S, \{C,P\}) = \sum_{j=1}^{N_{terms}} C_j T_j

2. 知识感知的改进

关键创新在于引入项重要性分布来指导进化算子：

改进的交叉算子：根据项的重要性分布选择参与交叉的项，而非均匀选择。

改进的变异算子：

  • Token替换：根据重要性分布选择新token
  • 项生成：使用重要性分布生成新项

3. 自动知识提取

使用改进的SymNet架构生成初始猜测：

SymNet修改：扩展原始架构以支持任意时间导数形式： Ut=F(t,x,U,Ux,Uxx,Utt,Uttt,...)U_t = F(t, x, U, U_x, U_{xx}, U_{tt}, U_{ttt}, ...)Utt=F(t,x,U,Ux,Ut,Uxx,Uttt,...)U_{tt} = F(t, x, U, U_x, U_t, U_{xx}, U_{ttt}, ...)

概率分布计算：

  1. 映射SymNet输出到EPDE项空间
  2. 应用系数平滑处理（混合因子mf控制）
  3. 归一化得到概率分布

技术创新点

  1. 软性约束机制：通过概率分布而非硬约束来引入背景知识，保持搜索空间的完整性
  2. 自适应知识提取：自动从初始猜测中提取项重要性，无需人工定义
  3. 混合因子调节：通过混合因子平衡初始猜测的可信度，防止过度依赖不准确的猜测

实验设置

数据集

实验使用五个经典偏微分方程：

  1. Burgers方程（无粘性）：ut+uux=0u_t + uu_x = 0
  2. Burgers方程（含粘性项）：ut+uux−0.1uxx=0u_t + uu_x - 0.1u_{xx} = 0
  3. 波动方程：utt−125uxx=0u_{tt} - \frac{1}{25}u_{xx} = 0
  4. KdV方程：ut+6uux+uxxx=0u_t + 6uu_x + u_{xxx} = 0
  5. 非齐次KdV方程：ut+6uux+uxxx=cos⁡tsin⁡xu_t + 6uu_x + u_{xxx} = \cos t \sin x

评价指标

  1. 平均绝对误差（MAE）：计算发现方程系数与真实系数的误差
  2. 结构汉明距离（SHD）：衡量发现方程结构与真实结构的差异
  3. 成功率：50次运行中成功发现方程的比例
  4. 收敛时间：算法达到收敛所需的时间

对比方法

  • 经典EPDE算法：作为基准方法
  • PySINDy框架：当前主流的微分方程发现方法
  • SymNet：用于评估初始猜测质量

实现细节

  • 每个实验运行50次取统计结果
  • 噪声水平：0%, 25%, 50%, 75%, 100%（相对于极限噪声水平）
  • 混合因子：默认值2.4，同时测试通过KL散度优化的值

实验结果

主要结果

1. 与SINDy的对比

在多个方程上的实验表明：

  • 稳定性提升：改进算法在高噪声条件下表现更稳定
  • 精度优势：在大多数情况下achieve了更低的MAE
  • 鲁棒性增强：在噪声增加时性能下降更缓慢

2. 成功率提升

根据表A.3和A.4的结果：

  • 复杂方程：非齐次KdV方程的成功率提升最显著，最高达72%
  • 简单方程：对于已经有高成功率的简单方程，提升有限
  • 平均提升：噪声鲁棒性平均提升12.5%，范围2%-32%

3. 时间消耗

  • 经典EPDE：约5秒
  • 改进算法：约15秒
  • PySINDy：约0.01秒

消融实验

混合因子敏感性分析

测试了不同混合因子（2.4, 3.0, 3.6, 4.5）的影响：

  • 通过KL散度优化的混合因子通常表现最佳
  • 适当调节混合因子可额外提升30%的发现率

SymNet初始猜测质量

SymNet在不同方程上的表现差异显著：

  • 简单方程：Burgers方程MAE = 0.0058 ± 0.0008
  • 复杂方程：非齐次KdV方程MAE = 0.1497 ± 0.0214

案例分析

以波动方程为例，改进算法能够发现PySINDy无法处理的二阶时间导数方程，体现了方法的结构灵活性。

相关工作

方程发现方法分类

论文将现有方法分为两类：

  1. Type I（梯度优化）：固定结构，优化参数（如SINDy, PDE-Net）
  2. Type II（遗传编程）：结构和参数同时优化（如EPDE, PySR）

知识融入方式

  • 语法规则：专家定义的语法约束
  • 贝叶斯方法：基于先验分布的知识融入
  • 结构约束：预定义项库的硬约束

本文方法属于Type II的改进，通过概率分布实现软性知识引导。

结论与讨论

主要结论

  1. 软性约束有效：通过概率分布引入背景知识比硬约束更有效
  2. 自动知识提取可行：基于SymNet的自动知识提取机制能够改善搜索性能
  3. 复杂方程受益更多：方法对复杂微分方程的改进效果更显著

局限性

  1. 计算开销：相比SINDy，计算时间显著增加
  2. 初始猜测依赖：方法性能受SymNet初始猜测质量影响
  3. 参数敏感性：混合因子等参数需要仔细调节

未来方向

  1. 优化计算效率：减少SymNet调用次数，提高整体效率
  2. 改进初始猜测：开发更准确的初始方程猜测方法
  3. 扩展应用领域：测试方法在更多类型方程上的效果

深度评价

优点

  1. 创新的知识融入机制：提出了通过修改概率分布而非硬约束来利用背景知识的新思路
  2. 完整的自动化流程：从知识提取到方程发现的端到端自动化
  3. 充分的实验验证：在多个经典方程上进行了全面测试，包括噪声鲁棒性分析
  4. 理论基础扎实：从概率测度几何的角度解释了方法的合理性

不足

  1. 计算效率问题：相比现有方法计算开销较大，限制了实际应用
  2. 方法复杂度：涉及多个组件（SymNet、EPDE、概率分布计算），增加了实现难度
  3. 参数调节需求：混合因子等关键参数需要针对具体问题调节
  4. 有限的理论分析：缺乏收敛性和最优性的理论保证

影响力

  1. 学术贡献：为微分方程发现领域提供了新的知识融入范式
  2. 实用价值：在处理复杂、高噪声数据时展现出优势
  3. 可复现性：提供了开源代码和详细的实验设置

适用场景

该方法特别适合：

  • 复杂微分方程的发现任务
  • 高噪声环境下的方程恢复
  • 需要结构灵活性的应用场景
  • 有部分先验知识但不确定完整结构的情况

参考文献

论文引用了微分方程发现领域的主要工作，包括：

  • SINDy系列方法 8, 10, 26, 28
  • PDE-Net系列 12, 32
  • EPDE算法 14, 25, 30, 31
  • 符号回归方法 15, 29
  • 知识提取相关工作 1-6, 16-24

总体评价：这是一篇高质量的研究论文，提出了创新的知识感知微分方程发现方法。虽然在计算效率方面存在不足，但其在方法创新性、实验完整性和实际效果方面都表现出色，为该领域的发展做出了有价值的贡献。