2025-11-13T12:43:11.038101

Knowledge-aware equation discovery with automated background knowledge extraction

Ivanchik, Hvatov

In differential equation discovery algorithms, a priori expert knowledge is mainly used implicitly to constrain the form of the expected equation, making it impossible for the algorithm to truly discover equations. Instead, most differential equation discovery algorithms try to recover the coefficients for a known structure. In this paper, we describe an algorithm that allows the discovery of unknown equations using automatically or manually extracted background knowledge. Instead of imposing rigid constraints, we modify the structure space so that certain terms are likely to appear within the crossover and mutation operators. In this way, we mimic expertly chosen terms while preserving the possibility of obtaining any equation form. The paper shows that the extraction and use of knowledge allows it to outperform the SINDy algorithm in terms of search stability and robustness. Synthetic examples are given for Burgers, wave, and Korteweg--De Vries equations.

academic

배경 지식 자동 추출을 통한 지식 인식형 방정식 발견

기본 정보

논문 ID: 2501.00444
제목: Knowledge-aware equation discovery with automated background knowledge extraction
저자: Elizaveta Ivanchik, Alexander Hvatov (ITMO University)
분류: cs.AI
발표 시간: 2025년 1월 3일 (arXiv 프리프린트)
논문 링크: https://arxiv.org/abs/2501.00444

초록

미분방정식 발견 알고리즘에서 사전 전문가 지식은 주로 기대 방정식의 형태를 제약하기 위해 암묵적으로 사용되어, 알고리즘이 진정한 의미의 방정식을 발견할 수 없게 만듭니다. 대신 대부분의 미분방정식 발견 알고리즘은 알려진 구조의 계수를 복원하려고 시도합니다. 본 논문은 자동 또는 수동으로 추출된 배경 지식을 사용하여 미지의 방정식을 발견할 수 있는 알고리즘을 설명합니다. 이 알고리즘은 경직된 제약을 부과하지 않고, 구조 공간을 수정하여 특정 항이 교차 및 변이 연산자에서 더 높은 확률로 나타나도록 합니다. 이러한 방식으로 알고리즘은 전문가가 선택한 항을 모방하면서도 임의의 방정식 형태를 얻을 수 있는 가능성을 유지합니다. 실험 결과는 지식의 추출 및 사용이 검색 안정성과 견고성 측면에서 SINDy 알고리즘을 능가함을 보여줍니다.

연구 배경 및 동기

문제 정의

미분방정식 발견은 관측 데이터에서 해석 가능한 물리 모델을 추출하는 중요한 과제입니다. 현재의 미분방정식 발견 방법은 주로 다음과 같은 문제에 직면하고 있습니다:

사전 지식에 대한 과도한 의존성: SINDy와 같은 기존 방법은 주로 사전 정의된 항 라이브러리를 통해 방정식 형태를 제약하며, 본질적으로 진정한 방정식 발견이 아닌 계수 복원입니다
구조 공간 제한: 기울기 최적화 기반 방법은 고정된 구조 공간 내에서만 검색할 수 있어 새로운 방정식 발견 능력이 제한됩니다
경직된 지식 활용 방식: 기존 방법은 배경 지식을 전혀 사용하지 않거나 과도하게 엄격한 구조 제약을 부과합니다

연구 동기

본 논문의 핵심 동기는 다음을 수행할 수 있는 미분방정식 발견 알고리즘을 개발하는 것입니다:

배경 지식을 자동으로 추출하고 활용
구조 유연성을 유지하면서 검색 프로세스를 안내
방정식 발견의 안정성과 견고성 향상

핵심 기여

지식 인식형 방정식 발견 프레임워크 제안: EPDE 기반의 개선된 알고리즘을 개발하여 하드 제약이 아닌 확률 분포 수정을 통해 배경 지식을 활용합니다
자동 지식 추출 메커니즘 설계: 개선된 SymNet 아키텍처를 기반으로 초기 추측을 자동으로 생성하고 항 중요도 분포로 변환합니다
소프트 지식 안내 구현: 교차 및 변이 연산자의 확률 분포를 수정하여 검색 공간의 완전성을 유지하면서 최적화 프로세스를 안내합니다
방법 유효성 검증: Burgers 방정식, 파동 방정식 및 KdV 방정식에 대한 실험은 이 방법이 안정성과 견고성 측면에서 SINDy를 능가함을 보여줍니다

방법론 상세 설명

작업 정의

이산 격자 위의 관측 데이터 $X = \{x^{(i)}\}_{i=1}^N$ 과 대응하는 관측값 $U = \{u^{(i)}\}_{i=1}^N$ 이 주어졌을 때, 목표는 데이터를 설명하는 미분방정식 모델을 발견하는 것입니다:

$M(S, P, x) \rightarrow u(x) : M(S, P, x^{(i)}) \rightarrow u(x_i) \sim u^{(i)}$

여기서 $S$ 는 구조, $P$ 는 매개변수를 나타냅니다.

모델 아키텍처

1. 기본 EPDE 알고리즘

EPDE 알고리즘은 매개변수화된 토큰을 기본 구성 요소로 사용합니다: $t = t(\pi_1, ..., \pi_n)$

토큰 조합은 항을 형성합니다: $T = t_1 \cdot ... \cdot t_{T_{length}}$ , 모델 형태는: $M(S, \{C,P\}) = \sum_{j=1}^{N_{terms}} C_j T_j$

2. 지식 인식형 개선

핵심 혁신은 진화 연산자를 안내하기 위해 항 중요도 분포를 도입하는 것입니다:

개선된 교차 연산자: 균등 선택이 아닌 항의 중요도 분포에 따라 교차에 참여할 항을 선택합니다.

개선된 변이 연산자:

토큰 대체: 중요도 분포에 따라 새로운 토큰 선택
항 생성: 중요도 분포를 사용하여 새로운 항 생성

3. 자동 지식 추출

개선된 SymNet 아키텍처를 사용하여 초기 추측을 생성합니다:

SymNet 수정: 임의의 시간 도함수 형태를 지원하도록 원래 아키텍처를 확장합니다: $U_t = F(t, x, U, U_x, U_{xx}, U_{tt}, U_{ttt}, ...)$ $U_{tt} = F(t, x, U, U_x, U_t, U_{xx}, U_{ttt}, ...)$