2025-11-13T12:43:11.038101

Knowledge-aware equation discovery with automated background knowledge extraction

Ivanchik, Hvatov

In differential equation discovery algorithms, a priori expert knowledge is mainly used implicitly to constrain the form of the expected equation, making it impossible for the algorithm to truly discover equations. Instead, most differential equation discovery algorithms try to recover the coefficients for a known structure. In this paper, we describe an algorithm that allows the discovery of unknown equations using automatically or manually extracted background knowledge. Instead of imposing rigid constraints, we modify the structure space so that certain terms are likely to appear within the crossover and mutation operators. In this way, we mimic expertly chosen terms while preserving the possibility of obtaining any equation form. The paper shows that the extraction and use of knowledge allows it to outperform the SINDy algorithm in terms of search stability and robustness. Synthetic examples are given for Burgers, wave, and Korteweg--De Vries equations.

academic

স্বয়ংক্রিয় পটভূমি জ্ঞান নিষ্কাশনের সাথে জ্ঞান-সচেতন সমীকরণ আবিষ্কার

মৌলিক তথ্য

পেপার আইডি: 2501.00444
শিরোনাম: Knowledge-aware equation discovery with automated background knowledge extraction
লেখক: Elizaveta Ivanchik, Alexander Hvatov (ITMO বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.AI
প্রকাশনার সময়: ২০২৫ সালের ৩ জানুয়ারি (arXiv প্রাক-মুদ্রণ)
পেপার লিঙ্ক: https://arxiv.org/abs/2501.00444

সারসংক্ষেপ

অবকল সমীকরণ আবিষ্কার অ্যালগরিদমে, পূর্ববর্তী বিশেষজ্ঞ জ্ঞান প্রধানত প্রত্যাশিত সমীকরণের রূপকে সীমাবদ্ধ করার জন্য নিহিতভাবে ব্যবহৃত হয়, যা অ্যালগরিদমকে সত্যিকারের সমীকরণ আবিষ্কার করতে অক্ষম করে তোলে। পরিবর্তে, বেশিরভাগ অবকল সমীকরণ আবিষ্কার অ্যালগরিদম পরিচিত কাঠামোর সহগ পুনরুদ্ধার করার চেষ্টা করে। এই পেপারটি এমন একটি অ্যালগরিদম বর্ণনা করে যা স্বয়ংক্রিয় বা ম্যানুয়ালি নিষ্কাশিত পটভূমি জ্ঞান ব্যবহার করে অজানা সমীকরণ আবিষ্কার করতে দেয়। অ্যালগরিদম কঠোর সীমাবদ্ধতা প্রয়োগ করে না, বরং কাঠামো স্থানকে সংশোধন করে, যাতে নির্দিষ্ট পদগুলি ক্রস-ওভার এবং মিউটেশন অপারেটরে আরও সম্ভাব্য হয়। এইভাবে, অ্যালগরিদম বিশেষজ্ঞ-নির্বাচিত পদগুলি অনুকরণ করে, যখন যেকোনো সমীকরণ রূপ অর্জনের সম্ভাবনা বজায় রাখে। পরীক্ষা-নিরীক্ষা দেখায় যে জ্ঞানের নিষ্কাশন এবং ব্যবহার এটিকে অনুসন্ধান স্থিতিশীলতা এবং শক্তিশালীতার ক্ষেত্রে SINDy অ্যালগরিদমকে ছাড়িয়ে যায়।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

অবকল সমীকরণ আবিষ্কার পর্যবেক্ষণকৃত ডেটা থেকে ব্যাখ্যাযোগ্য ভৌত মডেল নিষ্কাশনের একটি গুরুত্বপূর্ণ কাজ। বর্তমান অবকল সমীকরণ আবিষ্কার পদ্ধতিগুলি প্রধানত নিম্নলিখিত সমস্যাগুলির সম্মুখীন হয়:

পূর্ববর্তী জ্ঞানের উপর অত্যধিক নির্ভরতা: SINDy-এর মতো বিদ্যমান পদ্ধতিগুলি প্রধানত পূর্বনির্ধারিত পদ লাইব্রেরির মাধ্যমে সমীকরণ রূপকে সীমাবদ্ধ করে, যা সত্যিকারের সমীকরণ আবিষ্কারের পরিবর্তে সহগ পুনরুদ্ধার
কাঠামো স্থান সীমাবদ্ধতা: গ্রেডিয়েন্ট অপ্টিমাইজেশনের উপর ভিত্তি করে পদ্ধতিগুলি শুধুমাত্র একটি নির্দিষ্ট কাঠামো স্থানের মধ্যে অনুসন্ধান করতে পারে, নতুন সমীকরণ আবিষ্কারের ক্ষমতা সীমাবদ্ধ করে
জ্ঞান ব্যবহারের কঠোর পদ্ধতি: বিদ্যমান পদ্ধতিগুলি হয় সম্পূর্ণরূপে পটভূমি জ্ঞান ব্যবহার করে না, অথবা অত্যন্ত কঠোর কাঠামো সীমাবদ্ধতা প্রয়োগ করে

গবেষণা প্রেরণা

এই পেপারের মূল প্রেরণা এমন একটি অবকল সমীকরণ আবিষ্কার অ্যালগরিদম বিকাশ করা যা:

স্বয়ংক্রিয়ভাবে পটভূমি জ্ঞান নিষ্কাশন এবং ব্যবহার করে
কাঠামোগত নমনীয়তা বজায় রেখে অনুসন্ধান প্রক্রিয়াকে গাইড করে
সমীকরণ আবিষ্কারের স্থিতিশীলতা এবং শক্তিশালীতা উন্নত করে

মূল অবদান

জ্ঞান-সচেতন সমীকরণ আবিষ্কার কাঠামো প্রস্তাব: EPDE-এর উপর ভিত্তি করে একটি উন্নত অ্যালগরিদম বিকাশ করা হয়েছে যা কঠোর সীমাবদ্ধতার পরিবর্তে সম্ভাব্যতা বিতরণ সংশোধনের মাধ্যমে পটভূমি জ্ঞান ব্যবহার করে
স্বয়ংক্রিয় জ্ঞান নিষ্কাশন প্রক্রিয়া ডিজাইন: উন্নত SymNet আর্কিটেকচারের উপর ভিত্তি করে স্বয়ংক্রিয়ভাবে প্রাথমিক অনুমান তৈরি করে এবং পদ গুরুত্ব বিতরণে রূপান্তরিত করে
নরম জ্ঞান নির্দেশনা বাস্তবায়ন: ক্রস-ওভার এবং মিউটেশন অপারেটরের সম্ভাব্যতা বিতরণ সংশোধনের মাধ্যমে, অনুসন্ধান স্থানের সম্পূর্ণতা বজায় রেখে অপ্টিমাইজেশন প্রক্রিয়াকে গাইড করে
পদ্ধতির কার্যকারিতা যাচাই: Burgers সমীকরণ, তরঙ্গ সমীকরণ এবং KdV সমীকরণে পরীক্ষা-নিরীক্ষা দেখায় যে পদ্ধতিটি স্থিতিশীলতা এবং শক্তিশালীতার ক্ষেত্রে SINDy-কে ছাড়িয়ে যায়

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

বিচ্ছিন্ন গ্রিডে পর্যবেক্ষণকৃত ডেটা $X = \{x^{(i)}\}_{i=1}^N$ এবং সংশ্লিষ্ট পর্যবেক্ষণ মূল্য $U = \{u^{(i)}\}_{i=1}^N$ দেওয়া হলে, লক্ষ্য হল ডেটা বর্ণনাকারী অবকল সমীকরণ মডেল আবিষ্কার করা:

$M(S, P, x) \rightarrow u(x) : M(S, P, x^{(i)}) \rightarrow u(x_i) \sim u^{(i)}$

যেখানে $S$ কাঠামো প্রতিনিধিত্ব করে এবং $P$ পরামিতি প্রতিনিধিত্ব করে।

মডেল আর্কিটেকচার

১. মৌলিক EPDE অ্যালগরিদম

EPDE অ্যালগরিদম প্যারামিটারযুক্ত টোকেনকে মৌলিক নির্মাণ ব্লক হিসাবে ব্যবহার করে: $t = t(\pi_1, ..., \pi_n)$

টোকেন সংমিশ্রণ পদ গঠন করে: $T = t_1 \cdot ... \cdot t_{T_{length}}$ , মডেল রূপ: $M(S, \{C,P\}) = \sum_{j=1}^{N_{terms}} C_j T_j$

২. জ্ঞান-সচেতন উন্নতি

মূল উদ্ভাবন বিবর্তন অপারেটরকে গাইড করার জন্য পদ গুরুত্ব বিতরণ প্রবর্তন করা:

উন্নত ক্রস-ওভার অপারেটর: পদের গুরুত্ব বিতরণ অনুযায়ী ক্রস-ওভারে অংশগ্রহণকারী পদ নির্বাচন করে, সমান নির্বাচনের পরিবর্তে।

উন্নত মিউটেশন অপারেটর:

টোকেন প্রতিস্থাপন: গুরুত্ব বিতরণ অনুযায়ী নতুন টোকেন নির্বাচন করে
পদ উৎপাদন: গুরুত্ব বিতরণ ব্যবহার করে নতুন পদ উৎপাদন করে

३. স্বয়ংক্রিয় জ্ঞান নিষ্কাশন

উন্নত SymNet আর্কিটেকচার ব্যবহার করে প্রাথমিক অনুমান তৈরি করে:

SymNet সংশোধন: যেকোনো সময় অবকল রূপ সমর্থন করার জন্য মূল আর্কিটেকচার প্রসারিত করে: $U_t = F(t, x, U, U_x, U_{xx}, U_{tt}, U_{ttt}, ...)$ $U_{tt} = F(t, x, U, U_x, U_t, U_{xx}, U_{ttt}, ...)$

সম্ভাব্যতা বিতরণ গণনা:

SymNet আউটপুট EPDE পদ স্থানে ম্যাপ করে
সহগ মসৃণকরণ প্রয়োগ করে (মিশ্রণ ফ্যাক্টর mf নিয়ন্ত্রণ করে)
সম্ভাব্যতা বিতরণ পেতে স্বাভাবিকীকরণ করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

নরম সীমাবদ্ধতা প্রক্রিয়া: কঠোর সীমাবদ্ধতার পরিবর্তে সম্ভাব্যতা বিতরণের মাধ্যমে পটভূমি জ্ঞান প্রবর্তন করে, অনুসন্ধান স্থানের সম্পূর্ণতা বজায় রাখে
অভিযোজিত জ্ঞান নিষ্কাশন: প্রাথমিক অনুমান থেকে স্বয়ংক্রিয়ভাবে পদ গুরুত্ব নিষ্কাশন করে, মানব সংজ্ঞা প্রয়োজন নেই
মিশ্রণ ফ্যাক্টর সমন্বয়: মিশ্রণ ফ্যাক্টরের মাধ্যমে প্রাথমিক অনুমানের বিশ্বাসযোগ্যতা ভারসাম্য রাখে, অনির্ভুল অনুমানের উপর অত্যধিক নির্ভরতা প্রতিরোধ করে

পরীক্ষা-নিরীক্ষার সেটআপ

ডেটাসেট

পরীক্ষা-নিরীক্ষা পাঁচটি ক্লাসিক্যাল আংশিক অবকল সমীকরণ ব্যবহার করে:

Burgers সমীকরণ (অ-সান্দ্র): $u_t + uu_x = 0$
Burgers সমীকরণ (সান্দ্র পদ সহ): $u_t + uu_x - 0.1u_{xx} = 0$
তরঙ্গ সমীকরণ: $u_{tt} - \frac{1}{25}u_{xx} = 0$
KdV সমীকরণ: $u_t + 6uu_x + u_{xxx} = 0$
অ-সমজাতীয় KdV সমীকরণ: $u_t + 6uu_x + u_{xxx} = \cos t \sin x$

মূল্যায়ন সূচক

গড় পরম ত্রুটি (MAE): আবিষ্কৃত সমীকরণ সহগ এবং প্রকৃত সহগের মধ্যে ত্রুটি গণনা করে
কাঠামো হ্যামিং দূরত্ব (SHD): আবিষ্কৃত সমীকরণ কাঠামো এবং প্রকৃত কাঠামোর মধ্যে পার্থক্য পরিমাপ করে
সাফল্যের হার: ৫০ বার চালানোর মধ্যে সমীকরণ সফলভাবে আবিষ্কার করার অনুপাত
সংগ্রহ সময়: অ্যালগরিদম সংগ্রহে পৌঁছাতে প্রয়োজনীয় সময়

তুলনা পদ্ধতি

ক্লাসিক্যাল EPDE অ্যালগরিদম: বেসলাইন পদ্ধতি হিসাবে
PySINDy ফ্রেমওয়ার্ক: বর্তমান প্রধান অবকল সমীকরণ আবিষ্কার পদ্ধতি
SymNet: প্রাথমিক অনুমান গুণমান মূল্যায়নের জন্য

বাস্তবায়ন বিবরণ

প্রতিটি পরীক্ষা ৫০ বার চালানো হয় পরিসংখ্যান ফলাফলের জন্য
শব্দ স্তর: ০%, ২৫%, ৫০%, ৭৫%, ১০০% (চরম শব্দ স্তরের সাপেক্ষে)
মিশ্রণ ফ্যাক্টর: ডিফল্ট মূল্য ২.৪, একই সাথে KL বিচ্যুতি অপ্টিমাইজেশনের মাধ্যমে পরীক্ষা করা মূল্য

পরীক্ষা-নিরীক্ষার ফলাফল

প্রধান ফলাফল

১. SINDy-এর সাথে তুলনা

একাধিক সমীকরণে পরীক্ষা-নিরীক্ষা দেখায়:

স্থিতিশীলতা উন্নতি: উন্নত অ্যালগরিদম উচ্চ শব্দ অবস্থার অধীনে আরও স্থিতিশীল পারফরম্যান্স প্রদর্শন করে
নির্ভুলতা সুবিধা: বেশিরভাগ ক্ষেত্রে কম MAE অর্জন করে
শক্তিশালীতা বৃদ্ধি: শব্দ বৃদ্ধির সাথে সাথে কর্মক্ষমতা আরও ধীরে ধীরে হ্রাস পায়

२. সাফল্যের হার বৃদ্ধি

টেবিল A.3 এবং A.4 এর ফলাফল অনুযায়ী:

জটিল সমীকরণ: অ-সমজাতীয় KdV সমীকরণের সাফল্যের হার সবচেয়ে উল্লেখযোগ্য বৃদ্ধি, সর্বোচ্চ ৭২% পর্যন্ত
সহজ সমীকরণ: ইতিমধ্যে উচ্চ সাফল্যের হার সহ সহজ সমীকরণের জন্য, উন্নতি সীমিত
গড় উন্নতি: শব্দ শক্তিশালীতা গড়ে ১২.৫% উন্নতি, পরিসীমা ২%-৩২%

३. সময় খরচ

ক্লাসিক্যাল EPDE: প্রায় ৫ সেকেন্ড
উন্নত অ্যালগরিদম: প্রায় ১৫ সেকেন্ড
PySINDy: প্রায় ০.০১ সেকেন্ড

বিলোপন পরীক্ষা-নিরীক্ষা

মিশ্রণ ফ্যাক্টর সংবেদনশীলতা বিশ্লেষণ

বিভিন্ন মিশ্রণ ফ্যাক্টর (২.৪, ३.०, ३.६, ४.५) এর প্রভাব পরীক্ষা করা হয়েছে:

KL বিচ্যুতি অপ্টিমাইজেশনের মাধ্যমে সমন্বিত মিশ্রণ ফ্যাক্টর সাধারণত সেরা পারফরম্যান্স প্রদর্শন করে
উপযুক্ত মিশ্রণ ফ্যাক্টর সমন্বয় আবিষ্কার হার ৩০% অতিরিক্ত উন্নতি করতে পারে

SymNet প্রাথমিক অনুমান গুণমান

SymNet বিভিন্ন সমীকরণে উল্লেখযোগ্য পারফরম্যান্স পার্থক্য প্রদর্শন করে:

সহজ সমীকরণ: Burgers সমীকরণ MAE = 0.0058 ± 0.0008
জটিল সমীকরণ: অ-সমজাতীয় KdV সমীকরণ MAE = 0.1497 ± 0.0214

কেস বিশ্লেষণ

তরঙ্গ সমীকরণের উদাহরণ হিসাবে, উন্নত অ্যালগরিদম দ্বিতীয় ক্রম সময় অবকল সমীকরণ আবিষ্কার করতে পারে যা PySINDy পরিচালনা করতে পারে না, পদ্ধতির কাঠামোগত নমনীয়তা প্রদর্শন করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

নরম সীমাবদ্ধতা কার্যকর: সম্ভাব্যতা বিতরণের মাধ্যমে পটভূমি জ্ঞান প্রবর্তন কঠোর সীমাবদ্ধতার চেয়ে আরও কার্যকর
স্বয়ংক্রিয় জ্ঞান নিষ্কাশন সম্ভব: SymNet-এর উপর ভিত্তি করে স্বয়ংক্রিয় জ্ঞান নিষ্কাশন প্রক্রিয়া অনুসন্ধান কর্মক্ষমতা উন্নত করতে পারে
জটিল সমীকরণ আরও উপকৃত: পদ্ধতি জটিল অবকল সমীকরণের উন্নতিতে আরও উল্লেখযোগ্য প্রভাব ফেলে

সীমাবদ্ধতা

গণনা ওভারহেড: SINDy-এর তুলনায় গণনা সময় উল্লেখযোগ্যভাবে বৃদ্ধি পায়
প্রাথমিক অনুমান নির্ভরতা: পদ্ধতির কর্মক্ষমতা SymNet প্রাথমিক অনুমান গুণমান দ্বারা প্রভাবিত হয়
পরামিতি সংবেদনশীলতা: মিশ্রণ ফ্যাক্টর ইত্যাদি মূল পরামিতি সাবধানে সমন্বয় প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

গণনা দক্ষতা অপ্টিমাইজ করা: SymNet কল সংখ্যা হ্রাস করা, সামগ্রিক দক্ষতা উন্নত করা
প্রাথমিক অনুমান উন্নত করা: আরও নির্ভুল প্রাথমিক সমীকরণ অনুমান পদ্ধতি বিকাশ করা
প্রয়োগ ক্ষেত্র প্রসারিত করা: আরও বেশি ধরনের সমীকরণে পদ্ধতির কার্যকারিতা পরীক্ষা করা

গভীর মূল্যায়ন

সুবিধা

উদ্ভাবনী জ্ঞান সংযোজন প্রক্রিয়া: কঠোর সীমাবদ্ধতার পরিবর্তে সম্ভাব্যতা বিতরণ সংশোধনের মাধ্যমে পটভূমি জ্ঞান ব্যবহারের নতুন চিন্তাভাবনা প্রস্তাব করে
সম্পূর্ণ স্বয়ংক্রিয়করণ প্রক্রিয়া: জ্ঞান নিষ্কাশন থেকে সমীকরণ আবিষ্কার পর্যন্ত প্রান্ত থেকে প্রান্ত স্বয়ংক্রিয়করণ
ব্যাপক পরীক্ষা-নিরীক্ষা যাচাইকরণ: একাধিক ক্লাসিক্যাল সমীকরণে সম্পূর্ণ পরীক্ষা-নিরীক্ষা, শব্দ শক্তিশালীতা বিশ্লেষণ সহ
দৃঢ় তাত্ত্বিক ভিত্তি: সম্ভাব্যতা পরিমাপ জ্যামিতির দৃষ্টিকোণ থেকে পদ্ধতির যুক্তিসঙ্গততা ব্যাখ্যা করে

অপূর্ণতা

গণনা দক্ষতা সমস্যা: বিদ্যমান পদ্ধতির তুলনায় গণনা ওভারহেড বৃহত্তর, বাস্তব প্রয়োগ সীমাবদ্ধ করে
পদ্ধতি জটিলতা: একাধিক উপাদান জড়িত (SymNet, EPDE, সম্ভাব্যতা বিতরণ গণনা), বাস্তবায়ন কঠিনতা বৃদ্ধি করে
পরামিতি সমন্বয় প্রয়োজন: মিশ্রণ ফ্যাক্টর ইত্যাদি মূল পরামিতি নির্দিষ্ট সমস্যার জন্য সমন্বয় প্রয়োজন
সীমিত তাত্ত্বিক বিশ্লেষণ: সংগ্রহ এবং সর্বোত্তমতার তাত্ত্বিক গ্যারান্টি অভাব

প্রভাব

একাডেমিক অবদান: অবকল সমীকরণ আবিষ্কার ক্ষেত্রে জ্ঞান সংযোজনের নতুন প্যারাডাইম প্রদান করে
ব্যবহারিক মূল্য: জটিল, উচ্চ শব্দ ডেটা পরিচালনায় সুবিধা প্রদর্শন করে
পুনরুৎপাদনযোগ্যতা: খোলা উৎস কোড এবং বিস্তারিত পরীক্ষা-নিরীক্ষা সেটআপ প্রদান করে

প্রযোজ্য পরিস্থিতি

এই পদ্ধতি বিশেষভাবে উপযুক্ত:

জটিল অবকল সমীকরণ আবিষ্কার কাজ
উচ্চ শব্দ পরিবেশে সমীকরণ পুনরুদ্ধার
কাঠামোগত নমনীয়তা প্রয়োজন এমন প্রয়োগ পরিস্থিতি
আংশিক পূর্ববর্তী জ্ঞান কিন্তু সম্পূর্ণ কাঠামো অনিশ্চিত এমন পরিস্থিতি

সংদর্ভ

পেপারটি অবকল সমীকরণ আবিষ্কার ক্ষেত্রের প্রধান কাজগুলি উদ্ধৃত করে, যার মধ্যে রয়েছে:

SINDy সিরিজ পদ্ধতি 8, 10, 26, 28
PDE-Net সিরিজ 12, 32
EPDE অ্যালগরিদম 14, 25, 30, 31
প্রতীকী রিগ্রেশন পদ্ধতি 15, 29
জ্ঞান নিষ্কাশন সম্পর্কিত কাজ 1-6, 16-24

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের গবেষণা পেপার যা উদ্ভাবনী জ্ঞান-সচেতন অবকল সমীকরণ আবিষ্কার পদ্ধতি প্রস্তাব করে। যদিও গণনা দক্ষতার ক্ষেত্রে অপূর্ণতা রয়েছে, তবে এর পদ্ধতি উদ্ভাবনী, পরীক্ষা-নিরীক্ষা সম্পূর্ণ এবং ব্যবহারিক প্রভাব চমৎকার, ক্ষেত্রের উন্নয়নে মূল্যবান অবদান রাখে।