2025-11-11T14:46:09.738382

Hierarchical Bayesian Flow Networks for Molecular Graph Generation

Xiong, Chen, Li et al.

Molecular graph generation is essentially a classification generation problem, aimed at predicting categories of atoms and bonds. Currently, prevailing paradigms such as continuous diffusion models are trained to predict continuous numerical values, treating the training process as a regression task. However, the final generation necessitates a rounding step to convert these predictions back into discrete classification categories, which is intrinsically a classification operation. Given that the rounding operation is not incorporated during training, there exists a significant discrepancy between the model's training objective and its inference procedure. As a consequence, an excessive emphasis on point-wise precision can lead to overfitting and inefficient learning. This occurs because considerable efforts are devoted to capturing intra-bin variations that are ultimately irrelevant to the discrete nature of the task at hand. Such a flaw results in diminished molecular diversity and constrains the model's generalization capabilities. To address this fundamental limitation, we propose GraphBFN, a novel hierarchical coarse-to-fine framework based on Bayesian Flow Networks that operates on the parameters of distributions. By innovatively introducing Cumulative Distribution Function, GraphBFN is capable of calculating the probability of selecting the correct category, thereby unifying the training objective with the sampling rounding operation. We demonstrate that our method achieves superior performance and faster generation, setting new state-of-the-art results on the QM9 and ZINC250k molecular graph generation benchmarks.

academic

আণবিক গ্রাফ জেনারেশনের জন্য শ্রেণিবদ্ধ বেয়েসিয়ান ফ্লো নেটওয়ার্ক

মৌলিক তথ্য

পেপার আইডি: 2510.10211
শিরোনাম: Hierarchical Bayesian Flow Networks for Molecular Graph Generation
লেখক: Yida Xiong, Jiameng Chen, Kun Li, Hongzhi Zhang, Xiantao Cai, Wenbin Hu (উহান বিশ্ববিদ্যালয়, কম্পিউটার বিজ্ঞান কলেজ)
শ্রেণীবিভাগ: cs.LG (মেশিন লার্নিং)
প্রকাশনার সময়: ২০২৫ সালের ১১ অক্টোবর (arXiv প্রি-প্রিন্ট)
পেপার লিংক: https://arxiv.org/abs/2510.10211

সারসংক্ষেপ

আণবিক গ্রাফ জেনারেশন মূলত একটি বিভাগীয় উৎপাদন সমস্যা, যার লক্ষ্য পরমাণু এবং রাসায়নিক বন্ধনের বিভাগ পূর্বাভাস দেওয়া। বর্তমানে প্রধান ক্রমাগত বিস্তার মডেলগুলি প্রশিক্ষণ প্রক্রিয়াকে একটি রিগ্রেশন কাজ হিসাবে বিবেচনা করে, ক্রমাগত সংখ্যাসূচক মান পূর্বাভাস দেয়, কিন্তু চূড়ান্ত প্রজন্মে বৃত্তাকার অপারেশনের মাধ্যমে বিভাগীয় বিভাগে রূপান্তরিত করতে হয়। প্রশিক্ষণ প্রক্রিয়ায় বৃত্তাকার অপারেশন অন্তর্ভুক্ত না থাকায়, মডেলের প্রশিক্ষণ উদ্দেশ্য এবং অনুমান প্রক্রিয়ার মধ্যে উল্লেখযোগ্য পার্থক্য রয়েছে, যা অতিফিটিং, কম শেখার দক্ষতা এবং আণবিক বৈচিত্র্য হ্রাস ঘটায়। এই মৌলিক সীমাবদ্ধতা সমাধানের জন্য, লেখকরা GraphBFN প্রস্তাব করেছেন, একটি বেয়েসিয়ান ফ্লো নেটওয়ার্ক-ভিত্তিক শ্রেণিবদ্ধ মোটা-থেকে-সূক্ষ্ম কাঠামো, যা সঠিক বিভাগ নির্বাচনের সম্ভাবনা গণনা করতে সৃজনশীলভাবে সংক্ষিপ্ত বিতরণ ফাংশন প্রবর্তন করে, যা প্রশিক্ষণ উদ্দেশ্য এবং নমুনা বৃত্তাকার অপারেশনকে একীভূত করে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

আণবিক গ্রাফ জেনারেশনে একটি মৌলিক প্রশিক্ষণ-অনুমান অসামঞ্জস্য সমস্যা রয়েছে:

প্রশিক্ষণ পর্যায়: ক্রমাগত বিস্তার মডেলগুলি বিভাগীয় পরমাণু/বন্ধন বিভাগকে ক্রমাগত স্থানে ম্যাপ করে, রিগ্রেশন ক্ষতির মাধ্যমে ক্রমাগত সংখ্যাসূচক পূর্বাভাস অপ্টিমাইজ করে
অনুমান পর্যায়: ক্রমাগত পূর্বাভাস মানগুলিকে বিভাগীয় বিভাগে রূপান্তরিত করতে কঠোর বৃত্তাকার প্রয়োজন
অসামঞ্জস্য: প্রশিক্ষণের সময় বৃত্তাকার নিয়ম বিবেচনা করা হয় না, যার ফলে মডেল বিভাগীয় প্রকৃতি উপেক্ষা করে বিভাগ-অভ্যন্তরীণ পরিবর্তনে অত্যধিক মনোযোগ দেয়

সমস্যার গুরুত্ব

আণবিক গ্রাফ জেনারেশন ওষুধ আবিষ্কারের একটি মূল প্রযুক্তি, যা আণবিক অপ্টিমাইজেশন, ওষুধ-লক্ষ্য বন্ধন সম্পর্কিত পূর্বাভাস ইত্যাদি ডাউনস্ট্রিম কাজকে প্রভাবিত করে
বিদ্যমান পদ্ধতির অসামঞ্জস্য আণবিক বৈচিত্র্য হ্রাস এবং সাধারণীকরণ ক্ষমতা সীমিত করে
এমনকি ক্ষুদ্র রিগ্রেশন বিচ্যুতিও সম্পূর্ণ ভুল শ্রেণীবিভাগ ফলাফল হতে পারে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

বিভাগীয় বিস্তার মডেল: যদিও বিভাগীয় গ্রাফ কাঠামোর জন্য উপযুক্ত, তবে ক্রমাগত প্রতিনিধিত্বের মসৃণতা এবং গতিশীল প্রজন্মের বৈশিষ্ট্য ত্যাগ করে
ক্রমাগত বিস্তার মডেল: প্রশিক্ষণ উদ্দেশ্য এবং অনুমান প্রক্রিয়া বিচ্ছিন্ন, অপ্রাসঙ্গিক বিভাগ-অভ্যন্তরীণ পরিবর্তনে অতিফিটিং করতে সহজ
ঐতিহ্যবাহী বেয়েসিয়ান ফ্লো নেটওয়ার্ক: সমস্ত বিভাগ সম্ভাবনা সিম্পলেক্সে সমান দূরত্বে রয়েছে বলে ধরে নেয়, যার ফলে ধীর সংমিশ্রণ এবং বেশি শব্দ হয়

মূল অবদান

প্রথমবারের জন্য বেয়েসিয়ান ফ্লো নেটওয়ার্ক আণবিক গ্রাফ জেনারেশনে প্রয়োগ করা, শ্রেণিবদ্ধ আণবিক প্রতিনিধিত্বের মাধ্যমে তত্ত্বাবধান বৃদ্ধি প্রভাব
সৃজনশীলভাবে সংক্ষিপ্ত বিতরণ ফাংশন (CDF) প্রবর্তন করা, নির্দিষ্ট মান ফিট করার পরিবর্তে প্রতিটি বিভাগের সম্ভাবনা গণনা করে, প্রশিক্ষণ উদ্দেশ্য এবং নমুনা বৃত্তাকার অপারেশনকে একীভূত করে
শ্রেণিবদ্ধ মোটা-থেকে-সূক্ষ্ম কাঠামো প্রস্তাব করা, বহু-স্কেল গ্রাফ প্রতিনিধিত্বের মাধ্যমে স্থানীয় পরমাণু সংযোগ এবং বৈশ্বিক আণবিক টপোলজি একযোগে ক্যাপচার করে
দ্রুত প্রশিক্ষণ এবং নমুনা বাস্তবায়ন করা, QM9 এবং ZINC250k বেঞ্চমার্কে অত্যাধুনিক কর্মক্ষমতা অর্জন করে, নমুনা পদক্ষেপ উল্লেখযোগ্যভাবে হ্রাস করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

আণবিক গ্রাফ $G = (X, A)$ দেওয়া, যেখানে:

$X \in \{0, \ldots, K_X - 1\}^D$ : $D$ টি পরমাণু বৈশিষ্ট্য ম্যাট্রিক্স, $K_X$ বিভাগ থেকে
$A \in \{0, \ldots, K_A - 1\}^{D \times D}$ : সংলগ্ন ম্যাট্রিক্স, $K_A$ বন্ধন বিভাগের বৈশিষ্ট্য সহ

লক্ষ্য হল প্রকৃত আণবিক বিতরণের সাথে সামঞ্জস্যপূর্ণ নতুন আণবিক গ্রাফ উৎপাদন করতে শিখা।

মডেল আর্কিটেকচার

১. শ্রেণিবদ্ধ মোটা-থেকে-সূক্ষ্ম কাঠামো

বহু-স্কেল প্রতিনিধিত্ব: DiffPool ব্যবহার করে $L$ স্তরের মোটা স্তর তৈরি করে, আণবিক গ্রাফের পিরামিড প্রতিনিধিত্ব তৈরি করে
নিচ থেকে উপরে প্রজন্ম: সবচেয়ে মোটা স্তর থেকে শর্তহীন প্রজন্ম শুরু করে, ক্রমান্বয়ে সম্পূর্ণ পরমাণু গ্রাফে সূক্ষ্ম করে
শর্ত স্থানান্তর: প্রতিটি স্তরের আপ-স্যাম্পলিং মডিউল $\phi_1^{(l)}$ মোটা স্তরের আউটপুটকে সূক্ষ্ম স্তরের শর্ত $c^{(l)}$ -এ রূপান্তরিত করে

২. গ্রাফ প্রতিনিধিত্ব ম্যাপিং

বিভাগীয় $k \in \{0, \ldots, K-1\}$ কে ক্রমাগত স্থান $[-1, 1]$ -এ ম্যাপ করুন:

k_c = (2k + 1)/K - 1  # কেন্দ্র বিন্দু
k_l = k_c - 1/K       # বাম সীমানা  
k_r = k_c + 1/K       # ডান সীমানা

৩. বেয়েসিয়ান ফ্লো নেটওয়ার্ক উপাদান

ইনপুট বিতরণ: গাউসিয়ান বিতরণ ব্যবহার করে মডেল করা

p_I(G|θ) = N(G|μ, ρ^{-1}I)

পাঠানো বিতরণ: গাউসিয়ান শব্দ যোগ করুন

p_S(Y|G; α) = N(Y|G, α^{-1}I)

আউটপুট বিতরণ: CDF এর মাধ্যমে বিভাগীয় সম্ভাবনা গণনা করুন

p_O^{(d)}(k|θ; t) = F(k_r|μ_x^{(d)}, σ_x^{(d)}) - F(k_l|μ_x^{(d)}, σ_x^{(d)})

গ্রহণ বিতরণ:

p_R(Y|θ; t, α) = ∏_{d=1}^D ∑_{k=0}^{K-1} p_O^{(d)}(k|θ; t)N(Y^{(d)}|k_c, α^{-1})

৪. মূল উদ্ভাবন: CDF প্রক্রিয়া

ক্রমাগত বিতরণ এবং বিভাগীয় বিভাগ সংযোগ করতে ছাঁটা সংক্ষিপ্ত বিতরণ ফাংশন ব্যবহার করুন:

F(x|μ_x^{(d)}, σ_x^{(d)}) = {
  0,                    if x ≤ -1
  1,                    if x ≥ 1  
  1/2[1 + erf((x-μ_x^{(d)})/(√2σ_x^{(d)}))], otherwise
}

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

প্রশিক্ষণ-অনুমান সামঞ্জস্য: CDF সরাসরি বিভাগীয় সম্ভাবনা গণনা করে, ক্রমাগত পূর্বাভাস এবং বিভাগীয় বৃত্তাকারের অমিল এড়ায়
অ-সমান দূরত্ব বিভাগ ম্যাপিং: ঐতিহ্যবাহী BFN বিভাগ সমান দূরত্বে ধরে নেওয়ার বিপরীতে, দ্রুত এবং মসৃণ সংমিশ্রণ অনুমতি দেয়
বহু-স্কেল তত্ত্বাবধান: শ্রেণিবদ্ধ কাঠামো বিভিন্ন দানাদারিতায় কাঠামোগত তথ্য প্রদান করে, প্রজন্মের গুণমান বৃদ্ধি করে
শেষ থেকে শেষ অপ্টিমাইজেশন: একীভূত ক্ষতি ফাংশন একযোগে BFN প্রজন্ম ক্ষতি এবং পুলিং ক্ষতি অপ্টিমাইজ করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

QM9: ১৩৪k ছোট অণু সহ কোয়ান্টাম রসায়ন ডেটাসেট
ZINC250k: ২৫০k আপেক্ষিক বৃহত্তর অণু সহ ওষুধ-সদৃশ অণু ডেটাসেট

মূল্যায়ন মেট্রিক্স

বৈধতা সংশোধন ছাড়া: অসংশোধিত বৈধ অণু অনুপাত
অনন্যতা: উৎপাদিত অণুর অনন্যতা অনুপাত
FCD (Fréchet ChemNet দূরত্ব): ChemNet বৈশিষ্ট্য ব্যবহার করে প্রশিক্ষণ সেট এবং প্রজন্ম সেট দূরত্ব
NSPDK MMD: পরমাণু এবং বন্ধন বৈশিষ্ট্য বিবেচনা করে প্রতিবেশী সাব-গ্রাফ জোড়া দূরত্ব কার্নেল সর্বোচ্চ গড় বৈষম্য

তুলনা পদ্ধতি

একাধিক অত্যাধুনিক বেসলাইন অন্তর্ভুক্ত:

প্রবাহ মডেল: MoFlow
বিস্তার মডেল: EDP-GNN, GDSS, DiGress, GSDM
প্রবাহ ম্যাচিং: Dirichlet FM, CatFlow
শক্তি মডেল: GraphEBM

বাস্তবায়ন বিবরণ

নমুনা পদক্ষেপ: GraphBFN ১০০×L পদক্ষেপ ব্যবহার করে (L স্তরের সংখ্যা), বেসলাইনের ৪০০-১০০০ পদক্ষেপের চেয়ে উল্লেখযোগ্যভাবে কম
বহু-স্কেল ক্ষতি ভারসাম্য পরামিতি: λ₁, λ₂
ন্যূনতম সময় থ্রেশহোল্ড: t_min = 10⁻⁵

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	QM9 বৈধ.↑	QM9 অনন্য↑	QM9 FCD↓	QM9 NSPDK↓	ZINC250k বৈধ.↑	ZINC250k অনন্য↑	ZINC250k FCD↓	ZINC250k NSPDK↓	নমুনা পদক্ষেপ
GDSS	95.72	98.46	2.565	0.0033	97.12	99.64	14.032	0.0192	1000
CatFlow	99.81	99.95	0.441	0.0029	99.21	100.00	13.211	0.0207	-
GraphBFN	99.60	99.97	0.214	0.0008	96.00	100.00	5.743	0.0069	100×L

মূল অনুসন্ধান:

FCD মেট্রিক ৫১.৫% উন্নতি, NSPDK মেট্রিক ৭২.৪% উন্নতি
উল্লেখযোগ্যভাবে কম নমুনা পদক্ষেপে সর্বোত্তম কর্মক্ষমতা অর্জন করে
সর্বোচ্চ অনন্যতা অর্জন করে, উৎকৃষ্ট বৈচিত্র্য প্রতিফলিত করে

বিলোপন পরীক্ষা

GraphBFN বনাম GraphBFN_w/o (শ্রেণিবদ্ধ তত্ত্বাবধান ছাড়া):

শ্রেণিবদ্ধ কাঠামো সমস্ত মেট্রিক্সে উন্নতি প্রদান করে
যদিও কিছু নমুনা গতি ত্যাগ করে, তবে প্রজন্মের গুণমান উল্লেখযোগ্যভাবে উন্নত করে

নমুনা দক্ষতা বিশ্লেষণ

প্রথম ৫০ পদক্ষেপে উৎকৃষ্ট কর্মক্ষমতা
৪০০-১০০০ পদক্ষেপের প্রয়োজন বেসলাইন পদ্ধতির তুলনায়, GraphBFN মাত্র ১০০ পদক্ষেপে চমৎকার প্রভাব অর্জন করে
অনুমান সময়ের প্রতি সংবেদনশীল অ্যাপ্লিকেশন দৃশ্যের জন্য উপযুক্ত

উপসংহার এবং আলোচনা

প্রধান উপসংহার

প্রশিক্ষণ-অনুমান অসামঞ্জস্য সমস্যা সফলভাবে সমাধান করা: CDF প্রক্রিয়ার মাধ্যমে ক্রমাগত প্রশিক্ষণ এবং বিভাগীয় নমুনা একীভূত করা
প্রজন্মের গুণমান উল্লেখযোগ্যভাবে উন্নত করা: মান বেঞ্চমার্কে অত্যাধুনিক কর্মক্ষমতা অর্জন করা
নমুনা দক্ষতা ব্যাপকভাবে উন্নত করা: নমুনা পদক্ষেপ বেসলাইন পদ্ধতির ১/৪-১/১০ এ হ্রাস করা
আণবিক বৈচিত্র্য বৃদ্ধি করা: অপ্রাসঙ্গিক বিভাগ-অভ্যন্তরীণ পরিবর্তনে অতিফিটিং এড়ানো

সীমাবদ্ধতা

ব্যাখ্যাযোগ্যতা বিশ্লেষণ অপর্যাপ্ত: বহু-স্কেল তথ্য কীভাবে প্রজন্মের ফলাফল অপ্টিমাইজ করে তার গভীর বিশ্লেষণের অভাব
প্রযোজ্য পরিসীমা সীমাবদ্ধ: প্রধানত আপেক্ষিক ছোট আণবিক ডেটাসেটে যাচাই করা
গণনা জটিলতা: শ্রেণিবদ্ধ কাঠামো নির্দিষ্ট গণনা ওভারহেড যোগ করে

ভবিষ্যত দিকনির্দেশনা

বৃহত্তর এবং আরও জটিল গ্রাফ ডোমেনে সম্প্রসারণ করা
শর্তসাপেক্ষ প্রজন্ম কাজের অ্যাপ্লিকেশন অন্বেষণ করা
ব্যাখ্যাযোগ্যতা বিশ্লেষণ বৃদ্ধি করা
গণনা দক্ষতা অপ্টিমাইজ করা

গভীর মূল্যায়ন

সুবিধা

তাত্ত্বিক অবদান উল্লেখযোগ্য: ক্রমাগত বিস্তার মডেলের মৌলিক সমস্যা চিহ্নিত এবং সমাধান করা
প্রযুক্তিগত উদ্ভাবন বিশিষ্ট: CDF প্রক্রিয়া চতুরভাবে ক্রমাগত প্রশিক্ষণ এবং বিভাগীয় অনুমান সংযোগ করে
পরীক্ষামূলক যাচাইকরণ ব্যাপক: সম্পূর্ণ তুলনা পরীক্ষা এবং বিলোপন গবেষণা
ব্যবহারিক মূল্য উচ্চ: দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে, ব্যবহারিক অ্যাপ্লিকেশনের জন্য উপযুক্ত

অপূর্ণতা

তাত্ত্বিক বিশ্লেষণ গভীরতা: সংমিশ্রণ বৈশিষ্ট্য এবং তাত্ত্বিক গ্যারান্টির বিশ্লেষণ সীমিত
পরীক্ষামূলক স্কেল: প্রধানত মাঝারি-ছোট স্কেল ডেটাসেটে যাচাই করা, বৃহৎ-স্কেল যাচাইকরণের অভাব
গণনা ওভারহেড: শ্রেণিবদ্ধ কাঠামোর অতিরিক্ত গণনা খরচ বিশ্লেষণ অপর্যাপ্ত
হাইপারপ্যারামিটার সংবেদনশীলতা: মূল হাইপারপ্যারামিটারের সংবেদনশীলতা বিশ্লেষণ যথেষ্ট বিস্তারিত নয়

প্রভাব

একাডেমিক অবদান: বিভাগীয় প্রজন্ম কাজের জন্য নতুন সমাধান চিন্তাভাবনা প্রদান করে
ব্যবহারিক মূল্য: ওষুধ আবিষ্কার প্রক্রিয়া ত্বরান্বিত করতে পারে
পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা স্পষ্ট, পুনরুৎপাদনের জন্য সুবিধাজনক
প্রচার সম্ভাবনা: কাঠামো অন্যান্য বিভাগীয় কাঠামো প্রজন্ম কাজে প্রসারিত করা যায়

প্রযোজ্য দৃশ্য

ওষুধ আবিষ্কার: আণবিক ডিজাইন এবং অপ্টিমাইজেশন
উপকরণ বিজ্ঞান: নতুন উপকরণ কাঠামো প্রজন্ম
রাসায়নিক তথ্যবিজ্ঞান: যৌগ লাইব্রেরি সম্প্রসারণ
অন্যান্য বিভাগীয় কাঠামো প্রজন্ম: যেমন প্রোটিন, DNA ক্রম ইত্যাদি

তথ্যসূত্র

পেপারটি এই ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করেছে, যার মধ্যে রয়েছে:

Graves et al. (2023): বেয়েসিয়ান ফ্লো নেটওয়ার্কের মূল কাজ
Vignac et al. (2023): DiGress বিভাগীয় বিস্তার পদ্ধতি
Jo, Lee, and Hwang (2022): GDSS স্কোর বিস্তার মডেল
Ying et al. (2018): DiffPool শ্রেণিবদ্ধ গ্রাফ পুলিং পদ্ধতি

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার, যা আণবিক গ্রাফ প্রজন্মে মূল সমস্যা সফলভাবে চিহ্নিত এবং সমাধান করে। উদ্ভাবনী CDF প্রক্রিয়া এবং শ্রেণিবদ্ধ কাঠামোর মাধ্যমে, তাত্ত্বিক কঠোরতা বজায় রেখে ব্যবহারিক কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করে। যদিও তাত্ত্বিক বিশ্লেষণ গভীরতা এবং পরীক্ষামূলক স্কেলে উন্নতির অবকাশ রয়েছে, তবে এর অবদান এই ক্ষেত্রের উন্নয়ন চালিত করার জন্য যথেষ্ট।