GO-Diff: Оптимизация глобальной структуры без данных и амортизированная

Основная информация

• ID статьи: 2510.13448
• Название: GO-Diff: Data-free and amortized global structure optimization
• Авторы: Nikolaj Rønne, Tejs Vegge, Arghya Bhowmik (Технический университет Дании)
• Классификация: physics.comp-ph cond-mat.dis-nn cond-mat.mtrl-sci cs.CE
• Дата публикации: 15 октября 2025 г. (Препринт)
• Ссылка на статью: https://arxiv.org/abs/2510.13448

Аннотация

В данной работе представлен GO-Diff — метод глобальной оптимизации структуры на основе диффузионных моделей, способный напрямую выбирать низкоэнергетические атомные конфигурации без предварительных данных или явной релаксации. GO-Diff обучается с нуля, используя взвешенную по Больцману функцию потерь сопоставления оценок, руководствуясь только известной функцией энергии для направления процесса генерации в термодинамически благоприятные области. Метод использует двухэтапный циклический процесс с самовыборкой и уточнением модели для постепенного повышения способности находить целевые низкоэнергетические структуры. По сравнению с традиционными процедурами оптимизации GO-Diff достигает конкурентных результатов со значительно меньшим количеством оценок энергии. Кроме того, путём переиспользования предварительно обученной модели между связанными системами GO-Diff поддерживает амортизированную оптимизацию — способность быстрее сходиться на новых задачах без переобучения с нуля.

Исследовательский контекст и мотивация

Решаемая проблема

Данное исследование направлено на решение проблемы глобальной оптимизации структуры атомных систем, то есть поиск низкоэнергетических стабильных атомных конфигураций на поверхности потенциальной энергии (ППЭ). Поверхность потенциальной энергии представляет собой высокомерную невыпуклую функцию, отображающую положения атомов на соответствующую потенциальную энергию. Исследование этой поверхности для выявления низкоэнергетических структур является фундаментальной задачей в вычислительной материаловедении, химии и катализе.

Значимость проблемы

Глобальная оптимизация структуры является основой для приложений, начиная от открытия каталитических поверхностей и заканчивая проектированием функциональных материалов:

1. Открытие новых каталитических поверхностей
2. Проектирование функциональных материалов
3. Предсказание стабильных атомных конфигураций
4. Понимание свойств материалов

Ограничения существующих методов

Традиционные методы глобальной оптимизации имеют следующие недостатки:

1. Высокая вычислительная стоимость: методы случайного поиска структур (RSS), прыжки между бассейнами, генетические алгоритмы, имитация отжига и другие методы зависят от локальной релаксации и оптимизаторов на основе градиентов, требующих большого количества оценок энергии и сил
2. Ограничение локальной оптимизацией: легко застревают в локальных оптимумах, что ограничивает исследование сложного энергетического ландшафта
3. Зависимость от данных: машинные межатомные потенциалы требуют тщательно отобранных обучающих данных для захвата релевантных минимумов, иначе могут застрять в самоусиливающихся локальных минимумах
4. Отсутствие переносимости: существующие методы с трудом переиспользуют полученные знания между связанными системами

Исследовательская мотивация

Диффузионные модели показали перспективность в генерации структур молекул и материалов, однако их применение к задачам глобальной оптимизации является сложным, поскольку целью является выборка редких низкоэнергетических конфигураций, соответствующих глобальному минимуму ППЭ, но распределение данных таких структур обычно неизвестно или недоступно.

Основные вклады

1. Предложен метод генеративной оптимизации без данных: прямой выбор минимумов поверхности потенциальной энергии без предварительных данных или явной релаксации
2. Разработана функция потерь с взвешиванием по Больцману: объединяет стратегию отжига для направления выборки в низкоэнергетические области при сохранении исследовательского характера
3. Реализована амортизированная оптимизация: переиспользование знаний путём передачи предварительно обученной модели между связанными системами
4. Подтверждена превосходная эффективность выборки: более высокая эффективность выборки по сравнению с классическими методами поиска

Подробное описание метода

Определение задачи

Входные данные: функция энергии E(x) атомной системы, где x обозначает атомную конфигурацию Выходные данные: низкоэнергетические стабильные атомные конфигурации Цель: выборка из распределения Больцмана: $\pi_T(x) = \frac{\exp(-E(x)/T)}{Z_T}$

Архитектура модели

Цикл обучения

GO-Diff использует циклический процесс с самовыборкой:

1. Модель генерирует атомные структуры посредством обратной диффузии
2. Оценивается энергия сгенерированных структур
3. Полученные образцы используются для уточнения модели

Поддерживается буфер воспроизведения $B = \{(x_0^{(i)}, E^{(i)})\}$ для хранения сгенерированных конфигураций и их энергий.

Сопоставление оценок с взвешиванием по Больцману

Ключевое инновационное решение — функция потерь сопоставления оценок с взвешиванием по Больцману:

$L_{\theta}^{Boltzmann} = E_{t\sim U(0,1)}\left[\lambda(t)E_{x_0\sim q, x_t\sim p_{t|0}(x_t|x_0)} w(E) \|s_\theta(x_t,t) - \nabla_{x_t}\log p_{t|0}(x_t|x_0)\|_2^2\right]$

где вес Больцмана определяется как: $w(E) = \frac{\exp(-E/T)}{\sum_{E^{(i)}\in B} \exp(-E^{(i)}/T)}$

Такая конструкция избегает необходимости прямой выборки из истинного распределения Больцмана посредством выборки по важности.

Стратегия отжига

Температура T отжигается от высокого начального значения к низкому конечному значению, балансируя исследование и использование:

• На ранних этапах: высокая температура способствует широкому исследованию
• На поздних этапах: низкая температура сходится к глубоким минимумам

Направление силовым полем (FFG)

Использует атомные силы, которые обычно доступны вместе с энергией:

1. Присоединяет головку предсказания силы к общему представлению основного ствола сетевой архитектуры оценок
2. Использует предсказанные силы в схеме предсказания-коррекции выборки: $\Delta x = \alpha(1-t)\zeta F_\theta(x)$
3. По мере приближения времени диффузии t→0 член коррекции оказывает большее направляющее воздействие

Технические инновации

1. Прямое взвешивание по Больцману: избегает оценок сил и оценок Монте-Карло, используя прямую функцию потерь сопоставления оценок с взвешиванием по Больцману
2. Самообучение: обучение на собственных генерациях без внешних данных
3. Передача модели: демонстрирует способность передачи предварительно обученной модели между связанными системами
4. Физическое направление: интеграция информации о силовом поле для ускорения сходимости

Экспериментальная установка

Наборы данных

Используется универсальный потенциал MACE-MP0 для двух задач оптимизации атомов:

1. Оптимизация адатома Pt на ступени Pt: 3D система, визуализируемая как 2D путём проецирования вдоль нормали к поверхности
2. Обнаружение гептамера Pt на поверхности Pt(111) 6×6: более сложная система для тестирования и проверки амортизированной оптимизации

Метрики оценки

• Вероятность успеха обнаружения целевой структуры
• Среднее количество оценок энергии, необходимых для обнаружения целевой структуры
• Лучшая энергия в зависимости от времени

Методы сравнения

• Случайный поиск структур (RSS): традиционный метод, реализованный с использованием пакета AGOX
• Варианты GO-Diff: без FFG, с FFG, с передачей модели

Детали реализации

Универсальные гиперпараметры:

• Количество шагов выборки диффузии: 500
• График шума: линейный (VE-SDE)
• Архитектура модели оценок: PaiNN GNN (4 блока), радиус отсечки 6Å
• Финальная температура: 0,02
• Скорость обучения: 10^-4
• Оптимизатор: AdamW

Параметры конкретных задач:

• Адатом Pt: размер буфера 16, 32 образца за итерацию, 10 итераций с экспоненциальным отжигом
• Гептамер Pt: размер буфера 64, 128 образцов за итерацию, 20 итераций с экспоненциальным отжигом

Результаты экспериментов

Основные результаты

Оптимизация адатома Pt

• Успешно продемонстрирована постепенная концентрация выборки в низкоэнергетических бассейнах
• Подтверждена эффективность функции потерь с взвешиванием по Больцману и графика отжига

Обнаружение гептамера Pt

Ключевые выводы

1. Эффективность выборки: GO-Diff достигает лучшей вероятности успеха со значительно меньшим количеством оценок энергии
2. Эффект направления силовым полем: FFG повышает вероятность успеха (с 5/8 до 8/8) и производительность
3. Преимущества трансферного обучения: передача модели сокращает требуемое количество оценок более чем в 2 раза (с 1 667 до 591)
4. Робастность: стохастичность процесса диффузии позволяет GO-Diff робастно выходить из локальных минимумов

Анализ амортизированной оптимизации

Ускорение при трансферном обучении ожидаемо, поскольку передаваемая модель уже захватила предпочтения связей (например, стабильность полых позиций под краем ступени), и задача оптимизации сводится к настройке межатомной геометрии, а не к обучению с нуля.

Связанные работы

Традиционные методы глобальной оптимизации

• Случайный поиск структур, прыжки между бассейнами, генетические алгоритмы, имитация отжига
• Машинные межатомные потенциалы (предварительно обученные или обучаемые в режиме реального времени)

Приложения диффузионных моделей

• Генерация структур молекул и материалов
• Диффузионные модели для чёрного ящика оптимизации (DDOM)
• Пробоотборщики Больцмана (iDEM, BNEM, Adjoint Sampling)

Преимущества данной работы по сравнению с связанными работами

• Избегает оценок Монте-Карло и меток сил
• Более простой и эффективный по выборке цикл обучения
• Впервые демонстрирует способность трансферного обучения между системами

Заключение и обсуждение

Основные выводы

1. GO-Diff является эффективной структурой глобальной оптимизации структуры без данных
2. Функция потерь сопоставления оценок с взвешиванием по Больцману эффективно направляет генерацию низкоэнергетических конфигураций
3. Амортизированная оптимизация посредством передачи модели значительно повышает эффективность
4. Превосходит традиционные методы по эффективности выборки и вероятности успеха

Ограничения

1. Чувствительность к гиперпараметрам: количество образцов, кривая температуры и количество шагов обучения являются критическими гиперпараметрами, требующими тщательной настройки
2. Ограничения масштабируемости: текущие модели атомной диффузии в основном проверены на системах с <20 атомами
3. Размер системы: требуется дальнейшее исследование для адаптации GO-Diff к системам реального размера

Направления будущих исследований

1. Расширение на многоцелевую оптимизацию или оптимизацию композиции
2. Динамическая регулировка температуры и адаптивная выборка
3. Повышение масштабируемости для больших систем
4. Ускорение суррогатом и многоцелевая оптимизация

Глубокая оценка

Достоинства

1. Методологическая инновативность: первое успешное применение диффузионных моделей к глобальной оптимизации структуры без данных
2. Технологическая продвинутость: конструкция функции потерь сопоставления оценок с взвешиванием по Больцману изящна и избегает сложности существующих методов
3. Практическая ценность: амортизированная оптимизация демонстрирует значительные преимущества в практических приложениях
4. Полнота экспериментов: комплексное тестирование на системах различной сложности
5. Теоретическая основа: строгие теоретические выводы, основанные на выборке по важности

Недостатки

1. Ограничение размера системы: проверено только на относительно малых атомных системах (≤20 атомов)
2. Настройка гиперпараметров: метод чувствителен к нескольким гиперпараметрам, что может ограничить его универсальность
3. Ограниченные тесты: сравнение только с RSS, отсутствие сравнения с другими современными методами
4. Недостаточный теоретический анализ: отсутствуют теоретические гарантии сходимости и сложности выборки

Влияние

1. Академический вклад: вводит новую парадигму генеративного моделирования в область глобальной оптимизации
2. Практическая ценность: потенциальные приложения в открытии материалов и проектировании катализаторов
3. Воспроизводимость: предоставляет полный код и детали реализации
4. Вдохновляющее значение: открывает новые направления применения диффузионных моделей к задачам оптимизации

Сценарии применения

1. Открытие материалов: предсказание структуры новых катализаторов и функциональных материалов
2. Поверхностная наука: исследование адсорбционных позиций и поверхностной реконструкции
3. Оптимизация малых молекул: поиск конформаций молекул и проектирование лекарств
4. Системы с существующими аналогами: особенно подходит для сценариев, требующих многократной оптимизации на похожих системах

Библиография

Данная работа ссылается на 38 релевантных источников, охватывающих ключевые области глобальной оптимизации, диффузионных моделей и машинных потенциалов, обеспечивая прочную теоретическую основу для развития метода.