Улучшение дистилляции рассуждений с длинной цепью через самоанализ с учетом ошибок

Основная информация

• ID статьи: 2505.22131
• Название: Enhancing Long-Chain Reasoning Distillation through Error-Aware Self-Reflection
• Авторы: Zhuoyang Wu, Xinze Li, Zhenghao Liu, Yukun Yan, Zhiyuan Liu, Minghe Yu, Cheng Yang, Yu Gu, Ge Yu, Maosong Sun
• Категория: cs.CL (Вычислительная лингвистика)
• Дата публикации: май 2025 г. (препринт ArXiv)
• Ссылка на статью: https://arxiv.org/abs/2505.22131

Аннотация

Большие языковые модели (LLM) демонстрируют мощные способности рассуждения и превосходную производительность при решении математических задач. В последнее время дистилляция способностей рассуждения из цепочек мыслей (Chain-of-Thought, CoT) стала эффективным методом улучшения малых языковых моделей (SLM). Существующие исследования обычно используют SLM в качестве модели-ученика и применяют контролируемую тонкую настройку (SFT) с длинными цепочками CoT в качестве сигналов контроля для передачи способностей рассуждения. Однако эти длинные цепочки CoT от учителя обычно не учитывают возможности модели-ученика, что ограничивает эффективное использование траекторий рассуждения. Для преодоления этого ограничения в данной работе предлагается фреймворк ORION (Error-aware self-Reflection for Improving Reasoning distillatION), который уточняет CoT учителя через процесс самоанализа с учетом ошибок. ORION позволяет модели-ученику строить более адаптированные CoT учителя путем уточнения CoT учителя и интеграции собственных ошибок рассуждения. Эксперименты на нескольких эталонах математического рассуждения показывают, что ORION достигает улучшения производительности более чем на 2% по сравнению со всеми базовыми методами.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование: как эффективно дистиллировать способности рассуждения с длинной цепью из больших моделей рассуждения в малые языковые модели, особенно при решении математических задач.

Важность проблемы

1. Ограничения вычислительных ресурсов: Хотя большие модели рассуждения показывают отличную производительность, их развертывание дорогостоящее, требуется передача способностей в более легкие модели
2. Разрыв в способностях рассуждения: Малые модели плохо справляются со сложными математическими задачами рассуждения, требуется эффективный метод передачи знаний
3. Потребности практического применения: Образование, научные исследования и другие области требуют математических систем рассуждения, которые одновременно эффективны и точны

Ограничения существующих методов

1. Отсутствие осведомленности о способностях: В традиционных методах дистилляции длинные цепочки CoT, генерируемые учителем, не учитывают фактический уровень способностей модели-ученика
2. Проблема пассивного обучения: Модель-ученик может только пассивно принимать слишком сложные шаги рассуждения, что затрудняет интериоризацию эффективных паттернов рассуждения
3. Недостаточное использование ошибок: Существующие методы недостаточно используют информацию об ошибках самой модели-ученика для улучшения процесса обучения

Исследовательская мотивация

Вдохновленные цитатой Джорджа Бернарда Шоу "Успех заключается не в том, чтобы никогда не ошибаться, а в том, чтобы не повторять одну и ту же ошибку", авторы предлагают использовать информацию об ошибках модели-ученика для руководства процессом уточнения CoT, генерируя таким образом сигналы контроля, более подходящие для обучения модели-ученика.

Основные вклады

1. Предложение фреймворка ORION: Впервые механизм самоанализа с учетом ошибок введен в дистилляцию рассуждений с длинной цепью, позволяя модели-ученику уточнять CoT учителя на основе собственных ошибок
2. Разработка двухэтапной стратегии обучения: Включает этап обнаружения ошибок и этап уточнения рассуждения, систематически используя ошибки модели-ученика
3. Достижение значительного улучшения производительности: Превосходит все базовые методы более чем на 2% на нескольких эталонах математического рассуждения (GSM-Hard, MATH500, AIME24, AMC23)
4. Предоставление глубокого анализа: Доказано, что CoT, генерируемый ORION, имеет более высокую согласованность и логическую последовательность, процесс обучения более стабилен

Подробное описание метода

Определение задачи

Дана математическая задача q, целью является обучение малой языковой модели Ms способности генерировать точное решение. Входные данные представляют собой описание задачи, выходные данные — полное решение, содержащее процесс рассуждения и окончательный ответ.

Архитектура модели

1. Обзор традиционных методов дистилляции

Vanilla SFT: Прямое контролируемое обучение с использованием вручную аннотированных меток ответов

J = -∑(i=1 to n)∑(t=1 to |Li|) P(Li_t|Li_<t, InstructQA(qi); θ)

Дистилляция рассуждений с длинной цепью: Использование CoT, генерируемого учителем, в качестве сигналов контроля

o = Mt(InstructQA(q))
J = -∑(i=1 to n)∑(t=1 to |oi|) P(oi_t|oi_<t, InstructQA(qi); θ)

2. Разработка фреймворка ORION

Этап первый: Обнаружение ошибок (Error Exposure)

• Для каждой задачи qi генерируются K кандидатов решений с использованием различных температур τ:

Yi ~ SampleτM(s(InstructQA(qi)))

• Отбираются ошибочные решения для построения набора ошибок:

Yi_err = {yi_k | Ans(yi_k) ≠ Li}

Этап второй: Уточнение рассуждения (Reasoning Refinement)

• Модель-ученик уточняет CoT учителя на основе ошибочных решений:

õi_k = Ms(InstructRef(q, yi_k, oi))

• Построение уточненного набора данных для обучения:

D̃ = ⋃(i=1 to n) D̃i, where D̃i = {(qi, õi_k) | Ans(õi_k) = Li}

Технические инновации

1. Механизм с учетом ошибок: Впервые систематически используется информация об ошибках модели-ученика в дистилляции CoT
2. Уточнение через самоанализ: Модель-ученик активно участвует в построении данных для обучения, а не пассивно их принимает
3. Проектирование адаптации способностей: Генерируемые CoT лучше соответствуют способностям обучения модели-ученика, сокращая разрыв между учителем и учеником

Экспериментальная установка

Наборы данных

• Данные для обучения: 10 000 случайно выбранных образцов из набора данных OpenR1-Math-220k
• Наборы данных для оценки:
  • GSM-Hard: 1 319 математических задач с повышенной сложностью вычислений
  • MATH500: 500 задач математических соревнований
  • AIME24: 30 задач американского математического приглашительного конкурса
  • AMC23: 40 задач американского математического конкурса

Метрики оценки

• Acc@1: Точность при однократной выборке
• Acc@10: Лучшая точность при 10 выборках

Методы сравнения

1. Базовые методы с нулевыми примерами: Vanilla LLM, Wrong-of-Thought
2. Базовые методы SFT: SFT(Label), SFT(Long-CoT)
3. Варианты абляции: ORION w/o Solution Error, ORION w/o Self-Reflection

Детали реализации

• Базовые модели: Qwen2.5-7B, Qwen3-8B, Llama3.1-8B
• Конфигурация обучения: Скорость обучения 5×10^-5, накопление градиентов 8 шагов, обучение на 3 эпохах
• Стратегия оптимизации: Использование LoRA для эффективного обучения

Результаты экспериментов

Основные результаты

На всех наборах данных для тестирования ORION значительно превосходит базовые методы:

Результаты Qwen3-8B-Instruct:

Ключевые находки:

1. ORION показывает среднее улучшение на 2.38% по сравнению с самым сильным базовым методом SFT(Long-CoT)
2. Наблюдается последовательное улучшение на всех базовых моделях
3. Улучшение более чем на 5% по сравнению с методом подсказок с учетом ошибок Wrong-of-Thought

Эксперименты абляции

Выводы анализа:

• Механизм самоанализа обеспечивает улучшение производительности примерно на 1.5%
• Интеграция информации об ошибках обеспечивает дополнительное улучшение примерно на 0.86%
• Оба компонента дополняют друг друга, совместный эффект оптимален

Анализ стабильности обучения

Анализ значений энтропии показал:

1. Значения энтропии в процессе обучения ORION значительно ниже и более стабильны
2. Механизм самоанализа эффективно способствует более стабильному процессу обучения
3. Добавление информации об ошибках дополнительно снижает энтропию обучения

Оценка качества генерации

Длина рассуждения: CoT, генерируемый ORION, примерно на 40% короче, чем у базовых методов, эффективно смягчая проблему чрезмерного размышления

Оценка перплексии: ORION достигает перплексии 16.9 на Qwen3, значительно ниже, чем 24.8 у SFT(Long-CoT)

Оценка предпочтения GPT-4: ORION получает 44.2% показатель победы, примерно в два раза выше, чем у других методов

Анализ типов ошибок

При анализе 500 ошибочных образцов обнаружено:

• Ошибки рассуждения составляют 46.5%, являясь основным типом ошибок
• ORION достигает 41.5% успеха в исправлении ошибок рассуждения, значительно превосходя базовый показатель 15.5%
• Также наблюдается явное улучшение при ошибках понимания и вычислительных ошибках

Связанные работы

Исследования математического рассуждения

1. Методы подсказок CoT: Wei et al. (2022) предложили цепочку мыслей, которая значительно улучшила способности математического рассуждения
2. Развитие моделей рассуждения: Специализированные модели рассуждения, такие как DeepSeek-R1, показывают превосходную производительность на математических задачах

Исследования дистилляции знаний

1. Традиционная дистилляция: Прямое использование выходных данных учителя в качестве сигналов контроля
2. Дистилляция рассуждения: Работы Hsieh et al. (2023) и других исследуют передачу способностей рассуждения

Обучение с учетом ошибок

1. Методы исправления ошибок: An et al. (2023) предложили использование ошибочных решений для обучения
2. Инновация данной работы: Впервые механизм с учетом ошибок введен в процесс уточнения CoT

Заключение и обсуждение

Основные выводы

1. Эффективность ORION: Достигает последовательного и значительного улучшения производительности на нескольких эталонах математического рассуждения
2. Обоснованность механизма: Механизм самоанализа с учетом ошибок может генерировать данные для обучения, более подходящие для модели-ученика
3. Улучшение обучения: По сравнению с традиционными методами обучение ORION более стабильно, качество генерации выше

Ограничения

1. Вычислительные затраты: По-прежнему зависит от мощных закрытых моделей рассуждения для генерации начальных CoT, вычислительные затраты значительны
2. Ограничения модели учителя: Основано главным образом на DeepSeek-R1, недостаточно исследованы эффекты других моделей рассуждения
3. Ограничение области применения: В настоящее время проверено главным образом на задачах математического рассуждения, эффективность на других задачах рассуждения требует дальнейшей проверки

Направления будущих исследований

1. Исследование более эффективных методов генерации CoT для снижения зависимости от закрытых моделей
2. Расширение на больше задач рассуждения и областей
3. Исследование более детальных стратегий классификации и обработки ошибок

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые систематически используется информация об ошибках модели-ученика для уточнения CoT, идея оригинальна
2. Полные эксперименты: Проведена всесторонняя оценка на нескольких наборах данных и нескольких базовых моделях
3. Глубокий анализ: Не только сообщаются числовые показатели производительности, но и проводится анализ с нескольких углов, включая стабильность обучения и качество генерации
4. Хорошая воспроизводимость: Предоставлены подробные детали реализации и открытый исходный код

Недостатки

1. Недостаточный теоретический анализ: Отсутствует теоретическое объяснение того, почему механизм с учетом ошибок эффективен
2. Отсутствие анализа вычислительных затрат: Не проведен подробный анализ дополнительных вычислительных затрат ORION по сравнению с базовыми методами
3. Обработка типов ошибок: Стратегии обработки различных типов ошибок относительно просты, возможны улучшения

Влияние

1. Академическая ценность: Предоставляет новое направление исследований для дистилляции способностей рассуждения
2. Практическая ценность: Метод относительно прост в реализации, имеет хорошие перспективы применения
3. Вдохновляющее значение: Идея с учетом ошибок может быть применима к другим задачам NLP

Сценарии применения

1. Образовательные приложения: Может использоваться для построения систем математического наставничества
2. Научные инструменты: Подходит для сценариев исследований, требующих способностей математического рассуждения
3. Среды с ограниченными ресурсами: Имеет ценность в сценариях, где вычислительные ресурсы ограничены, но требуются способности рассуждения

Список литературы

1. Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. NeurIPS.
2. An, S., et al. (2023). Learning from mistakes makes llm better reasoner. ArXiv preprint.
3. Hsieh, C.-Y., et al. (2023). Distilling step-by-step! outperforming larger language models with less training data and smaller model sizes. ACL Findings.
4. DeepSeek-AI, et al. (2025). Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning. ArXiv preprint.

Предложенный в данной статье фреймворк ORION умело использует информацию об ошибках модели-ученика для улучшения процесса дистилляции способностей рассуждения и представляет собой инновационный и практический вклад. Хотя в теоретическом анализе и анализе вычислительных затрат еще есть место для улучшения, основная идея обладает хорошей вдохновляющей ценностью и потенциалом распространения.