2025-11-23T14:31:17.888154

Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models

Shim, Ju, Park et al.
Recent advancements in large language models (LLMs) have shown strong performance in natural language understanding and generation tasks. However, LLMs continue to encounter challenges with hallucinations, where models generate plausible but incorrect information. While several factors contribute to hallucinations, the impact of ill-formed prompts, prompts with ambiguous wording, incorrect grammar, or incomplete information, was relatively under explored. To address this, we introduce Multi-stage Prompt Refinement (MPR), a framework designed to systematically improve these ill-formed prompts across multiple stages. Each stage addresses specific errors such as punctuation, typographical mistakes, and misuse of key terms, using small language models (SLMs) fine-tuned for these tasks. MPR iteratively enhances the clarity of prompts with additional context and employs a self-reflection mechanism with ranking to prioritize the most relevant input. Experimental results on hallucination benchmarks show that prompts refined by MPR achieve over an 85~\% win rate compared to their original forms, demonstrating its effectiveness in reducing hallucinations and improving LLM output accuracy. Interestingly, we reveal that MPR can be combined with existing post-hoc hallucination mitigation frameworks, further enhancing its versatility. MPR provides a lightweight and adaptable solution for enhancing LLM reliability across various domains.
academic

Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models

基本信息

  • 论文ID: 2510.12032
  • 标题: Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models
  • 作者: Jung-Woo Shim, Yeong-Joon Ju, Ji-Hoon Park, Seong-Whan Lee
  • 机构: Korea University, Department of Artificial Intelligence
  • 分类: cs.CL cs.AI cs.LG
  • 发表时间: 2025年10月14日 (arXiv)
  • 论文链接: https://arxiv.org/abs/2510.12032

摘要

大型语言模型在自然语言理解和生成任务中表现出色，但仍面临幻觉问题，即生成看似合理但实际错误的信息。虽然多种因素导致幻觉，但格式不良的提示（包含模糊措辞、语法错误或信息不完整）的影响相对未被充分探索。本文提出了多阶段提示优化框架(MPR)，通过多个阶段系统性地改进这些格式不良的提示。每个阶段使用针对特定任务微调的小型语言模型，解决标点符号、拼写错误和关键词误用等具体问题。MPR通过迭代增强提示清晰度，并采用自反思机制和排序来优先选择最相关的输入。实验结果显示，经MPR优化的提示相比原始形式获得超过85%的胜率，有效减少了幻觉并提高了LLM输出准确性。

研究背景与动机

问题定义

大型语言模型虽然在多项NLP任务中表现优异，但面临一个关键挑战：幻觉问题，即模型生成看似合理但实际错误的信息。这在医疗、教育等关键领域尤为危险，准确信息传达至关重要。

现有方法局限性

当前缓解幻觉的方法主要集中在：

  1. 模型架构调整：修改LLM内部机制，但计算成本高昂
  2. 后处理技术：在生成后验证内容，增加了系统复杂性和延迟
  3. 强化学习微调：需要大量计算资源，难以实时应用

这些方法通常忽视了一个重要因素：用户提示的质量。格式不良的提示直接导致不准确的输出，但现有解决方案往往依赖大型模型或计算密集型技术。

研究动机

本文认为，通过系统性地优化输入提示质量，可以从源头减少幻觉问题。相比于修改模型架构或后处理输出，提示优化是一种更轻量级、更具扩展性的解决方案。

核心贡献

  1. 提出MPR框架：首个系统性解决格式不良提示导致幻觉问题的多阶段优化框架
  2. 轻量级设计：使用小型语言模型(SLMs)而非大型模型，显著降低计算成本
  3. 模型无关性：可与任何LLM架构无缝集成，具有高度适应性
  4. 综合评估：在多个数据集上验证有效性，胜率超过85%
  5. 兼容性验证：证明可与现有后处理幻觉缓解方法结合使用，进一步提升性能

方法详解

任务定义

输入：格式不良的用户提示（包含标点错误、拼写错误、语法问题、术语误用等） 输出：经过多阶段优化的高质量提示 目标：减少LLM生成内容中的幻觉，提高输出准确性和相关性

模型架构

MPR框架包含三个主要阶段：

阶段1：错误检测与分类

使用专门微调的SLM识别提示中的错误类型，将其分类为：

  • Stage 1错误：基础标点和大小写错误
  • Stage 2错误：拼写和语法错误
  • Stage 3错误：语义模糊和术语误用

阶段2：多阶段提示清洗

根据错误类型，使用相应的专业化SLM进行修正：

Stage 1: 标点符号修正

输入: "what is the caPital of fRAnce?"
输出: "What is the capital of France?"

Stage 2: 拼写和语法修正

输入: "See from spaiin moroco?"
输出: "Can you see Spain from Morocco?"

Stage 3: 语义对齐和改写

输入: "Tell me about transformers"
输出: "Can you explain how Transformer-based neural networks work?"

阶段3：迭代描述生成

  • 描述生成：为模糊术语添加上下文信息
  • 自反思验证：评估描述的充分性和简洁性
  • 困惑度排序：选择最连贯和相关的描述
  • 智能集成：仅在必要时添加描述，提高效率

技术创新点

  1. 分阶段处理策略：不同类型错误需要不同处理方法，分阶段处理更精确有效
  2. 小模型专业化：每个SLM针对特定任务微调，在保持效率的同时确保质量
  3. QLoRA微调技术：使用4位量化低秩适应，减少内存需求同时保持性能
  4. 自适应描述生成：根据需要动态生成描述，避免不必要的计算开销

实验设置

数据集

训练数据构建：

  • OLM Wikipedia数据集：10,000个语法完美条目用于标点和语法优化
  • CoEdIT数据集：专注于流畅性、连贯性和风格的非语义改变编辑
  • MQR数据集：2,114对改写问题，用于语义等价转换训练
  • Magpie数据集：300,000个关键词-描述对，用于术语解释生成

评估数据集：

  • Well-formed Query数据集：8,000个格式质量评分低于0.5的用户查询
  • GSM8K：数学问题数据集
  • SQuAD：阅读理解数据集
  • Natural Questions：自然问题数据集

破坏策略：为充分测试框架，人为引入三个级别的错误：

  • Stage 1：基础标点错误
  • Stage 2：拼写和语法错误
  • Stage 3：技术术语和缩写错误

评价指标

  • 幻觉指数(HI)：量化生成内容的事实准确性（0-1，越低越好）
  • 内容质量评分(CQS)：衡量相关性、连贯性和整体质量（0-1，越高越好）
  • 胜率(WR)：MPR优化提示相比原始提示的表现优势百分比
  • 处理时间(T)：框架处理效率评估

对比方法

  • SelfCheckGPT：零资源黑盒幻觉检测方法
  • CoVE：验证链方法
  • DRESS：基于自然语言反馈的对齐方法
  • MixAlign：知识对齐方法

实现细节

  • 硬件：训练使用NVIDIA RTX A6000 GPU，推理使用NVIDIA TITAN V GPU
  • 微调方法：QLoRA（4位量化低秩适应）
  • 评估器：GPT-3.5-turbo API作为主要评判标准

实验结果

主要结果

在Well-formed Query数据集上的表现：

模型破坏级别HI ↓CQS ↑WR ↑
基线-0.810.52-
LLaMA-2 (7B)Stage 10.26 (-0.55)0.80 (+0.28)91%
LLaMA-2 (7B)Stage 30.48 (-0.33)0.60 (+0.08)86%
平均表现-0.37 (-0.44)0.68 (+0.16)86%

关键发现

  1. 一致性改进：MPR在所有测试模型和数据集上都显示出显著改进
  2. 破坏级别相关性：破坏程度越高，MPR的改进效果越明显
  3. 模型规模效应：较大模型（如LLaMA-3.2）从MPR的描述生成步骤中获益更多
  4. 跨领域有效性：在数学(GSM8K)、阅读理解(SQuAD)、问答(NQ)等不同任务中均有效

消融实验

配置HI ↓CQS ↑WR ↑
完整MPR0.140.8393%
无描述生成0.200.7889%
无多阶段清洗0.240.7486%
无迭代排序0.210.7587%

结果表明每个组件都对整体性能有重要贡献，其中多阶段清洗是最关键的组件。

与现有方法对比

框架HI ↓CQS ↑WR ↑处理时间(ms)
MPR0.180.8191%1215
SelfCheckGPT0.220.7685%1541
SelfCheckGPT + MPR0.140.8594%1478

MPR不仅单独表现优异，与现有方法结合时效果更佳。

相关工作

幻觉缓解方法

现有方法主要分为三类：

  1. 架构修改：调整模型内部机制，计算成本高
  2. 后处理验证：生成后验证内容，增加延迟
  3. 强化学习：奖励事实响应，需要大量计算资源

小型语言模型应用

SLMs在特定任务上通过微调可达到优异性能，特别适合：

  • 资源受限环境
  • 实时应用
  • 特定领域任务

提示优化技术

传统方法包括：

  • LLM改写提示（计算成本高）
  • 强化学习迭代改进
  • 人工干预优化

MPR通过使用小型模型实现了轻量级的提示优化。

结论与讨论

主要结论

  1. 有效性验证：MPR在减少幻觉和提高输出质量方面表现出色
  2. 轻量级设计：相比现有方法显著降低计算成本
  3. 广泛适用性：可与多种LLM架构和现有缓解方法结合
  4. 实用价值：为实际应用提供了可扩展的解决方案

局限性

  1. 领域特异性：在法律、医学等专业领域可能表现不佳
  2. 评估指标局限：现有指标未完全捕捉用户满意度和流畅性
  3. 自动化程度：虽然全自动化，但可能受益于人在回路系统

未来方向

  1. 领域专业化：开发针对特定领域的微调策略
  2. 多模态扩展：将框架扩展到图像-文本等多模态环境
  3. 人机协作：集成人类反馈机制
  4. 评估体系：开发更全面的用户中心评估方法

深度评价

优点

  1. 创新性强：首次系统性地从提示质量角度解决幻觉问题
  2. 设计合理：多阶段处理策略针对不同错误类型，精准有效
  3. 实用性高：轻量级设计使其在资源受限环境中可行
  4. 实验充分：在多个数据集和模型上进行了全面评估
  5. 兼容性好：可与现有方法结合，进一步提升效果

不足

  1. 领域局限：在专业领域的表现有待验证
  2. 语言限制：主要针对英语，多语言支持未明确
  3. 复杂度评估：虽然声称轻量级，但多阶段处理仍有一定复杂度
  4. 长期效应：未评估在长对话或复杂任务中的表现

影响力

  1. 学术价值：为幻觉缓解提供了新的研究方向
  2. 实用价值：为实际LLM部署提供了可行的优化方案
  3. 可复现性：方法描述详细，易于复现和改进
  4. 扩展性：框架设计具有良好的扩展潜力

适用场景

  • 资源受限环境：边缘设备、移动应用
  • 实时系统：需要快速响应的交互系统
  • 质量敏感应用：教育、客服等对准确性要求高的场景
  • 现有系统升级：作为插件集成到现有LLM系统中

参考文献

本文引用了27篇重要参考文献，涵盖了大型语言模型、幻觉检测、提示工程、小型模型应用等相关领域的最新研究成果，为研究提供了坚实的理论基础。

总体评价：这是一篇高质量的研究论文，提出了创新的解决方案来应对LLM幻觉问题。MPR框架设计精巧，实验全面，结果令人信服。虽然存在一些局限性，但其轻量级和模块化的设计使其具有很高的实用价值和扩展潜力。