2025-11-16T09:46:12.577001

ICA-RAG: Information Completeness Guided Adaptive Retrieval-Augmented Generation for Disease Diagnosis

He, Jia, Jia et al.
Retrieval-Augmented Large Language Models (LLMs), which integrate external knowledge, have shown remarkable performance in medical domains, including clinical diagnosis. However, existing RAG methods often struggle to tailor retrieval strategies to diagnostic difficulty and input sample informativeness. This limitation leads to excessive and often unnecessary retrieval, impairing computational efficiency and increasing the risk of introducing noise that can degrade diagnostic accuracy. To address this, we propose ICA-RAG (\textbf{I}nformation \textbf{C}ompleteness Guided \textbf{A}daptive \textbf{R}etrieval-\textbf{A}ugmented \textbf{G}eneration), a novel framework for enhancing RAG reliability in disease diagnosis. ICA-RAG utilizes an adaptive control module to assess the necessity of retrieval based on the input's information completeness. By optimizing retrieval and incorporating knowledge filtering, ICA-RAG better aligns retrieval operations with clinical requirements. Experiments on three Chinese electronic medical record datasets demonstrate that ICA-RAG significantly outperforms baseline methods, highlighting its effectiveness in clinical diagnosis.
academic

ICA-RAG: Informationsvollständigkeit-gesteuerte adaptive Retrieval-Augmented Generation zur Krankheitsdiagnose

Grundinformationen

  • Paper-ID: 2502.14614
  • Titel: ICA-RAG: Information Completeness Guided Adaptive Retrieval-Augmented Generation for Disease Diagnosis
  • Autoren: Jiawei He, Mingyi Jia, Zhihao Jia, Junwen Duan, Yan Song, Jianxin Wang
  • Klassifikation: cs.CL (Computerlinguistik)
  • Veröffentlichungsdatum: arXiv preprint (neueste Version vom 15. Oktober 2025)
  • Paper-Link: https://arxiv.org/abs/2502.14614

Zusammenfassung

Retrieval-augmentierte große Sprachmodelle (RAG-LLMs) zeigen hervorragende Leistungen im Gesundheitswesen durch die Integration externer Wissensdatenbanken, besonders bei klinischen Diagnosen. Allerdings können bestehende RAG-Methoden Abrufstrategien nicht an die Schwierigkeit der Diagnose und die Informationsmenge der Eingabestichproben anpassen, was zu übermäßigen und unnötigen Abrufen führt. Dies beeinträchtigt die Recheneffizienz und erhöht das Risiko, Rauschen einzuführen, wodurch die Diagnosegenauigkeit sinkt. Um dieses Problem zu lösen, wird ICA-RAG (Informationsvollständigkeit-gesteuerte adaptive Retrieval-Augmented Generation) vorgestellt – ein neuer Rahmen zur Verbesserung der Zuverlässigkeit von RAG bei der Krankheitsdiagnose. ICA-RAG nutzt ein adaptives Steuerungsmodul, um die Abrufnotwendigkeit basierend auf der Informationsvollständigkeit der Eingabe zu bewerten und durch optimierte Abrufe und Wissensfiltration die Abrufvorgänge besser mit klinischen Anforderungen abzustimmen. Experimente auf drei chinesischen elektronischen Krankenakten-Datensätzen zeigen, dass ICA-RAG Baseline-Methoden erheblich übertrifft und seine Wirksamkeit bei der klinischen Diagnose unterstreicht.

Forschungshintergrund und Motivation

Problemhintergrund

Große Sprachmodelle sehen sich bei medizinischen Aufgaben zwei großen Herausforderungen gegenüber:

  1. Halluzinationsproblem: Erzeugung von scheinbar plausiblen, aber tatsächlich fehlerhaften Informationen
  2. Kosten der Wissensaktualisierung: Ressourcenintensivität, um medizinisches Wissen aktuell zu halten

Einschränkungen bestehender RAG-Methoden

  1. Mangel an selektiver Abruflogik: Undifferenzierter Abruf für alle Anfragen erhöht Rechen- und Zeitkosten
  2. Einführung von minderwertigen Abrufen: Möglicherweise wird die Leistung durch irrelevante Informationen verschlechtert statt verbessert
  3. Besonderheiten des Gesundheitswesens: Viele häufige Krankheiten oder Fälle mit leichten Symptomen und eindeutiger Diagnose erfordern keinen Abruf für eine genaue Diagnose

Unzulänglichkeiten bestehender adaptiver RAG-Methoden

  1. Methoden basierend auf LLM-Ausgabeverteilung: LLMs neigen zu übermäßigem Selbstvertrauen und erzeugen hohe Konfidenzverteilungen, selbst wenn relevantes Wissen fehlt
  2. Methoden basierend auf Klassifikationsmodellen: Im Gesundheitswesen weisen Eingabetexte typischerweise keine offensichtlichen Strukturmuster auf, und kleine Sprachmodelle haben Schwierigkeiten, die Schwierigkeit der Aufgabe zu verstehen

Kernbeiträge

  1. Vorschlag des ICA-RAG-Rahmens: Ein adaptiver Retrieval-Augmented-Diagnoserahmen ohne Feinabstimmung des Backbone-LLM
  2. Innovative Datenannotationsmethode: Entwurf einer auf Maskierungsoperationen basierenden Annotationsstrategie, um Labelinformationen durch Auslösung unterschiedlicher LLM-Reaktionen zu erhalten
  3. Optimierung des Abrufprozesses: Optimierung des Abrufprozesses für komplexe klinische Szenarien
  4. Experimentelle Validierung: Umfangreiche Experimente auf drei chinesischen EMR-Datensätzen zur Validierung der Rahmeneffektivität

Methodische Details

Aufgabendefinition

Direkte Krankheitsdiagnose: Gegeben eine Tokensequenz x=[x1,x2,...,xn]x = [x_1, x_2, ..., x_n], die den Eingabetext darstellt, kann die LLM-Textgenerierung formalisiert werden als: D^=LLM(Q,prompt)\hat{D} = \text{LLM}(Q, \text{prompt})

RAG-Krankheitsdiagnose: Abruf relevanten Wissens aus externen Wissensquellen und Integration: D^=LLM(Q,d,prompt)\hat{D} = \text{LLM}(Q, d, \text{prompt}) wobei d=Retriever(K,Q)d = \text{Retriever}(K, Q)

Adaptive RAG-Krankheitsdiagnose: Einführung einer Steuerfunktion F zur Bewertung der Eingabe Q:

\text{LLM}(Q, \text{prompt}), & \text{wenn } F(Q) = \langle\text{Aktivieren}\rangle \\ \text{LLM}(Q, d, \text{prompt}), & \text{andernfalls} \end{cases}$$ ### Modellarchitektur Der ICA-RAG-Rahmen besteht aus drei Hauptphasen: #### Phase (a): Optimierung der Abrufentscheidung basierend auf Eingabeinformationsvollständigkeit 1. **Textsegmentierung**: Aufteilung der Eingabe Q in Texteinheiten (standardmäßig Sätze): $Q = \{s_i\}_{i=1}^n$ 2. **Wichtigkeitsklassifikation**: Training eines Klassifikators zur Vorhersage der Wichtigkeit jeder Einheit: $$l_i = \text{Klassifikator}(s_i) \quad \forall i \in \{1, 2, ..., n\}$$ Labels sind in drei Kategorien unterteilt: - A: Kritische Informationen für Diagnoseentscheidungen - B: Informationen, die zum Abruf beitragen, aber nicht direkt zum Ergebnis führen - C: Relativ unwichtige Informationen 3. **Berechnung der Informationsvollständigkeit**: $$I_{\text{norm}}(Q) = \frac{1}{\alpha \cdot n} \sum_{i=1}^n (\alpha \cdot I(l_i = A) + \beta \cdot I(l_i = B) + \gamma \cdot I(l_i = C))$$ #### Phase (b): Abruf basierend auf Dokumentsegmentierung und Zuordnung 1. **Satzstufen-Abruf**: Jeder Satz dient als Abfrage zum Abruf der top-m relevanten Textblöcke 2. **Dokumentstufen-Neuordnung**: Neuordnung basierend auf der Anzahl der abgerufenen Blöcke pro Dokument 3. **Zuordnungsstrategie**: Zuordnung von Textblöcken zurück zu Originaldokumenten und Neuordnung basierend auf Blockzählung #### Phase (c): Wissensfilterung und Diagnosegenerierung durch Prompt-Anleitung Verwendung einer Differentialdiagnose-Prompt-Vorlage zur Filterung irrelevanter Dokumente, um den Differentialdiagnoseprozess des Arztes zu simulieren. ### Technische Innovationen 1. **Informationsvollständigkeitsbewertung**: Umwandlung komplexer Dokumentverständigung in einfache Satzstufen-Aufgaben 2. **Maskierungs-Annotationsstrategie**: Automatische Labelgewinnung durch Sequenzmaskierungsoperationen 3. **Block-Dokument-Zuordnungs-Neuordnung**: Berechnung basierend nur auf Abrufzahlen, reduziert Speicheraufwand 4. **Differentialdiagnose-Filterung**: Simulation des klinischen Differentialdiagnoseprozesses zur Filterung irrelevanter Informationen ## Experimentelle Einrichtung ### Datensätze - **CMEMR**: Chinesischer elektronischer Krankenakten-Datensatz - **ClinicalBench**: Klinischer Benchmark-Datensatz - **CMB-Clin**: Chinesischer medizinischer Benchmark-Klinischer Datensatz Alle Datensätze sind als End-to-End-Diagnoseaufgaben konfiguriert, mit Patienteninformationen als Eingabe und ärztlichen Diagnosekonklusionen als Ground Truth. ### Bewertungsmetriken Verwendung der Internationalen Klassifikation der Krankheiten (ICD-10) zur Standardisierung von Krankheitsbegriffen, mit unscharfem Matching (Schwellenwert 0,5) zur Berechnung von Precision, Recall und F1-Score auf Mengenebene. ### Vergleichsmethoden 1. **Nicht-Abruf-Methoden**: CoT, SC-CoT, ATP 2. **Standard-Abruf-Methoden**: RAG2, LongRAG 3. **Adaptive Abruf-Methoden**: Adaptive-RAG, DRAGIN, SEAKR ### Implementierungsdetails - **Backbone-Modell**: qwen2.5-7B-instruct - **Klassifikator**: BERT-base-Chinese - **Abrufer**: BM25 - **Externe Wissensdatenbank**: CMKD klinische medizinische Wissensdatenbank ## Experimentelle Ergebnisse ### Hauptergebnisse | Methode | CMEMR F1(%) | ClinicalBench F1(%) | CMB-Clin F1(%) | |---------|-------------|---------------------|-----------------| | CoT | 48,82 | 38,46 | 52,14 | | LongRAG | 49,07 | 39,25 | 51,81 | | Adaptive-RAG | 49,27 | 38,04 | 53,44 | | **ICA-RAG** | **50,88** | **40,79** | **53,53** | Wichtigste Erkenntnisse: 1. ICA-RAG erreicht optimale oder nahezu optimale F1-Werte auf allen Datensätzen 2. Im Vergleich zu LongRAG verbessern sich die F1-Werte um 1,81%, 1,54% bzw. 1,72% 3. Signifikant besser als andere adaptive RAG-Methoden ### Ablationsstudien Ablationsergebnisse auf dem CMEMR-Datensatz: | Variante | F1(%) | Rückgang | |----------|-------|----------| | ICA-RAG | 50,88 | - | | o.A. Decision | 48,07 | -2,81% | | o.A. Chunk | 49,78 | -1,10% | | o.A. M-rerank | 49,59 | -1,29% | | o.A. Diff | 49,85 | -1,03% | ### Effizienzanalyse - **Zeiteffizienz**: Signifikante Verbesserung im Vergleich zu nicht-adaptiven RAG-Methoden - **Parametereffizienz**: BERT-Base-Klassifikator (110M Parameter) ist leichter als Adaptive-RAG's T5-Large (770M Parameter) - **Anwendbarkeit**: Kein Zugriff auf LLM-Ausgabewahrscheinlichkeitsverteilung erforderlich, geeignet für geschlossene Modelle und API-Bereitstellung ## Verwandte Arbeiten ### RAG in der klinischen Krankheitsdiagnose - Die meisten Studien verwenden grundlegende Abrufmethoden, indem sie externe Wissensdatenbanken und Aufgabenabfragen mit Einbettungsmodellen kodieren - Wissensdiagramme werden ebenfalls häufig verwendet - Mangel an Optimierungen für die Besonderheiten des Gesundheitswesens ### Adaptive RAG - **FLARE und DRAGIN**: Aktivieren Sie die Suche, wenn das LLM Token mit niedriger Konfidenz erzeugt - **Self-RAG**: Training von Modellen zum dynamischen Abrufen, Kritisieren und Generieren von Text - **Adaptive-RAG**: Bewertung der Abfragekomplexität zur Bestimmung der Abrufnotwendigkeit - Bestehende Methoden konzentrieren sich hauptsächlich auf Frage-Antwort-Aufgaben und lassen sich schwer direkt auf medizinische Diagnosen übertragen ## Schlussfolgerungen und Diskussion ### Hauptschlussfolgerungen ICA-RAG löst effektiv das Problem starrer Abrufstrategien in traditionellen Retrieval-Augmented-Methoden durch adaptive Abrufentscheidungsoptimierung basierend auf Eingabeinformationsvollständigkeit und zeigt starke Anpassungsfähigkeit in komplexen klinischen Szenarien. ### Einschränkungen 1. **Annotationsstrategie-Einschränkungen**: Da Patienteninformationen wiederholte Inhalte enthalten können, kann das LLM nach der Maskierung von Schlüsselsätzen möglicherweise immer noch die richtige Diagnose stellen, was zu ungenauen Annotationslabeln führt 2. **Komplexität medizinischer Texte**: Klinische medizinische Texte enthalten Abkürzungen, Synonyme und Aliase, und unterschiedliche Ärzte dokumentieren auf unterschiedliche Weise, was die Abrufgenauigkeit beeinträchtigt 3. **Bedarf an manueller Überprüfung**: Automatische Annotationsstrategien erfordern immer noch manuelle Überprüfung und Korrektur ### Zukünftige Richtungen 1. Erkundung effektiverer medizinischer Textvorverarbeitungsstrategien zur Verbesserung der Abrufqualität 2. Anwendung von ICA-RAG auf andere medizinische Aufgaben 3. Weitere Optimierung des Abrufprozesses ## Tiefgreifende Bewertung ### Stärken 1. **Starke Innovation**: Erstmals ein adaptiver Abrufentscheidungsmechanismus basierend auf Informationsvollständigkeit vorgeschlagen 2. **Hohe Praktikabilität**: Keine Feinabstimmung des Backbone-LLM erforderlich, starke Anwendbarkeit 3. **Umfangreiche Experimente**: Umfassende Bewertung und Ablationsstudien auf mehreren Datensätzen 4. **Effizienzverbesserung**: Signifikante Verbesserung der Recheneffizienz bei Beibehaltung der Leistung ### Mängel 1. **Datensatz-Einschränkungen**: Validierung nur auf chinesischen EMR-Datensätzen, fehlende sprachübergreifende und bereichsübergreifende Validierung 2. **Annotationsqualität**: Automatische Annotationsstrategie enthält Rauschen und erfordert manuelle Intervention 3. **Schwellenwerteinstellung**: Die Einstellung der Informationsvollständigkeitsschwellenwerte θ₁ und θ₂ mangelt es an theoretischer Anleitung 4. **Abhängigkeit von Wissensdatenbank**: Die Leistung hängt stark von der Qualität der externen Wissensdatenbank ab ### Auswirkungen 1. **Akademischer Beitrag**: Bietet neue Perspektiven für RAG-Anwendungen im medizinischen KI-Bereich 2. **Praktischer Wert**: Kann direkt auf klinische Entscheidungsunterstützungssysteme angewendet werden 3. **Reproduzierbarkeit**: Detaillierte Methodenbeschreibung und klare experimentelle Einrichtung ### Anwendungsszenarien 1. **Klinische Diagnose**: Besonders geeignet für Fälle mit komplexen Symptomen, die eine Differentialdiagnose erfordern 2. **Medizinische Frage-Antwort-Systeme**: Kann die Genauigkeit und Effizienz medizinischer Beratungssysteme verbessern 3. **Medizinische Ausbildung**: Kann als Hilfsmittel für das Lernen von Medizinstudenten dienen ## Literaturverzeichnis Das Paper zitiert 41 verwandte Literaturquellen, die wichtige Arbeiten in mehreren Bereichen abdecken, darunter große Sprachmodelle, Retrieval-Augmented Generation und medizinische KI, und bieten eine solide theoretische Grundlage für die Forschung. --- **Gesamtbewertung**: Dies ist ein hochqualitatives Paper mit wichtigen Beiträgen im Bereich der medizinischen KI. Die Autoren sprechen die Einschränkungen bestehender RAG-Methoden in der medizinischen Diagnose an und schlagen eine innovative Lösung vor, die durch umfangreiche Experimente validiert wird. Trotz einiger Einschränkungen machen seine Innovation und Praktikabilität es zu einem wichtigen Fortschritt in diesem Bereich.