2025-11-12T02:07:28.338293

Lightweight Joint Optimization of General-Purpose Vision-Language Models and Retrievers for RAG-Based Medical Diagnosis

Mazor, Hope
Retrieving relevant visual and textual information from medical literature and hospital records can enhance diagnostic accuracy for clinical image interpretation. We develop a multimodal retrieval model jointly optimized with an LVLM for medical diagnosis, unlike standard RAG which doesn't backpropagate LVLM errors to the retriever. Using only general-purpose backbones with lightweight fine-tuning, our model achieves competitive results with medically-pretrained models on clinical classification and VQA tasks. In a novel analysis, we find that different top-retrieved images often yield different predictions for the same target, and that these cases are challenging for all models, even for non-retrieval models. Our joint retrieval optimization significantly improves these cases over standard RAG. However, oracle analysis reveals that while the correct diagnosis is frequently achievable using one of the top retrieved images, in practice there is a large performance gap from the oracle, and rerankers using frontier LVLMs do not close this gap -- leaving ample room for improvement by future methods. Code available at https://github.com/Nirmaz/JOMED.
academic

सामान्य-उद्देश्य दृष्टि-भाषा मॉडल और RAG-आधारित चिकित्सा निदान के लिए पुनर्प्राप्तकर्ताओं का हल्का संयुक्त अनुकूलन

बुनियादी जानकारी

  • पेपर ID: 2508.17394
  • शीर्षक: Lightweight Joint Optimization of General-Purpose Vision-Language Models and Retrievers for RAG-Based Medical Diagnosis
  • लेखक: Nir Mazor, Tom Hope (हिब्रू विश्वविद्यालय यरूशलेम & Allen Institute for AI)
  • वर्गीकरण: cs.CV
  • प्रकाशन समय: 25 अक्टूबर 2025 (arXiv v3)
  • पेपर लिंक: https://arxiv.org/abs/2508.17394v3

सारांश

यह पेपर एक बहु-विधा पुनर्प्राप्ति मॉडल विकसित करता है जो चिकित्सा निदान के लिए बड़े दृष्टि-भाषा मॉडल (LVLM) के साथ संयुक्त रूप से अनुकूलित है। मानक RAG के विपरीत, यह विधि LVLM की त्रुटियों को पुनर्प्राप्तकर्ता में वापस प्रसारित करती है। केवल सामान्य-उद्देश्य बैकबोन और हल्के सूक्ष्म-ट्यूनिंग का उपयोग करते हुए, मॉडल नैदानिक वर्गीकरण और दृश्य प्रश्नोत्तर कार्यों पर चिकित्सा-पूर्व-प्रशिक्षित मॉडल के साथ प्रतिस्पर्धी परिणाम प्राप्त करता है। अनुसंधान से पता चलता है कि विभिन्न शीर्ष पुनर्प्राप्त छवियां अक्सर एक ही लक्ष्य के लिए विभिन्न भविष्यवाणियां देती हैं, और ये मामले सभी मॉडल के लिए चुनौतीपूर्ण हैं। संयुक्त पुनर्प्राप्ति अनुकूलन इन मामलों में महत्वपूर्ण सुधार करता है, लेकिन oracle विश्लेषण से पता चलता है कि अभी भी बहुत सुधार की गुंजाइश है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

चिकित्सा छवि निदान नैदानिक निर्णय लेने का एक मौलिक घटक है, और बड़े दृष्टि-भाषा मॉडल (LVLMs) चिकित्सा निदान में व्यापक रूप से अन्वेषण किए जा रहे हैं। LVLM के चिकित्सा क्षेत्र में प्रदर्शन में सुधार के लिए, पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) को अपनाया गया है और आशाजनक परिणाम दिखाए गए हैं।

अनुसंधान प्रेरणा

  1. मानक RAG की सीमाएं: पारंपरिक RAG विधि में, पुनर्प्राप्तकर्ता और LVLM स्वतंत्र रूप से अनुकूलित होते हैं, LVLM की त्रुटियों को पुनर्प्राप्तकर्ता में वापस प्रसारित नहीं किया जाता है
  2. चिकित्सा पूर्व-प्रशिक्षण की संसाधन-गहनता: चिकित्सा क्षेत्र में पूर्व-प्रशिक्षण प्रक्रिया विशाल संसाधन खपत करती है, हल्के विकल्पों की खोज की आवश्यकता है
  3. पुनर्प्राप्ति असंगति समस्या: विभिन्न पुनर्प्राप्ति उम्मीदवार एक ही प्रश्न के लिए विभिन्न भविष्यवाणियां कर सकते हैं, जो मॉडल विश्वसनीयता को प्रभावित करता है

मौजूदा विधियों की सीमाएं

  • पारंपरिक बहु-विधा RAG सेटअप में पुनर्प्राप्तकर्ता और LVLM अलग से प्रशिक्षित होते हैं
  • प्रतिस्पर्धी प्रदर्शन प्राप्त करने के लिए बड़े पैमाने पर चिकित्सा पूर्व-प्रशिक्षण की आवश्यकता होती है
  • पुनर्प्राप्ति असंगति समस्या का व्यवस्थित विश्लेषण अभाव है

मुख्य योगदान

  1. संयुक्त अनुकूलन ढांचा: JOMED विधि प्रस्तावित करता है जो चिकित्सा वर्गीकरण और दृश्य प्रश्नोत्तर कार्यों के लिए बहु-विधा पुनर्प्राप्तकर्ता और LVLM को संयुक्त रूप से अनुकूलित करता है
  2. हल्का सूक्ष्म-ट्यूनिंग रणनीति: केवल सामान्य-उद्देश्य बैकबोन का उपयोग करते हुए, चिकित्सा पूर्व-प्रशिक्षण के बिना, हल्के सूक्ष्म-ट्यूनिंग के माध्यम से प्रतिस्पर्धी प्रदर्शन प्राप्त करता है
  3. प्रत्यक्ष डाउनस्ट्रीम कार्य अनुकूलन: पूर्व-प्रशिक्षण की आवश्यकता वाली पूर्व संयुक्त अनुकूलन के विपरीत, डाउनस्ट्रीम कार्यों पर सीधे संयुक्त अनुकूलन करता है
  4. पुनर्प्राप्ति असंगति विश्लेषण: "असंगत पुनर्प्राप्ति भविष्यवाणी" समस्या की पहचान और विश्लेषण करता है, प्रभावी समाधान प्रस्तावित करता है

विधि विवरण

कार्य परिभाषा

चिकित्सा छवि और निदान प्रश्न दिए गए, सिस्टम को चिकित्सा साहित्य और अस्पताल रिकॉर्ड से प्रासंगिक दृश्य और पाठ जानकारी पुनर्प्राप्त करनी चाहिए, फिर पुनर्प्राप्त जानकारी और प्रश्न छवि के आधार पर सटीक निदान उत्तर उत्पन्न करना चाहिए।

मॉडल आर्किटेक्चर

समग्र ढांचा

JOMED में दो मुख्य घटक हैं:

  1. बहु-विधा पुनर्प्राप्तकर्ता: दोहरे-सिर आर्किटेक्चर के साथ, पाठ पुनर्प्राप्ति सिर और छवि पुनर्प्राप्ति सिर सहित
  2. रीडर (Reader): बड़ा दृष्टि-भाषा मॉडल, पुनर्प्राप्त उम्मीदवारों का विश्लेषण करने और उत्तर उत्पन्न करने के लिए जिम्मेदार

प्रशिक्षण रणनीति

दो-चरण अनुक्रमिक प्रशिक्षण अपनाता है:

चरण 1: रीडर पुनर्प्राप्ति-संवर्धित सूक्ष्म-ट्यूनिंग

  • उद्देश्य: डेटासेट पर रीडर के प्रदर्शन में सुधार, रीडर को पुनर्प्राप्त (छवि, पाठ) जोड़ी का प्रभावी ढंग से उपयोग करना सिखाता है
  • हानि फ़ंक्शन: नकारात्मक लॉग-संभावना हानि
L(θ) = -∑∑ log p_θ(a_d | z_k ◦ q_d)

चरण 2: अनुक्रमिक बहु-विधा पुनर्प्राप्तकर्ता सूक्ष्म-ट्यूनिंग

  • रीडर को जमे हुए रखता है, पुनर्प्राप्तकर्ता के एम्बेडिंग स्पेस को अनुकूलित करता है
  • LVLM पश्च वितरण और पुनर्प्राप्तकर्ता वितरण के बीच अंतर को कम करने के लिए KL विचलन का उपयोग करता है

तकनीकी नवाचार

1. दोहरे-सिर पुनर्प्राप्ति आर्किटेक्चर

  • पाठ पुनर्प्राप्ति सिर: पाठ समानता के आधार पर प्रासंगिक (छवि, पाठ) जोड़ी पुनर्प्राप्त करता है
  • छवि पुनर्प्राप्ति सिर: दृश्य समानता के आधार पर प्रासंगिक जोड़ी पुनर्प्राप्त करता है

2. अनुकूलित पुनर्प्राप्ति हानि

खुले-अंत प्रश्नों के लिए, o3 मॉडल का उपयोग करके उन्हें बंद-अंत प्रश्नों में परिवर्तित करता है, प्रशिक्षण प्रभावकारिता में सुधार करता है:

KL(p_LVLM^C || p_RETR) = ∑ p_LVLM^C(z_k) log(p_LVLM^C(z_k) / p_RETR(z_k))

3. अनुमान समय संलयन रणनीति

अंतिम आउटपुट संभावना पुनर्प्राप्ति उम्मीदवारों का भारित संलयन है:

p_LVLM(a|q) = ∑ p_LVLM(a|z_k ◦ q) · p_R(z_k|q)

प्रायोगिक सेटअप

डेटासेट

वर्गीकरण कार्य

  • BreastMNIST: स्तन अल्ट्रासाउंड इमेजिंग, द्विआधारी वर्गीकरण (546 प्रशिक्षण नमूने)
  • DermaMNIST: वर्णक त्वचा घाव, बहु-वर्ग (7,007 प्रशिक्षण नमूने)
  • RetinaMNIST: रेटिना फंडस छवि, बहु-वर्ग (1,080 प्रशिक्षण नमूने)
  • VinDr-PCXR: बाल छाती एक्स-रे, बहु-लेबल 15 वर्ग (7,728 प्रशिक्षण नमूने)
  • BRSET: ब्राजील नेत्र विज्ञान डेटासेट, बहु-लेबल 14 वर्ग (11,386 प्रशिक्षण नमूने)

दृश्य प्रश्नोत्तर कार्य

  • VQA-RAD: रेडियोलॉजी VQA (1,753 प्रशिक्षण प्रश्न)
  • SLAKE-English: द्विभाषी चिकित्सा VQA अंग्रेजी उपसमुच्चय (4,920 प्रशिक्षण प्रश्न)
  • PathVQA: पैथोलॉजी VQA (19,700 प्रशिक्षण प्रश्न)

पुनर्प्राप्ति सूचकांक

PMC-OA, MIMIC-CXR और ROCO से बाहरी सूचकांक का निर्माण, चिकित्सा छवियां और संबंधित कैप्शन/रिपोर्ट सहित।

मूल्यांकन मेट्रिक्स

  • वर्गीकरण कार्य: सटीकता (ACC) और मैक्रो F1 स्कोर
  • VQA कार्य: बंद-अंत प्रश्नों के लिए सटीक मिलान, खुले-अंत प्रश्नों के लिए टोकन रिकॉल दर

तुलना विधियां

  • RAG आधारभूत: MMed-RAG, RAD, मानक सूक्ष्म-ट्यूनिंग RAG
  • चिकित्सा पूर्व-प्रशिक्षित मॉडल: BiomedGPT, LLaVA-Med वेरिएंट, MedVInT, InternVL वेरिएंट
  • सामान्य-उद्देश्य बैकबोन: Pixtral (12B), Qwen2-VL (7B)

प्रायोगिक परिणाम

मुख्य परिणाम

वर्गीकरण कार्य प्रदर्शन

पांच चिकित्सा वर्गीकरण बेंचमार्क पर, JOMED सभी तुलना विधियों को लगातार पार करता है:

मॉडलBreastDermaRetinaVinDr-PCXRBRSETऔसत
MMed-RAG85%/84%75%/30%63%/46%55%/11%42%/30%64%/40%
FT RAG (Qwen2-VL)85%/82%71%/42%62%/48%55%/9%48%/27%64%/42%
JOMED (Qwen2-VL)87%/84%76%/50%65%/50%57%/14%49%/37%67%/47%
JOMED (Pixtral)90%/87%80%/62%60%/51%56%/14%51%/37%67%/50%

VQA कार्य प्रदर्शन

दृश्य प्रश्नोत्तर कार्यों पर भी महत्वपूर्ण सुधार प्राप्त करता है:

मॉडलVQA-RADSLAKEPathVQAऔसत
MMed-RAG74%/39%87%/81%90%/31%84%/50%
JOMED (Qwen2-VL)79%/48%90%/84%93%/38%87%/57%
JOMED (Pixtral)76%/45%90%/84%90%/36%85%/55%

चिकित्सा पूर्व-प्रशिक्षित मॉडल के साथ तुलना

JOMED चिकित्सा पूर्व-प्रशिक्षण के बिना बड़े पैमाने पर चिकित्सा पूर्व-प्रशिक्षित मॉडल के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है:

  • Breast डेटासेट: JOMED (Pixtral) 90% vs GSCo 93%
  • Derma डेटासेट: JOMED (Pixtral) 80% vs MedVInT-TD 80%
  • VQA कार्य: SLAKE और PathVQA पर LLaVA-Med वेरिएंट से मेल खाता है या उससे आगे निकलता है

विलोपन प्रयोग

विभिन्न घटकों की आवश्यकता को सत्यापित करता है:

  1. पाठ पुनर्प्राप्ति सिर: FT RAG की तुलना में 2-3 प्रतिशत अंक सुधार
  2. छवि पुनर्प्राप्ति सिर: आगे 1-2 प्रतिशत अंक सुधार
  3. अनुकूलित पुनर्प्राप्ति हानि: मानक भ्रम हानि से बेहतर

असंगत पुनर्प्राप्ति भविष्यवाणी विश्लेषण

समस्या पहचान

"असंगत पुनर्प्राप्ति भविष्यवाणी" घटना की खोज की गई: एक ही प्रश्न छवि के लिए, विभिन्न पुनर्प्राप्ति उम्मीदवार विभिन्न भविष्यवाणियां देते हैं। ये मामले विभिन्न डेटासेट में 3%-93% तक भिन्न होते हैं।

प्रदर्शन सुधार

JOMED असंगत भविष्यवाणी मामलों पर महत्वपूर्ण सुधार प्राप्त करता है:

  • Qwen2-VL: सटीकता में +12% सुधार, F1 में +13% सुधार
  • Pixtral: सटीकता और F1 दोनों में +9% सुधार

Oracle विश्लेषण

Oracle विश्लेषण से पता चलता है कि सही उत्तर अक्सर शीर्ष पुनर्प्राप्ति छवियों में मौजूद होता है, लेकिन वास्तविक प्रदर्शन oracle से काफी अलग है, जो भविष्य के अनुसंधान के लिए सुधार की गुंजाइश छोड़ता है।

संबंधित कार्य

पुनर्प्राप्ति-संवर्धित संयुक्त अनुकूलन

  • ATLAS: सामान्य क्षेत्र में बड़े पैमाने पर पूर्व-प्रशिक्षण का संयुक्त अनुकूलन
  • REVEAL: बहु-विधा सेटअप तक विस्तार, बड़ी मात्रा में पूर्व-प्रशिक्षण की आवश्यकता
  • यह पेपर चिकित्सा क्षेत्र में प्रत्यक्ष डाउनस्ट्रीम कार्य संयुक्त अनुकूलन की पहली खोज

चिकित्सा बहु-विधा पुनर्प्राप्ति-संवर्धित

  • RAD: पुनर्प्राप्ति-आधारित वर्गीकरण विधि
  • MMed-RAG: बहु-विधा RAG ढांचा, चिकित्सा पूर्व-प्रशिक्षित पुनर्प्राप्तकर्ता का उपयोग करता है
  • PMC-VQA श्रृंखला: चिकित्सा दृश्य निर्देश ट्यूनिंग विधि

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. हल्का संयुक्त अनुकूलन प्रभावी: चिकित्सा पूर्व-प्रशिक्षण के बिना प्रतिस्पर्धी प्रदर्शन प्राप्त करता है
  2. पुनर्प्राप्ति असंगति व्यापक रूप से मौजूद: यह एक महत्वपूर्ण लेकिन अनदेखी समस्या है
  3. प्रत्यक्ष डाउनस्ट्रीम अनुकूलन व्यवहार्य: डेटा-कुशल संयुक्त अनुकूलन की व्यवहार्यता को प्रमाणित करता है

सीमाएं

  1. अनुक्रमिक अनुकूलन न कि अंत-से-अंत: ग्रेडिएंट एक साथ पुनर्प्राप्तकर्ता और रीडर के बीच प्रवाहित नहीं हो सकते
  2. मूल्यांकन सीमा सीमित: मुख्य रूप से वर्गीकरण और VQA पर केंद्रित, रिपोर्ट पीढ़ी का मूल्यांकन नहीं किया गया
  3. विशेषज्ञ मोडलिटी कवरेज अधूरा: PET, माइक्रोस्कोपी, OCT आदि विशेषज्ञ मोडलिटी पर मूल्यांकन नहीं किया गया

भविष्य की दिशाएं

  1. अंत-से-अंत संयुक्त अनुकूलन: सच्ची अंत-से-अंत प्रशिक्षण रणनीति विकसित करता है
  2. बेहतर पुनः-रैंकिंग विधियां: oracle प्रदर्शन के साथ अंतर को कम करता है
  3. अधिक कार्यों तक विस्तार: रिपोर्ट पीढ़ी जैसे कार्यों पर अनुप्रयोग की खोज करता है

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार मजबूत: चिकित्सा क्षेत्र में प्रत्यक्ष डाउनस्ट्रीम कार्य हल्के संयुक्त अनुकूलन की पहली बार प्राप्ति
  2. प्रायोगिक डिजाइन व्यापक: कई डेटासेट, कई कार्य प्रकार, व्यापक तुलना विधियां शामिल
  3. विश्लेषण गहन: पुनर्प्राप्ति असंगति समस्या की पहचान और व्यवस्थित विश्लेषण
  4. व्यावहारिक मूल्य उच्च: संसाधन-गहन चिकित्सा पूर्व-प्रशिक्षण प्रक्रिया से बचता है

कमियां

  1. सैद्धांतिक विश्लेषण अपर्याप्त: संयुक्त अनुकूलन प्रभावी क्यों है इसका सैद्धांतिक व्याख्या अभाव
  2. अनुक्रमिक प्रशिक्षण सीमा: सच्चा अंत-से-अंत अनुकूलन नहीं है
  3. Oracle अंतर बड़ा: वास्तविक प्रदर्शन सैद्धांतिक सीमा से स्पष्ट रूप से अलग है

प्रभाव

  1. शैक्षणिक योगदान: चिकित्सा AI के लिए नया हल्का प्रशिक्षण प्रतिमान प्रदान करता है
  2. व्यावहारिक मूल्य: चिकित्सा AI प्रणाली की तैनाती के लिए बाधा को कम करता है
  3. पुनरुत्पादनीयता: पूर्ण कोड और प्रायोगिक विवरण प्रदान करता है

लागू परिदृश्य

  • संसाधन-सीमित चिकित्सा संस्थानों द्वारा AI निदान प्रणाली की तैनाती
  • विशिष्ट चिकित्सा केंद्र डेटा वितरण के अनुकूल होने की आवश्यकता वाले परिदृश्य
  • चिकित्सा AI अनुसंधान में तेजी से प्रोटोटाइप विकास

संदर्भ

पेपर संबंधित कार्यों का व्यापक उद्धरण करता है, जिसमें शामिल हैं:

  • पुनर्प्राप्ति-संवर्धित पीढ़ी के शास्त्रीय कार्य (ATLAS, REVEAL आदि)
  • चिकित्सा दृष्टि-भाषा मॉडल (LLaVA-Med, BiomedGPT आदि)
  • बहु-विधा पुनर्प्राप्ति विधियां (PMC-CLIP, BiomedCLIP आदि)

समग्र मूल्यांकन: यह चिकित्सा AI क्षेत्र में एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है जो नवीन हल्के संयुक्त अनुकूलन विधि प्रस्तावित करता है। पेपर का तकनीकी योगदान स्पष्ट है, प्रायोगिक डिजाइन कठोर है, विश्लेषण गहन है, और चिकित्सा AI के व्यावहारिक अनुप्रयोग के लिए मूल्यवान समाधान प्रदान करता है। विशेष रूप से, पुनर्प्राप्ति असंगति समस्या की खोज और विश्लेषण भविष्य के अनुसंधान के लिए महत्वपूर्ण दिशा निर्दिष्ट करता है।