2025-11-11T12:19:09.903876

Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation

Ramprasad, Wallace
Modern LLMs can now produce highly readable abstractive summaries, to the point that traditional automated metrics for evaluating summary quality, such as ROUGE, have saturated. However, LLMs still sometimes introduce inaccuracies into summaries, i.e., information inconsistent with or unsupported by the corresponding source. Measuring the occurrence of these often subtle factual inconsistencies automatically has proved challenging. This in turn has motivated development of metrics intended to measure the factual consistency of generated summaries against sources. But are these approaches measuring what they purport to? Or are they mostly exploiting artifacts? In this work, we stress test a range of automatic factuality metrics, including specialized models and LLM-based prompting methods, to probe what they actually capture. Using a shallow classifier to separate ``easy'' examples for factual evaluation where surface features suffice from ``hard'' cases requiring deeper reasoning, we find that all metrics show substantial performance drops on the latter. Furthermore, some metrics are more sensitive to benign, fact-preserving edits than to factual corrections. Building on this observation, we demonstrate that most automatic factuality metrics can be gamed, i.e., their scores can be artificially inflated by appending innocuous, content-free sentences to summaries. Among the metrics tested, the prompt based ChatGPT-DA approach is the most robust and reliable. However, this comes with a notable caveat: Prompting LLMs to assess factuality may overly rely on their parametric knowledge rather than the provided reference when making judgments. Taken together, our findings call into question the reliability of current factuality metrics and prompt a broader reflection on what these metrics are truly measuring.
academic

क्या स्वचालित तथ्यात्मकता मेट्रिक्स तथ्यात्मकता को मापते हैं? एक महत्वपूर्ण मूल्यांकन

मूल जानकारी

  • पेपर ID: 2411.16638
  • शीर्षक: Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
  • लेखक: Sanjana Ramprasad (Northeastern University), Byron C. Wallace (Northeastern University)
  • वर्गीकरण: cs.CL cs.AI
  • प्रकाशन सम्मेलन: 39th Conference on Neural Information Processing Systems (NeurIPS 2025)
  • पेपर लिंक: https://arxiv.org/abs/2411.16638

सारांश

आधुनिक बड़े भाषा मॉडल अत्यधिक पठनीय सारांश उत्पन्न करने में सक्षम हैं, और परंपरागत स्वचालित सारांश गुणवत्ता मूल्यांकन मेट्रिक्स (जैसे ROUGE) संतृप्त हो गए हैं। हालांकि, LLM अभी भी सारांश में अशुद्धि जानकारी प्रस्तुत करते हैं - अर्थात् स्रोत दस्तावेज़ के साथ असंगत या असमर्थित जानकारी। इन सूक्ष्म तथ्यात्मक असंगतियों को स्वचालित रूप से मापना चुनौतीपूर्ण साबित हुआ है। इसने उत्पन्न सारांश और स्रोत दस्तावेज़ के बीच तथ्यात्मक सामंजस्य को मापने के लिए डिज़ाइन किए गए मेट्रिक्स के विकास को प्रेरित किया। लेकिन क्या ये विधियां वास्तव में वह मापती हैं जो वे दावा करती हैं? या वे मुख्य रूप से सतही विशेषताओं का उपयोग कर रही हैं? यह कार्य स्वचालित तथ्यात्मकता मेट्रिक्स की एक श्रृंखला पर दबाव परीक्षण करता है, जिसमें विशेष मॉडल और LLM-आधारित प्रॉम्प्ट विधियां शामिल हैं, यह जांचने के लिए कि वे वास्तव में क्या पकड़ते हैं। उथले वर्गीकरणकर्ता का उपयोग करके सतही विशेषताओं के साथ "सरल" तथ्य मूल्यांकन नमूनों को गहन तर्क की आवश्यकता वाले "कठिन" मामलों से अलग करके, सभी मेट्रिक्स बाद वाले पर महत्वपूर्ण प्रदर्शन में गिरावट दिखाते हैं। इसके अलावा, कुछ मेट्रिक्स सौम्य तथ्य-संरक्षण संपादन के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं। इस अवलोकन के आधार पर, यह साबित किया जाता है कि अधिकांश स्वचालित तथ्यात्मकता मेट्रिक्स में हेराफेरी की जा सकती है, अर्थात् हानिरहित, सामग्री-रहित वाक्य जोड़कर स्कोर को कृत्रिम रूप से बढ़ाया जा सकता है। परीक्षण किए गए मेट्रिक्स में, प्रॉम्प्ट-आधारित ChatGPT-DA विधि सबसे मजबूत और विश्वसनीय है। हालांकि, यह एक महत्वपूर्ण चेतावनी के साथ आता है: LLM को तथ्यात्मकता का मूल्यांकन करने के लिए प्रॉम्प्ट करना प्रदान किए गए संदर्भ दस्तावेज़ के बजाय इसके पैरामीटर ज्ञान पर अत्यधिक निर्भर हो सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

जैसे-जैसे बड़े भाषा मॉडल सारांश कार्य में उत्कृष्ट प्रदर्शन करते हैं, परंपरागत मूल्यांकन मेट्रिक्स (जैसे ROUGE) संतृप्त हो गए हैं और मॉडल प्रदर्शन को प्रभावी ढंग से अलग नहीं कर सकते। अधिक महत्वपूर्ण रूप से, LLM द्वारा उत्पन्न सारांश, हालांकि प्रवाहपूर्ण और पठनीय हैं, अभी भी "मतिभ्रम" समस्या से ग्रस्त हैं - स्रोत दस्तावेज़ के साथ असंगत या असमर्थित जानकारी उत्पन्न करना।

समस्या की महत्ता

  1. उच्च जोखिम वाले क्षेत्रों में महत्वपूर्णता: चिकित्सा, कानूनी और अन्य क्षेत्रों में, अशुद्ध जानकारी गंभीर परिणाम दे सकती है
  2. मानव मूल्यांकन की सीमाएं: तथ्यात्मक सामंजस्य का मैनुअल मूल्यांकन महंगा, समय लेने वाला और स्केल करना मुश्किल है
  3. स्वचालन की आवश्यकता: विश्वसनीय स्वचालित तथ्यात्मकता मूल्यांकन मेट्रिक्स की तत्काल आवश्यकता है

मौजूदा विधियों की सीमाएं

मौजूदा स्वचालित तथ्यात्मकता मेट्रिक्स मुख्य रूप से शामिल हैं:

  • निहितार्थ संबंध-आधारित विधियां (जैसे SummaC)
  • प्रश्न-उत्तर-आधारित विधियां (जैसे QuestEval)
  • विशेष रूप से प्रशिक्षित मॉडल (जैसे UniEval, AlignScore, MiniCheck)
  • LLM प्रॉम्प्ट-आधारित विधियां (जैसे ChatGPT-DA)

लेकिन क्या ये विधियां वास्तव में तथ्यात्मक सामंजस्य को मापती हैं, या केवल सतही विशेषताओं पर निर्भर हैं, यह अभी स्पष्ट नहीं है।

अनुसंधान प्रेरणा

यह पेपर मौजूदा तथ्यात्मकता मेट्रिक्स पर व्यवस्थित रूप से दबाव परीक्षण करने, उनकी वास्तविक क्षमताओं और सीमाओं को उजागर करने, और अधिक विश्वसनीय मूल्यांकन विधियों के विकास के लिए मार्गदर्शन प्रदान करने का लक्ष्य रखता है।

मुख्य योगदान

  1. मेट्रिक्स सीमाओं का गहन विश्लेषण: उथले MLP वर्गीकरणकर्ता का उपयोग करके नमूनों को कठिनाई स्तर के अनुसार वर्गीकृत करके, गहन तर्क की आवश्यकता वाले कठिन नमूनों पर सभी मेट्रिक्स में महत्वपूर्ण प्रदर्शन में गिरावट पाई गई
  2. संवेदनशीलता विश्लेषण: अधिकांश मेट्रिक्स सौम्य संपादन (जैसे पुनर्लेखन) के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं
  3. मेट्रिक्स हेराफेरी की संभावना का प्रमाण: यह साबित किया गया कि अधिकांश तथ्यात्मकता मेट्रिक्स हानिरहित वाक्यांश जोड़कर हेराफेरी की जा सकती है
  4. LLM मूल्यांकन सीमाओं की खोज: LLM-आधारित मूल्यांकन विधियां स्रोत दस्तावेज़ के बजाय पैरामीटर ज्ञान पर अत्यधिक निर्भर हैं
  5. व्यावहारिक सुझाव: बेंचमार्क डिज़ाइन और मेट्रिक्स मजबूतता में सुधार के लिए ठोस सुझाव प्रदान करता है

विधि विवरण

कार्य परिभाषा

स्रोत दस्तावेज़ x और उम्मीदवार सारांश y दिए गए, तथ्यात्मकता मेट्रिक m(x,y) एक सतत स्कोर आउटपुट करता है, जो स्रोत दस्तावेज़ के संबंध में सारांश की तथ्यात्मक सामंजस्य की डिग्री को दर्शाता है।

अनुसंधान ढांचा

1. कठिनाई वर्गीकरण विधि

सतही विशेषताओं के आधार पर मानव तथ्यात्मकता लेबल की भविष्यवाणी करने के लिए उथले MLP वर्गीकरणकर्ता का उपयोग:

  • विशेषता सेट: शब्दावली ओवरलैप (ROUGE-2), इकाई ओवरलैप, सिमेंटिक समानता, नवीनता अनुपात, संक्षिप्तता अनुपात
  • वर्गीकरण रणनीति:
    • आसान: भविष्यवाणी सही और उच्च आत्मविश्वास (शीर्ष 80%)
    • मध्यम: भविष्यवाणी सही लेकिन कम आत्मविश्वास, या भविष्यवाणी गलत लेकिन कम आत्मविश्वास (अंतिम 20%)
    • कठिन: भविष्यवाणी गलत और उच्च आत्मविश्वास

2. संवेदनशीलता परीक्षण

GenAudit डेटासेट में असंगत सारांश और उनके मानव-सुधारे गए संस्करणों का उपयोग:

  • तथ्य सुधार: मेट्रिक्स की वास्तविक तथ्य सुधार के प्रति प्रतिक्रिया का परीक्षण
  • सौम्य संपादन: GPT-4 का उपयोग करके तथ्य-संरक्षण वेरिएंट उत्पन्न करना (पुनर्लेखन, सरलीकरण, पुनः क्रमांकन आदि)

3. हेराफेरी संभावना परीक्षण

उच्च-स्कोरिंग सारांश में पैटर्न की पहचान करने के लिए TF-IDF विश्लेषण के माध्यम से:

  • स्थिर वाक्यांश: जैसे "the document discusses"
  • दावा वाक्यांश: जैसे "The summary entails information in the document"

4. पैरामीटर ज्ञान निर्भरता परीक्षण

ConflictBank डेटासेट का उपयोग, जिसमें तथ्यात्मक दावे और संबंधित प्रतिकूल वेरिएंट शामिल हैं, चार शर्तों का परीक्षण:

  • (a) तथ्यात्मक संदर्भ + समर्थित तथ्यात्मक सारांश
  • (b) प्रतिकूल संदर्भ + समर्थित प्रतिकूल सारांश
  • (c) तथ्यात्मक संदर्भ + असमर्थित प्रतिकूल सारांश
  • (d) प्रतिकूल संदर्भ + असमर्थित तथ्यात्मक सारांश

प्रायोगिक सेटअप

डेटासेट

सूक्ष्म-ट्यून किए गए मॉडल और LLM-उत्पन्न सारांश को कवर करता है:

  • सूक्ष्म-ट्यून किए गए मॉडल सारांश: AggreFact (समाचार), FacEval (संवाद)
  • LLM-उत्पन्न सारांश: LLM-AggreFact, GenAudit, LLM-dialogue
  • विकास सेट: AggreFact विकास सेट + GenAudit से XSUM और CNNDM नमूने
  • परीक्षण सेट: शेष डेटासेट के परीक्षण विभाजन

मूल्यांकन मेट्रिक्स

  • AUC: विभिन्न कठिनाई स्तरों पर मेट्रिक्स प्रदर्शन को मापने के लिए
  • स्कोर अंतर: संपादन से पहले और बाद में स्कोर परिवर्तन को मापना
  • सांख्यिकीय महत्व परीक्षण: युग्मित t परीक्षण अंतर महत्व का मूल्यांकन करने के लिए

तुलनात्मक विधियां

छह प्रतिनिधि मेट्रिक्स का परीक्षण:

  • QA-आधारित: QuestEval
  • NLI-आधारित: SummaC-Conv
  • विशेष मॉडल: UniEval, AlignScore, MiniCheck
  • प्रॉम्प्ट-आधारित: ChatGPT-DA (GPT-4o-mini)

प्रायोगिक परिणाम

मुख्य परिणाम

1. कठिनाई वर्गीकरण परिणाम

![कठिनाई वर्गीकरण प्रदर्शन](चित्र 2)

  • आसान नमूने: सभी मेट्रिक्स अच्छा प्रदर्शन करते हैं (AUC 0.61-0.85)
  • मध्यम नमूने: प्रदर्शन में कुछ गिरावट (AUC 0.54-0.73)
  • कठिन नमूने: महत्वपूर्ण प्रदर्शन में गिरावट (AUC 0.47-0.59)

मुख्य निष्कर्ष:

  • परंपरागत मेट्रिक्स (QuestEval, SummaC-Conv) कठिन नमूनों पर सबसे खराब प्रदर्शन करते हैं
  • विशेष मॉडल और प्रॉम्प्ट विधियां अपेक्षाकृत अधिक मजबूत हैं
  • यहां तक कि सर्वश्रेष्ठ मेट्रिक्स भी कठिन नमूनों पर स्पष्ट प्रदर्शन में गिरावट दिखाते हैं

2. संवेदनशीलता विश्लेषण परिणाम

![संवेदनशीलता विश्लेषण](चित्र 3)

  • QuestEval: तथ्य सुधार के प्रति लगभग कोई प्रतिक्रिया नहीं
  • अधिकांश मेट्रिक्स: सौम्य संपादन के प्रति अत्यधिक संवेदनशील, विशेष रूप से नकारात्मक परिवर्तन के प्रति
  • ChatGPT-DA: सबसे मजबूत, वास्तविक सुधार और अप्रासंगिक परिवर्तन के बीच अंतर कर सकता है
  • असामान्य घटना: यादृच्छिक स्रोत वाक्य जोड़ने से स्कोर में वृद्धि अक्सर वास्तविक सुधार से अधिक होती है

3. हेराफेरी संभावना परिणाम

![हेराफेरी संभावना परीक्षण](चित्र 5)

  • स्थिर वाक्यांश प्रभाव: NLI और विशेष मॉडल स्कोर में >0.2 की वृद्धि
  • अतिरिक्त वाक्यांश प्रभाव: स्कोर में 0.1-0.15 की वृद्धि, वास्तविक सुधार के समान हो सकती है
  • ChatGPT-DA: हेराफेरी के प्रति सबसे कम संवेदनशील
  • तुलनात्मक विश्लेषण: हेराफेरी से स्कोर में वृद्धि अक्सर मॉडल सुधार से अधिक होती है

4. पैरामीटर ज्ञान निर्भरता परिणाम

![पैरामीटर ज्ञान परीक्षण](चित्र 4)

  • विभेदकारी क्षमता में गिरावट: प्रतिकूल संदर्भ के तहत समर्थित बनाम असमर्थित सारांश के बीच स्कोर अंतर में महत्वपूर्ण कमी (p<0.001)
  • त्रुटि पूर्वाग्रह: प्रतिकूल संदर्भ के तहत, 3.1% मामलों में असमर्थित सारांश का स्कोर समर्थित सारांश से अधिक है (बनाम तथ्यात्मक संदर्भ का 0.2%)
  • ज्ञान संघर्ष: जब संदर्भ GPT के आंतरिक ज्ञान के साथ संघर्ष करता है, तो मूल्यांकन की विश्वसनीयता प्रभावित होती है

विलोपन प्रयोग

पेपर परिणामों की स्थिरता को सत्यापित करने के लिए कई हेराफेरी रणनीतियों का उपयोग करता है:

  • विभिन्न प्रकार के सौम्य संपादन (पुनर्लेखन, सरलीकरण, पुनः क्रमांकन आदि)
  • कई गेमिफाइड वाक्यांश (आधारभूत वाक्यांश, योग्य वाक्यांश आदि)
  • विभिन्न लंबाई और जटिलता के हेराफेरी पाठ

केस विश्लेषण

तालिका 2 विशिष्ट हेराफेरी मामलों को प्रदर्शित करती है:

मूल सारांश: "The PlayStation 4 was released in the UK on November 29, 2013" (AlignScore: 0.33)
हेराफेरी के बाद: "The PlayStation 4 was released in the UK on November 29, 2013. The summary entails the information the document discusses." (AlignScore: 0.76)

संबंधित कार्य

तथ्यात्मकता मूल्यांकन मेट्रिक्स का विकास

  1. प्रारंभिक विधियां: शब्दावली ओवरलैप पर आधारित सरल मेट्रिक्स
  2. NLI विधियां: निहितार्थ संबंध निर्धारित करने के लिए प्राकृतिक भाषा अनुमान का उपयोग
  3. QA विधियां: प्रश्न-उत्तर प्रणाली के माध्यम से तथ्यों को सत्यापित करना
  4. विशेष मॉडल: तथ्यात्मक सामंजस्य कार्य के लिए प्रशिक्षित मॉडल
  5. LLM विधियां: बड़े मॉडल की तर्क क्षमता का उपयोग

मेटा-मूल्यांकन अनुसंधान

  • Gabriel et al. (2021): त्रुटि प्रकार और आवृत्ति पर ध्यान केंद्रित
  • Chen et al. (2021): प्रतिकूल मेटा-मूल्यांकन
  • Kamoi et al. (2023): QA विधियों की त्रुटि स्थानीयकरण क्षमता

इस पेपर के योगदान की विशिष्टता

मौजूदा कार्य की तुलना में, यह पेपर:

  • सतही विशेषताओं पर मेट्रिक्स निर्भरता का अधिक व्यवस्थित विश्लेषण करता है
  • पहली बार मेट्रिक्स की हेराफेरी संभावना को साबित करता है
  • LLM मूल्यांकन की पैरामीटर ज्ञान निर्भरता समस्या को उजागर करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. सतही विशेषता निर्भरता: गहन तर्क की आवश्यकता वाले नमूनों पर सभी मौजूदा मेट्रिक्स महत्वपूर्ण प्रदर्शन में गिरावट दिखाते हैं, जो सतही विशेषताओं पर अत्यधिक निर्भरता को दर्शाता है
  2. संवेदनशीलता असंतुलन: अधिकांश मेट्रिक्स सौम्य संपादन के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं, जो कैलिब्रेशन समस्या को दर्शाता है
  3. हेराफेरी जोखिम: अधिकांश मेट्रिक्स हानिरहित वाक्यांश जोड़कर आसानी से हेराफेरी की जा सकती है, जो लीडरबोर्ड जैसे परिदृश्यों में इसकी विश्वसनीयता को खतरे में डालता है
  4. LLM मूल्यांकन सीमा: ChatGPT-DA सबसे मजबूत है, लेकिन स्रोत दस्तावेज़ के बजाय पैरामीटर ज्ञान पर अत्यधिक निर्भर है

सीमाएं

  1. हेराफेरी की वितरण-बाहरी प्रकृति: हेराफेरी द्वारा उत्पादित आउटपुट को वितरण-बाहरी माना जा सकता है, लेकिन तथ्यात्मकता मेट्रिक्स को किसी भी दस्तावेज़-सारांश जोड़ी को संभालने में सक्षम होना चाहिए
  2. GPT-4 परिवर्तन की संभावित त्रुटियां: सौम्य संपादन उत्पन्न करने के लिए GPT-4 का उपयोग तथ्यात्मक त्रुटियां पेश कर सकता है, हालांकि लेखकों का मानना है कि यह दुर्लभ है
  3. भाषा सीमा: मुख्य रूप से अंग्रेजी मेट्रिक्स का परीक्षण करता है, बहुभाषी मेट्रिक्स का प्रदर्शन अभी स्पष्ट नहीं है
  4. समाधान की कमी: पेपर मुख्य रूप से समस्याओं को उजागर करता है, ठोस सुधार प्रस्ताव नहीं देता है

भविष्य की दिशाएं

  1. बेंचमार्क सुधार:
    • गहन तर्क की आवश्यकता वाले अधिक कठिन नमूने शामिल करें
    • वर्गीकृत तथ्य गंभीरता एनोटेशन प्रस्तुत करें
    • मिथ्या, विवादास्पद सामग्री आदि विशेष मामले शामिल करें
  2. मेट्रिक्स सुधार:
    • महत्व-जागरूक स्कोरिंग तंत्र विकसित करें
    • सतही विशेषताओं पर निर्भरता कम करें
    • सौम्य संपादन के प्रति मजबूतता बढ़ाएं
  3. LLM मूल्यांकन सुधार:
    • बेहतर स्रोत दस्तावेज़ ग्राउंडिंग तंत्र विकसित करें
    • पैरामीटर ज्ञान पर निर्भरता कम करें
    • तथ्य-जांच कार्य के लिए विशेष रूप से डिज़ाइन करें

गहन मूल्यांकन

शक्तियां

  1. कठोर अनुसंधान डिज़ाइन: बहु-कोणीय, व्यवस्थित दबाव परीक्षण के माध्यम से मौजूदा मेट्रिक्स का व्यापक मूल्यांकन
  2. महत्वपूर्ण खोजें: उजागर की गई समस्याएं क्षेत्र के विकास के लिए महत्वपूर्ण हैं
  3. पद्धति नवाचार: कठिनाई वर्गीकरण, हेराफेरी संभावना परीक्षण आदि विधियां नवीन हैं
  4. पर्याप्त प्रयोग: कई डेटासेट, मेट्रिक्स और परीक्षण परिदृश्य शामिल हैं
  5. स्पष्ट लेखन: समस्या स्पष्ट रूप से व्यक्त की गई है, परिणाम सहज रूप से प्रदर्शित हैं

कमियां

  1. रचनात्मक अपर्याप्तता: मुख्य रूप से समस्याओं को इंगित करता है, ठोस सुधार प्रस्ताव की कमी है
  2. सरल हेराफेरी विधियां: गेमिफाइड रणनीतियां अपेक्षाकृत सरल हैं, वास्तविक अनुप्रयोग में पहचानी जा सकती हैं
  3. सीमित मूल्यांकन रेंज: मुख्य रूप से अंग्रेजी और विशिष्ट प्रकार के सारांश कार्यों पर ध्यान केंद्रित करता है
  4. अपर्याप्त सैद्धांतिक विश्लेषण: घटनाओं के पीछे के कारणों का गहन सैद्धांतिक विश्लेषण नहीं है

प्रभाव

  1. शैक्षणिक मूल्य: तथ्यात्मकता मूल्यांकन क्षेत्र के लिए महत्वपूर्ण प्रतिबिंब प्रदान करता है, नई अनुसंधान दिशाओं को प्रेरित कर सकता है
  2. व्यावहारिक मूल्य: शोधकर्ताओं और व्यावहारिकों को मौजूदा मेट्रिक्स का सावधानीपूर्वक उपयोग करने के लिए सचेत करता है
  3. नीति महत्व: AI सुरक्षा और विश्वसनीयता मूल्यांकन के लिए महत्वपूर्ण निहितार्थ है
  4. पुनरुत्पादनशीलता: प्रयोग डिज़ाइन स्पष्ट है, पुनरुत्पादन और विस्तार में आसान है

लागू परिदृश्य

  1. अनुसंधान मूल्यांकन: शोधकर्ताओं को उपयुक्त तथ्यात्मकता मूल्यांकन मेट्रिक्स चुनने में मदद करता है
  2. सिस्टम विकास: अधिक विश्वसनीय सारांश उत्पन्न प्रणालियों के विकास में मार्गदर्शन देता है
  3. बेंचमार्क निर्माण: अधिक चुनौतीपूर्ण मूल्यांकन बेंचमार्क बनाने के लिए मार्गदर्शन प्रदान करता है
  4. जोखिम मूल्यांकन: उच्च जोखिम वाले क्षेत्रों में AI सिस्टम तैनात करते समय विश्वसनीयता मूल्यांकन में सहायता करता है

संदर्भ

पेपर संबंधित कार्यों के समृद्ध संदर्भ प्रदान करता है, जिसमें शामिल हैं:

  • तथ्यात्मकता मूल्यांकन विधियां: Laban et al. (2022), Scialom et al. (2021), Zhong et al. (2022)
  • बेंचमार्क डेटासेट: Tang et al. (2024), Krishna et al. (2024), Wang et al. (2022)
  • LLM मूल्यांकन: Wang et al. (2023), Luo et al. (2023)
  • मेटा-मूल्यांकन अनुसंधान: Gabriel et al. (2021), Chen et al. (2021)

यह पेपर व्यवस्थित दबाव परीक्षण के माध्यम से मौजूदा स्वचालित तथ्यात्मकता मेट्रिक्स की गंभीर सीमाओं को उजागर करता है, जो क्षेत्र के विकास के लिए महत्वपूर्ण प्रतिबिंब प्रदान करता है। हालांकि मुख्य रूप से समस्याओं को इंगित करता है न कि समाधान प्रदान करता है, लेकिन इसकी खोजें अधिक विश्वसनीय तथ्यात्मकता मूल्यांकन विधियों के विकास को आगे बढ़ाने में महत्वपूर्ण मूल्य रखती हैं।