Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
Ramprasad, Wallace
Modern LLMs can now produce highly readable abstractive summaries, to the point that traditional automated metrics for evaluating summary quality, such as ROUGE, have saturated. However, LLMs still sometimes introduce inaccuracies into summaries, i.e., information inconsistent with or unsupported by the corresponding source. Measuring the occurrence of these often subtle factual inconsistencies automatically has proved challenging. This in turn has motivated development of metrics intended to measure the factual consistency of generated summaries against sources. But are these approaches measuring what they purport to? Or are they mostly exploiting artifacts? In this work, we stress test a range of automatic factuality metrics, including specialized models and LLM-based prompting methods, to probe what they actually capture. Using a shallow classifier to separate ``easy'' examples for factual evaluation where surface features suffice from ``hard'' cases requiring deeper reasoning, we find that all metrics show substantial performance drops on the latter. Furthermore, some metrics are more sensitive to benign, fact-preserving edits than to factual corrections. Building on this observation, we demonstrate that most automatic factuality metrics can be gamed, i.e., their scores can be artificially inflated by appending innocuous, content-free sentences to summaries. Among the metrics tested, the prompt based ChatGPT-DA approach is the most robust and reliable. However, this comes with a notable caveat: Prompting LLMs to assess factuality may overly rely on their parametric knowledge rather than the provided reference when making judgments. Taken together, our findings call into question the reliability of current factuality metrics and prompt a broader reflection on what these metrics are truly measuring.
academic
क्या स्वचालित तथ्यात्मकता मेट्रिक्स तथ्यात्मकता को मापते हैं? एक महत्वपूर्ण मूल्यांकन
आधुनिक बड़े भाषा मॉडल अत्यधिक पठनीय सारांश उत्पन्न करने में सक्षम हैं, और परंपरागत स्वचालित सारांश गुणवत्ता मूल्यांकन मेट्रिक्स (जैसे ROUGE) संतृप्त हो गए हैं। हालांकि, LLM अभी भी सारांश में अशुद्धि जानकारी प्रस्तुत करते हैं - अर्थात् स्रोत दस्तावेज़ के साथ असंगत या असमर्थित जानकारी। इन सूक्ष्म तथ्यात्मक असंगतियों को स्वचालित रूप से मापना चुनौतीपूर्ण साबित हुआ है। इसने उत्पन्न सारांश और स्रोत दस्तावेज़ के बीच तथ्यात्मक सामंजस्य को मापने के लिए डिज़ाइन किए गए मेट्रिक्स के विकास को प्रेरित किया। लेकिन क्या ये विधियां वास्तव में वह मापती हैं जो वे दावा करती हैं? या वे मुख्य रूप से सतही विशेषताओं का उपयोग कर रही हैं? यह कार्य स्वचालित तथ्यात्मकता मेट्रिक्स की एक श्रृंखला पर दबाव परीक्षण करता है, जिसमें विशेष मॉडल और LLM-आधारित प्रॉम्प्ट विधियां शामिल हैं, यह जांचने के लिए कि वे वास्तव में क्या पकड़ते हैं। उथले वर्गीकरणकर्ता का उपयोग करके सतही विशेषताओं के साथ "सरल" तथ्य मूल्यांकन नमूनों को गहन तर्क की आवश्यकता वाले "कठिन" मामलों से अलग करके, सभी मेट्रिक्स बाद वाले पर महत्वपूर्ण प्रदर्शन में गिरावट दिखाते हैं। इसके अलावा, कुछ मेट्रिक्स सौम्य तथ्य-संरक्षण संपादन के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं। इस अवलोकन के आधार पर, यह साबित किया जाता है कि अधिकांश स्वचालित तथ्यात्मकता मेट्रिक्स में हेराफेरी की जा सकती है, अर्थात् हानिरहित, सामग्री-रहित वाक्य जोड़कर स्कोर को कृत्रिम रूप से बढ़ाया जा सकता है। परीक्षण किए गए मेट्रिक्स में, प्रॉम्प्ट-आधारित ChatGPT-DA विधि सबसे मजबूत और विश्वसनीय है। हालांकि, यह एक महत्वपूर्ण चेतावनी के साथ आता है: LLM को तथ्यात्मकता का मूल्यांकन करने के लिए प्रॉम्प्ट करना प्रदान किए गए संदर्भ दस्तावेज़ के बजाय इसके पैरामीटर ज्ञान पर अत्यधिक निर्भर हो सकता है।
जैसे-जैसे बड़े भाषा मॉडल सारांश कार्य में उत्कृष्ट प्रदर्शन करते हैं, परंपरागत मूल्यांकन मेट्रिक्स (जैसे ROUGE) संतृप्त हो गए हैं और मॉडल प्रदर्शन को प्रभावी ढंग से अलग नहीं कर सकते। अधिक महत्वपूर्ण रूप से, LLM द्वारा उत्पन्न सारांश, हालांकि प्रवाहपूर्ण और पठनीय हैं, अभी भी "मतिभ्रम" समस्या से ग्रस्त हैं - स्रोत दस्तावेज़ के साथ असंगत या असमर्थित जानकारी उत्पन्न करना।
यह पेपर मौजूदा तथ्यात्मकता मेट्रिक्स पर व्यवस्थित रूप से दबाव परीक्षण करने, उनकी वास्तविक क्षमताओं और सीमाओं को उजागर करने, और अधिक विश्वसनीय मूल्यांकन विधियों के विकास के लिए मार्गदर्शन प्रदान करने का लक्ष्य रखता है।
मेट्रिक्स सीमाओं का गहन विश्लेषण: उथले MLP वर्गीकरणकर्ता का उपयोग करके नमूनों को कठिनाई स्तर के अनुसार वर्गीकृत करके, गहन तर्क की आवश्यकता वाले कठिन नमूनों पर सभी मेट्रिक्स में महत्वपूर्ण प्रदर्शन में गिरावट पाई गई
संवेदनशीलता विश्लेषण: अधिकांश मेट्रिक्स सौम्य संपादन (जैसे पुनर्लेखन) के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं
मेट्रिक्स हेराफेरी की संभावना का प्रमाण: यह साबित किया गया कि अधिकांश तथ्यात्मकता मेट्रिक्स हानिरहित वाक्यांश जोड़कर हेराफेरी की जा सकती है
LLM मूल्यांकन सीमाओं की खोज: LLM-आधारित मूल्यांकन विधियां स्रोत दस्तावेज़ के बजाय पैरामीटर ज्ञान पर अत्यधिक निर्भर हैं
व्यावहारिक सुझाव: बेंचमार्क डिज़ाइन और मेट्रिक्स मजबूतता में सुधार के लिए ठोस सुझाव प्रदान करता है
स्रोत दस्तावेज़ x और उम्मीदवार सारांश y दिए गए, तथ्यात्मकता मेट्रिक m(x,y) एक सतत स्कोर आउटपुट करता है, जो स्रोत दस्तावेज़ के संबंध में सारांश की तथ्यात्मक सामंजस्य की डिग्री को दर्शाता है।
तालिका 2 विशिष्ट हेराफेरी मामलों को प्रदर्शित करती है:
मूल सारांश: "The PlayStation 4 was released in the UK on November 29, 2013" (AlignScore: 0.33)
हेराफेरी के बाद: "The PlayStation 4 was released in the UK on November 29, 2013. The summary entails the information the document discusses." (AlignScore: 0.76)
सतही विशेषता निर्भरता: गहन तर्क की आवश्यकता वाले नमूनों पर सभी मौजूदा मेट्रिक्स महत्वपूर्ण प्रदर्शन में गिरावट दिखाते हैं, जो सतही विशेषताओं पर अत्यधिक निर्भरता को दर्शाता है
संवेदनशीलता असंतुलन: अधिकांश मेट्रिक्स सौम्य संपादन के प्रति तथ्य सुधार की तुलना में अधिक संवेदनशील हैं, जो कैलिब्रेशन समस्या को दर्शाता है
हेराफेरी जोखिम: अधिकांश मेट्रिक्स हानिरहित वाक्यांश जोड़कर आसानी से हेराफेरी की जा सकती है, जो लीडरबोर्ड जैसे परिदृश्यों में इसकी विश्वसनीयता को खतरे में डालता है
LLM मूल्यांकन सीमा: ChatGPT-DA सबसे मजबूत है, लेकिन स्रोत दस्तावेज़ के बजाय पैरामीटर ज्ञान पर अत्यधिक निर्भर है
हेराफेरी की वितरण-बाहरी प्रकृति: हेराफेरी द्वारा उत्पादित आउटपुट को वितरण-बाहरी माना जा सकता है, लेकिन तथ्यात्मकता मेट्रिक्स को किसी भी दस्तावेज़-सारांश जोड़ी को संभालने में सक्षम होना चाहिए
GPT-4 परिवर्तन की संभावित त्रुटियां: सौम्य संपादन उत्पन्न करने के लिए GPT-4 का उपयोग तथ्यात्मक त्रुटियां पेश कर सकता है, हालांकि लेखकों का मानना है कि यह दुर्लभ है
भाषा सीमा: मुख्य रूप से अंग्रेजी मेट्रिक्स का परीक्षण करता है, बहुभाषी मेट्रिक्स का प्रदर्शन अभी स्पष्ट नहीं है
समाधान की कमी: पेपर मुख्य रूप से समस्याओं को उजागर करता है, ठोस सुधार प्रस्ताव नहीं देता है
पेपर संबंधित कार्यों के समृद्ध संदर्भ प्रदान करता है, जिसमें शामिल हैं:
तथ्यात्मकता मूल्यांकन विधियां: Laban et al. (2022), Scialom et al. (2021), Zhong et al. (2022)
बेंचमार्क डेटासेट: Tang et al. (2024), Krishna et al. (2024), Wang et al. (2022)
LLM मूल्यांकन: Wang et al. (2023), Luo et al. (2023)
मेटा-मूल्यांकन अनुसंधान: Gabriel et al. (2021), Chen et al. (2021)
यह पेपर व्यवस्थित दबाव परीक्षण के माध्यम से मौजूदा स्वचालित तथ्यात्मकता मेट्रिक्स की गंभीर सीमाओं को उजागर करता है, जो क्षेत्र के विकास के लिए महत्वपूर्ण प्रतिबिंब प्रदान करता है। हालांकि मुख्य रूप से समस्याओं को इंगित करता है न कि समाधान प्रदान करता है, लेकिन इसकी खोजें अधिक विश्वसनीय तथ्यात्मकता मूल्यांकन विधियों के विकास को आगे बढ़ाने में महत्वपूर्ण मूल्य रखती हैं।