2025-11-18T22:34:14.672296

FactAppeal: Identifying Epistemic Factual Appeals in News Media

Mor-Lan, Sheafer, Shenhav

How is a factual claim made credible? We propose the novel task of Epistemic Appeal Identification, which identifies whether and how factual statements have been anchored by external sources or evidence. To advance research on this task, we present FactAppeal, a manually annotated dataset of 3,226 English-language news sentences. Unlike prior resources that focus solely on claim detection and verification, FactAppeal identifies the nuanced epistemic structures and evidentiary basis underlying these claims and used to support them. FactAppeal contains span-level annotations which identify factual statements and mentions of sources on which they rely. Moreover, the annotations include fine-grained characteristics of factual appeals such as the type of source (e.g. Active Participant, Witness, Expert, Direct Evidence), whether it is mentioned by name, mentions of the source's role and epistemic credentials, attribution to the source via direct or indirect quotation, and other features. We model the task with a range of encoder models and generative decoder models in the 2B-9B parameter range. Our best performing model, based on Gemma 2 9B, achieves a macro-F1 score of 0.73.

academic

FactAppeal: समाचार मीडिया में ज्ञानात्मक तथ्यात्मक अपीलों की पहचान

बुनियादी जानकारी

पेपर ID: 2510.10627
शीर्षक: FactAppeal: Identifying Epistemic Factual Appeals in News Media
लेखक: Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav (हिब्रू विश्वविद्यालय, यरुशलेम)
वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
प्रकाशन तिथि: 12 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.10627

सारांश

यह पेपर एक नया कार्य प्रस्तावित करता है—ज्ञानात्मक अपील पहचान (Epistemic Appeal Identification)—जिसका उद्देश्य यह पहचानना है कि क्या और कैसे तथ्यात्मक कथन बाहरी स्रोतों या साक्ष्य द्वारा समर्थित हैं। इस कार्य को आगे बढ़ाने के लिए, लेखकों ने FactAppeal डेटासेट का निर्माण किया है, जिसमें 3,226 अंग्रेजी समाचार वाक्यों की मानव-निर्मित व्याख्या शामिल है। पूर्ववर्ती संसाधनों के विपरीत जो केवल दावा पहचान और सत्यापन पर केंद्रित थे, FactAppeal इन दावों को समर्थन देने वाली सूक्ष्म ज्ञानात्मक संरचना और साक्ष्य आधार की पहचान करता है। डेटासेट में स्पैन-स्तरीय व्याख्या शामिल है, जो तथ्यात्मक कथन और उन पर निर्भर स्रोत उल्लेखों की पहचान करती है। इसके अतिरिक्त, व्याख्या में तथ्यात्मक अपीलों की सूक्ष्म विशेषताएं शामिल हैं, जैसे स्रोत प्रकार (जैसे सक्रिय प्रतिभागी, गवाह, विशेषज्ञ, प्रत्यक्ष साक्ष्य), नामित उल्लेख여부, स्रोत भूमिका और ज्ञानात्मक योग्यता के उल्लेख, प्रत्यक्ष या अप्रत्यक्ष उद्धरण के माध्यम से स्रोत को जिम्मेदारी आदि। लेखकों ने 2B-9B पैरामीटर रेंज में एनकोडर मॉडल और जनरेटिव डिकोडर मॉडल का उपयोग करके इस कार्य को मॉडल किया है, सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल Gemma 2 9B पर आधारित है, जिसने 0.73 का मैक्रो-औसत F1 स्कोर प्राप्त किया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

सूचना गलत सूचना के प्रसार और मीडिया रिपोर्टिंग में संदेहवाद के प्रसार के युग में, यह समझना कि तथ्यात्मक कथन कैसे प्रस्तुत किए जाते हैं, पहले से कहीं अधिक महत्वपूर्ण हो गया है। तथ्यात्मक कथन की विश्वसनीयता न केवल इसकी सामग्री पर निर्भर करती है, बल्कि यह भी निर्भर करती है कि यह बाहरी ज्ञान स्रोतों से कैसे अपील करता है—चाहे विशेषज्ञ साक्ष्य, आधिकारिक बयान, या प्रत्यक्ष अनुभवात्मक साक्ष्य के माध्यम से।

मौजूदा विधियों की सीमाएं

हालांकि दावा पहचान और सत्यापन अनुसंधान में पर्याप्त प्रगति हुई है, मौजूदा विधियां मुख्य रूप से अलग-थलग कथन सामग्री पर केंद्रित हैं, जो इन कथनों को विश्वसनीयता और प्रेरक शक्ति प्रदान करने वाली ज्ञानात्मक संरचना को नजरअंदाज करती हैं। पारंपरिक तथ्यात्मकता पहचान ढांचे में समाचार मीडिया में कथनों को कैसे निर्मित और समर्थित किया जाता है, इसकी गहन समझ की कमी है।

अनुसंधान प्रेरणा

ज्ञानात्मक संरचना विश्लेषण की आवश्यकता: यह समझने की आवश्यकता है कि तथ्यात्मक कथन बाहरी प्राधिकार स्रोतों द्वारा कैसे समर्थित होते हैं
मीडिया विश्वसनीयता अनुसंधान: समाचार मीडिया में ज्ञान प्रवाह और सत्यापन तंत्र का विश्लेषण
स्वचालित तथ्य-जांच में सुधार: अधिक संदर्भ-जागरूक तथ्य-जांच के लिए आधार प्रदान करना
सामाजिक विज्ञान अनुप्रयोग: राजनीतिक दर्शन, सामाजिक ज्ञानशास्त्र और संचार अनुसंधान के लिए उपकरण प्रदान करना

मुख्य योगदान

नया कार्य प्रस्तावित करना: पहली बार ज्ञानात्मक अपील पहचान कार्य को परिभाषित करना, पारंपरिक तथ्यात्मकता पहचान से परे, समृद्ध ज्ञानात्मक तर्क परत का परिचय देना
व्याख्या डेटासेट का निर्माण: FactAppeal डेटासेट बनाना, जिसमें 3,226 समाचार वाक्यों की सूक्ष्म स्पैन-स्तरीय व्याख्या शामिल है
वर्गीकरण टाइपोलॉजी स्थापित करना: स्रोत और घटना निकटता (आंतरिक बनाम बाहरी) और स्रोत प्रकार (मानव बनाम गैर-मानव) के आधार पर संरचित ज्ञानात्मक अपील वर्गीकरण विकसित करना
बेसलाइन मॉडल लागू करना: एनकोडर और जनरेटिव डिकोडर मॉडल का उपयोग करके कार्य बेसलाइन स्थापित करना, सर्वश्रेष्ठ मॉडल 0.73 मैक्रो-औसत F1 स्कोर प्राप्त करता है
अंतःविषय मूल्य: कम्प्यूटेशनल भाषाविज्ञान, सामाजिक विज्ञान और मीडिया अनुसंधान के लिए महत्वपूर्ण उपकरण प्रदान करना

विधि विवरण

कार्य परिभाषा

ज्ञानात्मक अपील पहचान कार्य की आवश्यकता है:

यह निर्धारित करना कि क्या कोई वाक्य तथ्यात्मक कथन प्रस्तुत करता है
यदि हां, तो यह पहचानना कि यह कथन को समर्थन देने के लिए बाहरी स्रोतों या साक्ष्य का कैसे हवाला देता है
ज्ञानात्मक प्राधिकार के स्रोतों की पहचान करना
अपील के प्रकार और विधि को वर्गीकृत करना

व्याख्या प्रणाली

मुख्य लेबल प्रकार

Fact Without Appeal: ज्ञानात्मक अपील के बिना तथ्यात्मक कथन
Fact With Appeal: ज्ञानात्मक अपील के साथ तथ्यात्मक कथन
- संशोधक: Direct quote (प्रत्यक्ष उद्धरण) / Indirect quote (अप्रत्यक्ष उद्धरण)
Source: कथन जिसे ज्ञानात्मक स्रोत के लिए जिम्मेदार ठहराया जाता है
- नामित स्थिति: Named / Unnamed
- स्रोत प्रकार: 7 प्रकार वर्गीकरण
Source Attribute: स्रोत की प्रासंगिक ज्ञानात्मक विशेषताएं
Recipient: जानकारी प्राप्त करने वाली वस्तु
Appeal Time: अपील होने का समय
Appeal Location: अपील होने का स्थान

स्रोत प्रकार वर्गीकरण प्रणाली

दो आयामों पर आधारित वर्गीकरण:

घटना के साथ निकटता: आंतरिक (प्रत्यक्ष संपर्क) बनाम बाहरी (सामान्य व्यावसायिक ज्ञान)
स्रोत की प्रकृति: मानव बनाम गैर-मानव

आंतरिक स्रोत (प्रत्यक्ष संपर्क के आधार पर):

Active Participant: घटना का सक्रिय प्रतिभागी
Witness: प्रथम-हाथ साक्ष्य प्रदान करने वाला पर्यवेक्षक
Official: कानूनी, राजनीतिक या नौकरशाही प्राधिकार वाला प्रतिभागी
Direct Evidence: स्थल पर पाया गया प्रत्यक्ष साक्ष्य

बाहरी स्रोत (व्यावसायिक ज्ञान के आधार पर):

Expert: वैज्ञानिक या विशेषज्ञ व्यावसायिक ज्ञान के साथ
Expert Document: अनुसंधान दस्तावेज, वैज्ञानिक और संस्थागत रिपोर्ट
News Report: पूर्ववर्ती समाचार रिपोर्ट का हवाला

तकनीकी नवाचार बिंदु

स्पैन-स्तरीय व्याख्या: एकल पाठ में तथ्यात्मक अपील, अपील के बिना तथ्य और गैर-तथ्यात्मक घटकों को अलग करने की अनुमति देता है
नेस्टेड लेबल समर्थन: विभिन्न प्रकार के लेबल को नेस्ट किया जा सकता है, जटिल ज्ञानात्मक संरचनाओं का समर्थन करता है
सूक्ष्म विशेषताएं: स्रोत प्रकार, नामित स्थिति, उद्धरण विधि आदि बहु-आयामी जानकारी को कैप्चर करता है
ज्ञानात्मक प्राधिकार वर्गीकरण: ज्ञानात्मक विज्ञान सिद्धांत पर आधारित व्यवस्थित स्रोत वर्गीकरण

प्रयोगात्मक सेटअप

डेटासेट

आकार: 3,226 वाक्य, 2020-2022 से अंग्रेजी समाचार लेखों से
व्याख्याकार: दो व्याख्याकार (लेखकों में से एक और अनुसंधान सहायक)
डेटा विभाजन: प्रशिक्षण सेट 70%, विकास सेट 15%, परीक्षण सेट 15%
व्याख्या सामंजस्य: कुल IoU 0.74, Cohen's Kappa 0.82

मूल्यांकन मेट्रिक्स

शब्द-स्तरीय मैक्रो-औसत सटीकता, रिकॉल और F1 स्कोर
18 लेबल श्रेणियों के लिए बहु-लेबल बाइनरी वर्गीकरण मूल्यांकन

तुलनात्मक विधियां

एनकोडर मॉडल (टोकन-स्तरीय बहु-लेबल वर्गीकरण):

RoBERTa (base, 125M)
DeBERTa v3 (base, 184M)
ModernBERT (base, 150M)

जनरेटिव डिकोडर मॉडल (अनुक्रम-से-अनुक्रम):

Gemma 2 (2B, 9B)
Llama 3.1 (8B)
Mistral v0.3 (7B)

कार्यान्वयन विवरण

एनकोडर मॉडल: focal loss का उपयोग करके अधिकतम 12 epoch तक प्रशिक्षण
डिकोडर मॉडल: 4-bit quantization के साथ QLORA का उपयोग करके सूक्ष्म-ट्यूनिंग, 3 epoch प्रशिक्षण
हार्डवेयर: एकल A100 GPU (40GB VRAM)
सीखने की दर: 1e-5

प्रयोगात्मक परिणाम

मुख्य परिणाम

मॉडल	सटीकता	रिकॉल	F1
Gemma 2 9B	0.76	0.73	0.73
RoBERTa (base)	0.75	0.67	0.70
Mistral v0.3 7B	0.73	0.68	0.70
DeBERTa v3 (base)	0.73	0.67	0.69
Llama 3.1 8B	0.75	0.65	0.68

मुख्य निष्कर्ष

जनरेटिव मॉडल का लाभ: सबसे बड़ा डिकोडर मॉडल Gemma 2 9B सर्वश्रेष्ठ प्रदर्शन प्राप्त करता है
एनकोडर मॉडल की सीमाएं: एनकोडर मॉडल विभिन्न श्रेणियों में अधिक प्रदर्शन भिन्नता दिखाते हैं
लेबल आवृत्ति प्रभाव: एनकोडर मॉडल प्रदर्शन लेबल गणना के साथ अधिक सहसंबंधित है (ρs = 0.72 बनाम 0.66)
स्रोत प्रकार पहचान: स्रोत प्रकार व्याख्या का प्रदर्शन लेबल लोकप्रियता के साथ कम सहसंबंधित है

श्रेणी-दर-श्रेणी प्रदर्शन विश्लेषण

तथ्यात्मकता पहचान: Fact w/o Appeal (0.89), Fact with Appeal (0.85)
स्रोत पहचान: Source (0.84), Source Attribute (0.79)
उद्धरण प्रकार: Indirect Quote (0.83), Direct Quote (0.80)
स्रोत प्रकार: प्रदर्शन में बड़ी भिन्नता, Active Participant (0.54), News Report (0.68)

डेटासेट सांख्यिकी

तथ्यात्मक वाक्यों का अनुपात: 80% से अधिक वाक्यों को तथ्यात्मक के रूप में व्याख्या किया गया है
अपील प्रकार वितरण: अपील के बिना तथ्य अपील के साथ तथ्य से लगभग दोगुना है
उद्धरण विधि: 66% paraphrasing का उपयोग करते हैं, 34% प्रत्यक्ष उद्धरण का उपयोग करते हैं
नामित स्थिति: 64% स्रोतों को नामित रूप से उल्लेख किया गया है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

कार्य व्यवहार्यता: ज्ञानात्मक अपील पहचान कार्य व्यवहार्य है, लेकिन अभी भी चुनौतीपूर्ण है
जनरेटिव मॉडल का लाभ: जनरेटिव मॉडल जटिल ज्ञानात्मक संरचनाओं को संभालने में बेहतर प्रदर्शन करते हैं
सूक्ष्म विश्लेषण मूल्य: स्पैन-स्तरीय व्याख्या समाचार मीडिया में जटिल ज्ञानात्मक संरचनाओं को प्रकट कर सकती है

सीमाएं

वाक्य-स्तरीय प्रतिबंध: केवल वाक्य-स्तरीय व्याख्या का उपयोग, कैप्चर किए जा सकने वाली संदर्भ जानकारी को सीमित करता है
स्रोत-कथन लिंकिंग: वर्तमान व्याख्या प्रत्येक स्रोत को उसके संबंधित कथन से स्पष्ट रूप से जोड़ता नहीं है
भाषा और समय सीमा: केवल 2020-2022 की अंग्रेजी समाचार लेखों तक सीमित
व्याख्या पैमाना: डेटासेट अपेक्षाकृत छोटा है, मॉडल सामान्यीकरण क्षमता को प्रभावित कर सकता है

भविष्य की दिशाएं

पैराग्राफ/लेख-स्तरीय तक विस्तार: बड़ी पाठ इकाइयों में जटिल प्रवचन संरचना को मॉडल करना
बहुभाषी विस्तार: अन्य भाषाओं और सांस्कृतिक पृष्ठभूमि में लागू करना
स्रोत-कथन संबंध मॉडलिंग: स्रोतों और कथनों के बीच पत्राचार को स्पष्ट रूप से मॉडल करना
सोशल मीडिया अनुप्रयोग: सोशल मीडिया जैसे अन्य प्रवचन प्रकारों तक विस्तार
समय गतिशील विश्लेषण: ज्ञानात्मक अपील पैटर्न में समय परिवर्तन का अध्ययन

गहन मूल्यांकन

शक्तियां

कार्य नवाचार: पहली बार ज्ञानात्मक अपील पहचान कार्य को व्यवस्थित रूप से परिभाषित और अनुसंधान करना, महत्वपूर्ण अनुसंधान अंतराल को भरना
ठोस सैद्धांतिक आधार: ज्ञानात्मक विज्ञान और भाषाविज्ञान सिद्धांत पर आधारित वर्गीकरण प्रणाली, ठोस सैद्धांतिक आधार के साथ
उच्च व्याख्या गुणवत्ता: सूक्ष्म स्पैन-स्तरीय व्याख्या, अच्छी व्याख्याकार सामंजस्य (Kappa=0.82)
अंतःविषय मूल्य: कम्प्यूटेशनल भाषाविज्ञान, राजनीति विज्ञान, संचार अध्ययन आदि कई क्षेत्रों के लिए मूल्यवान संसाधन
व्यापक प्रयोग: कई मॉडल आर्किटेक्चर की तुलना, विस्तृत प्रदर्शन विश्लेषण प्रदान करता है

कमियां

डेटा पैमाने की सीमा: 3,226 वाक्यों का आकार अपेक्षाकृत छोटा है, मॉडल प्रदर्शन और सामान्यीकरण क्षमता को सीमित कर सकता है
व्याख्या जटिलता: कुछ लेबल श्रेणियों में नमूने दुर्लभ हैं, मॉडल सीखने के प्रभाव को प्रभावित करता है
मूल्यांकन मेट्रिक्स एकल: मुख्य रूप से F1 स्कोर का उपयोग, कार्य-विशिष्ट मूल्यांकन मेट्रिक्स की कमी
त्रुटि विश्लेषण अपर्याप्त: मॉडल त्रुटि प्रकारों की गहन विश्लेषण की कमी
व्यावहारिक अनुप्रयोग सत्यापन: वास्तविक तथ्य-जांच या मीडिया विश्लेषण कार्यों में प्रभावशीलता का सत्यापन नहीं किया गया है

प्रभाव

शैक्षणिक योगदान: प्राकृतिक भाषा प्रसंस्करण क्षेत्र में नई अनुसंधान दिशा खोलना
व्यावहारिक मूल्य: स्वचालित तथ्य-जांच, मीडिया पूर्वाग्रह पहचान, ज्ञान ग्राफ निर्माण आदि कार्यों में लागू किया जा सकता है
सामाजिक महत्व: मीडिया में सूचना प्रसार और सत्यापन तंत्र को समझने और विश्लेषण करने में सहायता करता है
पुनरुत्पादनीयता: डेटा और कोड सार्वजनिक रूप से जारी किए गए हैं, बाद के अनुसंधान को सुविधाजनक बनाता है

लागू परिदृश्य

समाचार मीडिया विश्लेषण: समाचार रिपोर्टों में साक्ष्य उपयोग पैटर्न का विश्लेषण
तथ्य-जांच सहायता: स्वचालित तथ्य-जांच प्रणालियों के लिए अधिक समृद्ध संदर्भ जानकारी प्रदान करना
मीडिया साक्षरता शिक्षा: मीडिया में ज्ञानात्मक अपील रणनीतियों की पहचान और विश्लेषण में सहायता करना
राजनीतिक प्रवचन विश्लेषण: राजनीतिक संचार में प्राधिकार अपील पैटर्न का अनुसंधान
ज्ञान ग्राफ निर्माण: साक्ष्य संबंधों वाले ज्ञान ग्राफ के निर्माण के लिए आधार प्रदान करना

संदर्भ

Thorne et al. (2018): FEVER डेटासेट, बड़े पैमाने पर तथ्य निष्कर्षण और सत्यापन
Sauri and Pustejovsky (2009): प्रारंभिक तथ्यात्मकता पहचान कार्य
Da San Martino et al. (2019): प्रचार तकनीकों का सूक्ष्म विश्लेषण
Collins and Evans (2002): विशेषज्ञता और अनुभव अनुसंधान की तीसरी लहर
Anderson (2021): ज्ञानात्मक बुलबुले और सत्तावादी राजनीति

यह पेपर ज्ञानात्मक अपील पहचान के इस उभरते कार्य पर अग्रणी योगदान देता है, न केवल उच्च-गुणवत्ता की व्याख्या डेटासेट प्रदान करता है, बल्कि एक व्यवस्थित सैद्धांतिक ढांचा और प्रयोगात्मक बेसलाइन भी स्थापित करता है। हालांकि डेटा पैमाने और मॉडल प्रदर्शन के संदर्भ में सुधार की गुंजाइश है, इसकी अंतःविषय अनुसंधान मूल्य और व्यावहारिक अनुप्रयोग क्षमता इसे इस क्षेत्र का एक महत्वपूर्ण कार्य बनाती है।

FactAppeal: Identifying Epistemic Factual Appeals in News Media

FactAppeal: समाचार मीडिया में ज्ञानात्मक तथ्यात्मक अपीलों की पहचान

बुनियादी जानकारी

सारांश

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मौजूदा विधियों की सीमाएं

अनुसंधान प्रेरणा

मुख्य योगदान

विधि विवरण

कार्य परिभाषा

व्याख्या प्रणाली

मुख्य लेबल प्रकार

स्रोत प्रकार वर्गीकरण प्रणाली

तकनीकी नवाचार बिंदु

प्रयोगात्मक सेटअप

डेटासेट

मूल्यांकन मेट्रिक्स

तुलनात्मक विधियां

कार्यान्वयन विवरण

प्रयोगात्मक परिणाम

मुख्य परिणाम

मुख्य निष्कर्ष

श्रेणी-दर-श्रेणी प्रदर्शन विश्लेषण

डेटासेट सांख्यिकी

संबंधित कार्य

दावा सत्यापन अनुसंधान

ज्ञानात्मक मोडैलिटी और तर्क खनन

स्रोत जिम्मेदारी और उद्धरण विश्लेषण

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सीमाएं

भविष्य की दिशाएं

गहन मूल्यांकन

शक्तियां

कमियां

प्रभाव

लागू परिदृश्य

संदर्भ