2025-11-24T02:19:18.891948

Leveraging Twitter Data for Sentiment Analysis of Transit User Feedback: An NLP Framework

Das, Prajapati, Zhang et al.

Traditional methods of collecting user feedback through transit surveys are often time-consuming, resource intensive, and costly. In this paper, we propose a novel NLP-based framework that harnesses the vast, abundant, and inexpensive data available on social media platforms like Twitter to understand users' perceptions of various service issues. Twitter, being a microblogging platform, hosts a wealth of real-time user-generated content that often includes valuable feedback and opinions on various products, services, and experiences. The proposed framework streamlines the process of gathering and analyzing user feedback without the need for costly and time-consuming user feedback surveys using two techniques. First, it utilizes few-shot learning for tweet classification within predefined categories, allowing effective identification of the issues described in tweets. It then employs a lexicon-based sentiment analysis model to assess the intensity and polarity of the tweet sentiments, distinguishing between positive, negative, and neutral tweets. The effectiveness of the framework was validated on a subset of manually labeled Twitter data and was applied to the NYC subway system as a case study. The framework accurately classifies tweets into predefined categories related to safety, reliability, and maintenance of the subway system and effectively measured sentiment intensities within each category. The general findings were corroborated through a comparison with an agency-run customer survey conducted in the same year. The findings highlight the effectiveness of the proposed framework in gauging user feedback through inexpensive social media data to understand the pain points of the transit system and plan for targeted improvements.

academic

ट्विटर डेटा का लाभ उठाते हुए ट्रांजिट उपयोगकर्ता प्रतिक्रिया का भावना विश्लेषण: एक NLP ढांचा

बुनियादी जानकारी

पेपर ID: 2310.07086
शीर्षक: Urban Echoes: Decoding Transit Riders' Sentiments on Social Media for Smarter Mobility
लेखक: Adway Das, Abhishek Kumar Prajapati, Pengxiang Zhang, Mukund Srinath, Andisheh Ranjbari
संबद्ध संस्थान: The Pennsylvania State University, Optym Inc.
वर्गीकरण: cs.AI cs.SI
प्रकाशन समय: अक्टूबर 2023 (arXiv v2: अक्टूबर 2025)
पेपर लिंक: https://arxiv.org/abs/2310.07086v2

सारांश

परंपरागत सार्वजनिक परिवहन सर्वेक्षण बड़े संसाधनों का उपयोग करते हैं और समय लेते हैं, जो विशिष्ट स्थानों की समस्याओं को प्रभावी ढंग से संबोधित करने की क्षमता को सीमित करते हैं। यह अनुसंधान एक NLP-आधारित ढांचा प्रस्तावित करता है जो ट्विटर (अब X) के वास्तविक समय डेटा का लाभ उठाता है ताकि सार्वजनिक परिवहन संस्थाओं के सर्वेक्षणों को अनुकूलित और निर्देशित किया जा सके। यह ढांचा दो-चरणीय दृष्टिकोण अपनाता है: फ्यू-शॉट लर्निंग ट्वीट्स को सुरक्षा, विश्वसनीयता और रखरखाव जैसी श्रेणियों में वर्गीकृत करती है, जबकि शब्दकोश-आधारित भावना विश्लेषण मॉडल भावना की ध्रुवता (सकारात्मक, नकारात्मक, तटस्थ) और तीव्रता का मूल्यांकन करते हैं। इसके अतिरिक्त, स्थानिक विश्लेषण भावना प्रवृत्तियों को विशिष्ट भौगोलिक क्षेत्रों में मैप करता है, जिससे सार्वजनिक परिवहन संस्थाएं समस्या वाले क्षेत्रों को सटीक रूप से पहचान सकती हैं और प्राथमिकता दे सकती हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

परंपरागत सर्वेक्षणों की सीमाएं: सार्वजनिक परिवहन उपयोगकर्ता प्रतिक्रिया सर्वेक्षण महंगे, समय लेने वाले और भौगोलिक कवरेज में सीमित होते हैं। अनुसंधान से पता चलता है कि सार्वजनिक परिवहन संस्थाओं द्वारा सर्वेक्षण की प्रति व्यक्ति लागत लगभग 36 डॉलर है, और मध्यम आकार के सर्वेक्षण की औसत कुल लागत लगभग 3.5 मिलियन डॉलर है।
सोशल मीडिया डेटा की संभावना: ट्विटर के 3.3 अरब से अधिक सक्रिय उपयोगकर्ता हैं और प्रतिदिन लगभग 5 अरब ट्वीट्स उत्पन्न होते हैं, जो बड़े पैमाने पर वास्तविक समय में उपयोगकर्ता भावनाओं और अनुभवों की अंतर्दृष्टि के लिए एक अद्वितीय अवसर प्रदान करते हैं।
भौगोलिक सटीकता की आवश्यकता: सोशल मीडिया डेटा विशिष्ट स्थानों की समस्याओं और भावनाओं को प्रकट कर सकता है, जिससे सार्वजनिक परिवहन संस्थाएं विभिन्न समुदायों की अद्वितीय आवश्यकताओं और चुनौतियों की पहचान कर सकती हैं।

अनुसंधान का महत्व

संसाधन अनुकूलन: सोशल मीडिया डेटा पूर्व-स्क्रीनिंग के माध्यम से सर्वेक्षण लागत में उल्लेखनीय कमी और दक्षता में वृद्धि
वास्तविक समय निगरानी: जनमत की निरंतर निगरानी और निर्णय लेने के लिए
स्थानिक सटीकता: उच्च ध्यान वाले क्षेत्रों की पहचान लक्षित हस्तक्षेप के लिए
परिवहन न्याय: सभी समुदायों को सुरक्षित और विश्वसनीय परिवहन विकल्प तक पहुंच सुनिश्चित करना

मुख्य योगदान

एक नवीन NLP ढांचा प्रस्तावित किया: फ्यू-शॉट लर्निंग और VADER भावना विश्लेषण को जोड़ने वाला बहुआयामी दृष्टिकोण
सटीक ट्वीट वर्गीकरण प्राप्त किया: ट्वीट्स को रखरखाव, सुरक्षा, शेड्यूलिंग आदि सेवा-संबंधित श्रेणियों में वर्गीकृत किया
स्थानिक-समय विश्लेषण प्रदान किया: विशिष्ट भौगोलिक स्थानों पर बार-बार शिकायतें या ध्यान केंद्रित करने वाले बिंदुओं की पहचान
ढांचे की प्रभावशीलता को सत्यापित किया: NYC मेट्रो सिस्टम केस स्टडी और MTA आधिकारिक सर्वेक्षण तुलना के माध्यम से
एक स्केलेबल समाधान बनाया: विभिन्न क्षेत्रों, समय अवधियों और कई सेवा प्रदाताओं के लिए लागू

विधि विवरण

कार्य परिभाषा

इनपुट: ट्विटर ट्वीट टेक्स्ट, टाइमस्टैम्प, भौगोलिक टैग आउटपुट: ट्वीट श्रेणी वर्गीकरण, भावना ध्रुवता और तीव्रता स्कोर, स्थानिक वितरण विश्लेषण बाधाएं: ट्वीट्स सार्वजनिक परिवहन प्रणाली से संबंधित होने चाहिए, अनौपचारिक भाषा और सोशल मीडिया-विशिष्ट अभिव्यक्तियों को संभालने की आवश्यकता

मॉडल आर्किटेक्चर

1. डेटा संग्रह और पूर्व-प्रसंस्करण

डेटा स्रोत: ट्विटर API और snscrape उपकरण के माध्यम से संग्रह
खोज रणनीति: 10 अद्वितीय खोज शब्दों ("MTA", "NYC SUBWAY" आदि) और 12 संबंधित स्थानों का उपयोग
फ़िल्टरिंग प्रसंस्करण: डुप्लिकेट ट्वीट्स और एम्बेडेड लिंक को हटाना
डेटा स्केल: 102,530 ट्वीट्स से 36,000 ट्वीट्स का यादृच्छिक नमूना विश्लेषण के लिए

2. फ्यू-शॉट लर्निंग वर्गीकरण मॉड्यूल

मॉडल चयन: OpenAI GPT-3.5 Turbo वर्गीकरण श्रेणियां:

सफाई और रखरखाव: मेट्रो प्रणाली की सफाई और रखरखाव समस्याओं पर चर्चा
शेड्यूलिंग और संचालन: मेट्रो समय सारणी, देरी, समय पर प्रदर्शन से संबंधित
सुरक्षा और सुरक्षा: उपयोगकर्ता सुरक्षा और सुरक्षा संबंधित चिंताओं को उजागर करना
अन्य: सार्वजनिक परिवहन उपयोगकर्ता अनुभव से असंबंधित ट्वीट्स

फ्यू-शॉट सेटअप: प्रत्येक श्रेणी के लिए 5 नमूनों का उपयोग प्रशिक्षण के लिए, प्रदर्शन और संसाधन दक्षता के बीच संतुलन

3. VADER भावना विश्लेषण मॉड्यूल

मुख्य सिद्धांत: पूर्व-निर्मित भावना शब्दकोश के आधार पर, शब्दावली विशेषताओं को भावना तीव्रता स्कोर में मैप करना स्कोरिंग रेंज: शब्द-स्तरीय स्कोर -4 से 4, वाक्य-स्तरीय समग्र स्कोर -1 से +1 सामान्यीकरण सूत्र: $CSC_i = \frac{x_i}{\sqrt{x_i^2 + \alpha}}$ जहां $x_i$ ट्वीट i में संघटक शब्दों का भावना स्कोर योग है, $\alpha=15$ सामान्यीकरण पैरामीटर है

भावना वर्गीकरण थ्रेसहोल्ड:

सकारात्मक भावना: समग्र स्कोर > 0.1
नकारात्मक भावना: समग्र स्कोर < -0.1
तटस्थ भावना: -0.1 ≤ समग्र स्कोर ≤ 0.1

तकनीकी नवाचार बिंदु

फ्यू-शॉट लर्निंग का अनुप्रयोग: बड़े पैमाने पर ट्वीट एनोटेशन की कठिनाई को हल किया, केवल कुछ एनोटेटेड नमूनों के साथ उच्च सटीकता वर्गीकरण प्राप्त
बहु-मोडल विश्लेषण ढांचा: वर्गीकरण, भावना और स्थानिक आयामों का एक साथ विचार
स्थानिक मैपिंग रणनीति: भौगोलिक टैग ट्वीट्स को 1 मील त्रिज्या के भीतर मेट्रो स्टेशनों में मैप करना, सटीक स्थानिक विश्लेषण प्राप्त करना
वास्तविक समय प्रसंस्करण क्षमता: ढांचा डिज़ाइन बड़े पैमाने पर सोशल मीडिया डेटा की वास्तविक समय प्रसंस्करण और विश्लेषण का समर्थन करता है

प्रयोगात्मक सेटअप

डेटासेट

डेटासेट नाम: NYC मेट्रो प्रणाली संबंधित ट्विटर डेटा
डेटा स्केल: 36,000 ट्वीट्स (102,530 से नमूना)
समय सीमा: 2022 पूरे वर्ष
भौगोलिक सीमा: NYC मेट्रो सेवा क्षेत्र और विस्तारित क्षेत्र
सत्यापन सेट: मॉडल सत्यापन के लिए 500 मानव-एनोटेटेड ट्वीट्स

मूल्यांकन मेट्रिक्स

वर्गीकरण प्रदर्शन: Precision (सटीकता), Recall (पुनरावृत्ति), F1-Score
भावना विश्लेषण: समग्र भावना स्कोर, भावना ध्रुवता वितरण
स्थानिक विश्लेषण: भौगोलिक वितरण हीटमैप, क्षेत्रीय भावना एकत्रीकरण

तुलनात्मक विधियां

बेंचमार्क तुलना: MTA 2022 शरद ऋतु ग्राहक सर्वेक्षण परिणाम
समय तुलना: MTA वसंत और शरद ऋतु सर्वेक्षण परिणाम परिवर्तन प्रवृत्ति

कार्यान्वयन विवरण

वर्गीकरण मॉडल: GPT-3.5 Turbo, प्रति श्रेणी 5 नमूनों की फ्यू-शॉट सेटिंग
भावना विश्लेषण: VADER मॉडल, कोई पूर्व-प्रसंस्करण चरण नहीं
स्थानिक विश्लेषण: 1 मील त्रिज्या मेट्रो स्टेशन मैपिंग रणनीति

प्रयोगात्मक परिणाम

मुख्य परिणाम

वर्गीकरण प्रदर्शन

मेट्रिक	मान
Precision	0.9456
Recall	0.9420
F1-Score	0.9425

ट्वीट वर्गीकरण वितरण

श्रेणी	ट्वीट संख्या	प्रतिशत
सफाई/रखरखाव	1,667	4.6%
शेड्यूलिंग/संचालन	6,050	16.8%
सुरक्षा/सुरक्षा	7,708	21.5%
अन्य	20,575	57.1%

मुख्य निष्कर्ष: सुरक्षा और सुरक्षा सर्वोच्च ध्यान बिंदु है (21.5%), इसके बाद शेड्यूलिंग संबंधित समस्याएं (16.8%)

समय प्रवृत्ति विश्लेषण

सर्वोत्तम संतुष्टि अवधि: मार्च और गर्मी के महीने (6-9 सितंबर)
नकारात्मक ट्वीट अनुपात परिवर्तन: 4-5 मई के 33% से 6-8 अगस्त के 28% तक गिरावट
MTA सर्वेक्षण के साथ संगति: 2022 शरद ऋतु सर्वेक्षण 54% मेट्रो ग्राहक संतुष्टि दिखाता है, वसंत सर्वेक्षण से 6 प्रतिशत अंक अधिक

स्थानिक विश्लेषण परिणाम

सुरक्षा ध्यान केंद्रित क्षेत्र: मिडटाउन और वित्तीय जिला
शेड्यूलिंग समस्या प्रमुख क्षेत्र: ऊपरी मैनहट्टन और क्वींस
निरंतर नकारात्मक प्रतिक्रिया क्षेत्र: टाइम्स स्क्वायर, सेंट्रल पार्क आदि उच्च यातायात पर्यटन क्षेत्र
विशिष्ट सुरक्षा समस्या क्षेत्र: ऊपरी पूर्व और पूर्वी हार्लेम

केस विश्लेषण

पेपर 8 विशिष्ट ट्वीट केस प्रदान करता है, जो जटिल भावनाओं (जैसे व्यंग्य) को संभालने और सटीक वर्गीकरण में ढांचे की क्षमता को प्रदर्शित करते हैं। उदाहरण के लिए:

नकारात्मक रखरखाव ट्वीट: "Why would you WANT to ride the subway without a mask? It is so stinky" (स्कोर: -0.6651)
सकारात्मक शेड्यूलिंग ट्वीट: ट्रेन कर्मचारी को दरवाजे खुले रखने के लिए धन्यवाद (स्कोर: 0.7701)

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

ढांचे की प्रभावशीलता: प्रस्तावित NLP ढांचा ट्वीट्स को सटीक रूप से वर्गीकृत कर सकता है और भावना तीव्रता को मापता है, आधिकारिक सर्वेक्षण परिणामों के साथ उच्च सहमति
लागत-लाभ: सोशल मीडिया डेटा विश्लेषण महंगे उपयोगकर्ता सर्वेक्षणों के लिए एक व्यवहार्य विकल्प या पूरक हो सकता है
स्थानिक सटीकता: विशिष्ट भौगोलिक क्षेत्रों में समस्या केंद्रीकरण बिंदुओं की पहचान कर सकता है, सटीक संसाधन आवंटन का समर्थन
वास्तविक समय निगरानी क्षमता: जनमत की निरंतर निगरानी और डेटा-संचालित निर्णय समर्थन प्रदान करता है

सीमाएं

डेटा पूर्वाग्रह: सोशल मीडिया उपयोगकर्ता समूह युवा उपयोगकर्ताओं की ओर झुका हुआ है, सभी यात्रियों के समूह का पूरी तरह प्रतिनिधित्व नहीं कर सकता
भौगोलिक सटीकता: ट्वीट्स का भौगोलिक टैग अनुचित हो सकता है, 1 मील मैपिंग रणनीति में त्रुटि है
भाषा जटिलता: व्यंग्य, स्लैंग आदि जटिल भाषा अभिव्यक्तियां अभी भी चुनौती हैं
गोपनीयता नैतिकता: सार्वजनिक सोशल मीडिया डेटा का उपयोग गोपनीयता और नैतिक मुद्दों को सावधानीपूर्वक संभालने की आवश्यकता है

भविष्य की दिशाएं

बहुभाषी समर्थन: बहुभाषी ट्वीट्स डेटा को संभालने के लिए ढांचा विस्तारित करना
वास्तविक समय प्रसंस्करण अनुकूलन: बड़े पैमाने पर डेटा की वास्तविक समय प्रसंस्करण क्षमता में सुधार
क्रॉस-डोमेन अनुप्रयोग: हवाई अड्डे, सार्वजनिक परिवहन, पार्किंग, साझा यात्रा आदि अन्य परिवहन सेवाओं के लिए ढांचा लागू करना
किराया नीति विश्लेषण: उपयोगकर्ता संतुष्टि पर किराया परिवर्तन के प्रभाव का मूल्यांकन

गहन मूल्यांकन

शक्तियां

विधि नवाचार शक्तिशाली: फ्यू-शॉट लर्निंग और VADER भावना विश्लेषण का संयोजन नवीन है, बड़े पैमाने पर एनोटेशन कठिनाई को प्रभावी ढंग से हल करता है
प्रयोग डिजाइन पूर्ण: 36,000 ट्वीट्स का बड़े पैमाने पर विश्लेषण, 500 मानव-एनोटेटेड सत्यापन, आधिकारिक सर्वेक्षण तुलना सत्यापन
व्यावहारिक मूल्य उच्च: सार्वजनिक परिवहन संस्थाओं को उपयोगकर्ता प्रतिक्रिया संग्रह के लिए लागत-प्रभावी विकल्प प्रदान करता है
स्थानिक विश्लेषण गहन: भौगोलिक आयाम की भावना विश्लेषण सटीक हस्तक्षेप के लिए मजबूत समर्थन प्रदान करता है
परिणाम विश्वसनीयता उच्च: MTA आधिकारिक सर्वेक्षण परिणामों के साथ संगति ढांचे की विश्वसनीयता को बढ़ाती है

कमियां

सामान्यीकरण क्षमता सीमित: केवल NYC मेट्रो प्रणाली में सत्यापित, अन्य शहरों और परिवहन प्रणालियों में लागू क्षमता को आगे सत्यापन की आवश्यकता
समय अवधि सीमा: केवल 2022 डेटा विश्लेषण, दीर्घकालीन प्रवृत्ति विश्लेषण अपर्याप्त
तकनीकी निर्भरता: वाणिज्यिक API (GPT-3.5) पर निर्भर, लागत और उपलब्धता समस्याओं का सामना कर सकता है
मूल्यांकन मेट्रिक्स एकल: मुख्य रूप से आधिकारिक सर्वेक्षण तुलना पर निर्भर, अधिक आयामों का सत्यापन अभाव

प्रभाव

शैक्षणिक योगदान: परिवहन क्षेत्र में सोशल मीडिया डेटा विश्लेषण के लिए नई पद्धति ढांचा प्रदान करता है
व्यावहारिक मूल्य: विश्वव्यापी सार्वजनिक परिवहन संस्थाओं को कार्यान्वयन योग्य तकनीकी समाधान प्रदान करता है
नीति प्रभाव: डेटा-संचालित परिवहन नीति निर्माण और संसाधन आवंटन अनुकूलन का समर्थन
क्रॉस-डोमेन प्रेरणा: विधि अन्य सार्वजनिक सेवा क्षेत्रों में उपयोगकर्ता प्रतिक्रिया विश्लेषण के लिए विस्तारणीय

लागू परिदृश्य

सार्वजनिक परिवहन प्रणाली अनुकूलन: मेट्रो, सार्वजनिक परिवहन, लाइटरेल आदि सार्वजनिक परिवहन प्रणालियों की सेवा सुधार
शहरी योजना: उपयोगकर्ता प्रतिक्रिया के आधार पर परिवहन बुनियादी ढांचा योजना
आपातकालीन प्रतिक्रिया: परिवहन दुर्घटना या सेवा व्यवधान के समय जनमत निगरानी
नीति मूल्यांकन: परिवहन नीति कार्यान्वयन प्रभाव का वास्तविक समय मूल्यांकन
व्यावसायिक अनुप्रयोग: साझा यात्रा, टैक्सी सेवा आदि व्यावसायिक परिवहन सेवाओं के उपयोगकर्ता अनुभव विश्लेषण

संदर्भ

पेपर 64 संबंधित संदर्भों को उद्धृत करता है, जो भावना विश्लेषण, प्राकृतिक भाषा प्रसंस्करण, परिवहन अनुसंधान, सोशल मीडिया विश्लेषण आदि कई क्षेत्रों के महत्वपूर्ण अनुसंधान परिणामों को शामिल करते हैं, जो इस अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार और विधि समर्थन प्रदान करते हैं।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुप्रयोग अनुसंधान पेपर है जो उन्नत NLP तकनीकों को वास्तविक शहरी परिवहन समस्याओं में सफलतापूर्वक लागू करता है। पेपर विधि नवीन है, प्रयोग पूर्ण है, परिणाम विश्वसनीय हैं, और महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है। हालांकि कुछ सीमाएं हैं, लेकिन परिवहन क्षेत्र के डिजिटल परिवर्तन के लिए मूल्यवान तकनीकी पथ और व्यावहारिक अनुभव प्रदान करता है।