2025-11-24T02:19:18.891948

Leveraging Twitter Data for Sentiment Analysis of Transit User Feedback: An NLP Framework

Das, Prajapati, Zhang et al.

Traditional methods of collecting user feedback through transit surveys are often time-consuming, resource intensive, and costly. In this paper, we propose a novel NLP-based framework that harnesses the vast, abundant, and inexpensive data available on social media platforms like Twitter to understand users' perceptions of various service issues. Twitter, being a microblogging platform, hosts a wealth of real-time user-generated content that often includes valuable feedback and opinions on various products, services, and experiences. The proposed framework streamlines the process of gathering and analyzing user feedback without the need for costly and time-consuming user feedback surveys using two techniques. First, it utilizes few-shot learning for tweet classification within predefined categories, allowing effective identification of the issues described in tweets. It then employs a lexicon-based sentiment analysis model to assess the intensity and polarity of the tweet sentiments, distinguishing between positive, negative, and neutral tweets. The effectiveness of the framework was validated on a subset of manually labeled Twitter data and was applied to the NYC subway system as a case study. The framework accurately classifies tweets into predefined categories related to safety, reliability, and maintenance of the subway system and effectively measured sentiment intensities within each category. The general findings were corroborated through a comparison with an agency-run customer survey conducted in the same year. The findings highlight the effectiveness of the proposed framework in gauging user feedback through inexpensive social media data to understand the pain points of the transit system and plan for targeted improvements.

academic

الاستفادة من بيانات تويتر لتحليل المشاعر حول ملاحظات مستخدمي النقل: إطار عمل معالجة اللغة الطبيعية

المعلومات الأساسية

معرّف الورقة البحثية: 2310.07086
العنوان: Urban Echoes: Decoding Transit Riders' Sentiments on Social Media for Smarter Mobility
المؤلفون: Adway Das, Abhishek Kumar Prajapati, Pengxiang Zhang, Mukund Srinath, Andisheh Ranjbari
المؤسسات التابعة لها: جامعة بنسلفانيا الحكومية، شركة Optym Inc.
التصنيف: cs.AI cs.SI
تاريخ النشر: أكتوبر 2023 (arXiv v2: أكتوبر 2025)
رابط الورقة البحثية: https://arxiv.org/abs/2310.07086v2

الملخص

تستهلك الاستطلاعات التقليدية للنقل العام موارد كبيرة وتستغرق وقتاً طويلاً، مما يحد من قدرتها على معالجة المشاكل في مواقع محددة بفعالية. تقترح هذه الدراسة إطار عمل قائم على معالجة اللغة الطبيعية يستفيد من البيانات الفورية لتويتر (الآن X) كأداة فحص أولي لتحسين وتوجيه استطلاعات هيئات النقل العام. يعتمد الإطار على منهج ثنائي المراحل: يستخدم التعلم بعدد قليل من الأمثلة (Few-Shot Learning) لتصنيف التغريدات إلى فئات مثل السلامة والموثوقية والصيانة، بينما يقيّم نموذج تحليل المشاعر القائم على القاموس القطبية العاطفية (إيجابية وسلبية ومحايدة) والشدة. بالإضافة إلى ذلك، يقوم التحليل المكاني بتعيين اتجاهات المشاعر إلى مناطق جغرافية محددة، مما يمكّن هيئات النقل العام من تحديد أولويات المناطق التي تواجه مشاكل بدقة.

السياق البحثي والدافع

المشاكل الأساسية

قيود الاستطلاعات التقليدية: استطلاعات ملاحظات مستخدمي النقل العام مكلفة وتستغرق وقتاً طويلاً وتتمتع بتغطية جغرافية محدودة. تُظهر الدراسات أن متوسط التكلفة لكل فرد للاستطلاعات التي تجريها هيئات النقل يبلغ حوالي 36 دولاراً، والتكلفة الإجمالية المتوسطة للاستطلاع متوسط الحجم حوالي 350,000 دولار.
إمكانات بيانات وسائل التواصل الاجتماعي: يمتلك تويتر أكثر من 3.3 مليار مستخدم نشط، ينتجون حوالي 500 مليون تغريدة يومياً، مما يوفر فرصة فريدة للحصول على رؤى واسعة النطاق وفورية حول مشاعر وتجارب المستخدمين.
الحاجة إلى الدقة الجغرافية: يمكن لبيانات وسائل التواصل الاجتماعي أن تكشف عن المشاكل والمشاعر في مواقع محددة، مما يمكّن هيئات النقل العام من تحديد الاحتياجات والتحديات الفريدة للمجتمعات المختلفة.

أهمية البحث

تحسين استخدام الموارد: يمكن للفحص الأولي باستخدام بيانات وسائل التواصل الاجتماعي أن يقلل بشكل كبير من تكاليف الاستطلاع ويحسن الكفاءة
المراقبة الفورية: القدرة على مراقبة الرأي العام بشكل مستمر واستخدامه في صنع القرار
الدقة المكانية: تحديد المناطق ذات الاهتمام العالي للتدخل الموجه
العدالة في النقل: ضمان حصول جميع المجتمعات على خيارات نقل آمنة وموثوقة

المساهمات الأساسية

اقتراح إطار عمل NLP مبتكر: منهج متعدد الأوجه يجمع بين التعلم بعدد قليل من الأمثلة وتحليل المشاعر VADER
تحقيق تصنيف دقيق للتغريدات: تصنيف التغريدات إلى فئات خدمات ذات صلة مثل الصيانة والسلامة والجدولة
توفير تحليل مكاني-زمني: تحديد الشكاوى أو نقاط الاهتمام المتكررة في مواقع جغرافية محددة
التحقق من فعالية الإطار: التحقق من خلال دراسة حالة نظام مترو نيويورك والمقارنة مع استطلاعات هيئة النقل الحضري الرسمية
بناء حل قابل للتوسع: قابل للتطبيق في مناطق وفترات زمنية مختلفة ومع مقدمي خدمات متعددين

شرح تفصيلي للمنهجية

تعريف المهمة

المدخلات: نصوص تغريدات تويتر والطوابع الزمنية والعلامات الجغرافية المخرجات: تصنيف فئة التغريدة والقطبية العاطفية وتقييم الشدة وتحليل التوزيع المكاني القيود: يجب أن تكون التغريدات ذات صلة بنظام النقل العام، وتتطلب معالجة اللغة غير الرسمية والتعبيرات الخاصة بوسائل التواصل الاجتماعي

معمارية النموذج

1. جمع البيانات والمعالجة المسبقة

مصادر البيانات: تم جمعها عبر واجهة برمجة تطبيقات تويتر وأداة snscrape
استراتيجية البحث: استخدام 10 كلمات بحث فريدة ("MTA"، "NYC SUBWAY" وغيرها) و12 موقعاً ذا صلة
معالجة التصفية: إزالة التغريدات المكررة والروابط المضمنة
حجم البيانات: تم أخذ عينة عشوائية من 36,000 تغريدة من 102,530 تغريدة للتحليل

2. وحدة التصنيف بالتعلم بعدد قليل من الأمثلة

اختيار النموذج: OpenAI GPT-3.5 Turbo فئات التصنيف:

النظافة والصيانة: مناقشة مشاكل النظافة والصيانة في نظام المترو
الجدولة والعمليات: تتعلق بجداول المترو والتأخيرات والالتزام بالمواعيد
السلامة والأمان: تسليط الضوء على مخاوف السلامة والأمان للمستخدمين
أخرى: التغريدات غير ذات الصلة بتجربة مستخدمي النقل العام

إعداد التعلم بعدد قليل من الأمثلة: استخدام 5 عينات لكل فئة للتدريب، مما يحقق توازناً بين الأداء وكفاءة الموارد

3. وحدة تحليل المشاعر VADER

المبدأ الأساسي: يعتمد على قاموس المشاعر المُنشأ مسبقاً، يقوم بتعيين الميزات المعجمية إلى تقييمات شدة المشاعر نطاق التقييم: تقييمات على مستوى الكلمة من -4 إلى 4، تقييم مركب على مستوى الجملة من -1 إلى +1 صيغة التطبيع: $CSC_i = \frac{x_i}{\sqrt{x_i^2 + \alpha}}$ حيث $x_i$ هو مجموع تقييمات المشاعر للكلمات المكونة في التغريدة i، و $\alpha=15$ هو معامل التطبيع

عتبات تصنيف المشاعر:

المشاعر الإيجابية: التقييم المركب > 0.1
المشاعر السلبية: التقييم المركب < -0.1
المشاعر المحايدة: -0.1 ≤ التقييم المركب ≤ 0.1

نقاط الابتكار التقني

تطبيق التعلم بعدد قليل من الأمثلة: يحل مشكلة صعوبة تصنيف التغريدات على نطاق واسع، ويتطلب فقط عدداً قليلاً من العينات المصنفة لتحقيق دقة عالية
إطار عمل التحليل متعدد الأنماط: يأخذ في الاعتبار بشكل متزامن أبعاد التصنيف والمشاعر والمكان
استراتيجية التعيين المكاني: يقوم بتعيين التغريدات ذات العلامات الجغرافية إلى محطات مترو ضمن نطاق نصف قطر 1 ميل، مما يحقق تحليلاً مكانياً دقيقاً
القدرة على المعالجة الفورية: تم تصميم الإطار لدعم المعالجة والتحليل الفوري لبيانات وسائل التواصل الاجتماعي على نطاق واسع

إعداد التجربة

مجموعة البيانات

اسم مجموعة البيانات: بيانات تويتر المتعلقة بنظام مترو نيويورك
حجم البيانات: 36,000 تغريدة (مأخوذة من 102,530 تغريدة)
النطاق الزمني: السنة الكاملة 2022
النطاق الجغرافي: منطقة خدمة مترو نيويورك والمناطق الممتدة
مجموعة التحقق: 500 تغريدة مصنفة يدوياً للتحقق من النموذج

مقاييس التقييم

أداء التصنيف: الدقة (Precision) والاستدعاء (Recall) و F1-Score
تحليل المشاعر: التقييم المركب للمشاعر وتوزيع القطبية العاطفية
التحليل المكاني: خرائط حرارية للتوزيع الجغرافي والتجميع الإقليمي للمشاعر

الطرق المقارنة

المقارنة المرجعية: نتائج استطلاع العملاء لهيئة النقل الحضري في خريف 2022
المقارنة الزمنية: اتجاهات التغيير بين استطلاعات هيئة النقل الحضري في الربيع والخريف

تفاصيل التنفيذ

نموذج التصنيف: GPT-3.5 Turbo، إعداد التعلم بعدد قليل من الأمثلة بـ 5 عينات لكل فئة
تحليل المشاعر: نموذج VADER، بدون خطوات معالجة مسبقة
التحليل المكاني: استراتيجية تعيين محطات المترو بنطاق نصف قطر 1 ميل

نتائج التجربة

النتائج الرئيسية

أداء التصنيف

المقياس	القيمة
الدقة (Precision)	0.9456
الاستدعاء (Recall)	0.9420
F1-Score	0.9425

توزيع تصنيف التغريدات

الفئة	عدد التغريدات	النسبة المئوية
النظافة/الصيانة	1,667	4.6%
الجدولة/العمليات	6,050	16.8%
السلامة/الأمان	7,708	21.5%
أخرى	20,575	57.1%

النتائج الرئيسية: السلامة والأمان هما أعلى نقاط الاهتمام (21.5%)، يليهما مشاكل الجدولة (16.8%)

تحليل الاتجاهات الزمنية

فترات أفضل الرضا: مارس والأشهر الصيفية (يونيو-سبتمبر)
التغير في نسبة التغريدات السلبية: انخفضت من 33% في أبريل-مايو إلى 28% في يونيو-أغسطس
التوافق مع استطلاع هيئة النقل الحضري: أظهر استطلاع الخريف 2022 رضا 54% من عملاء المترو، بزيادة 6 نقاط مئوية عن استطلاع الربيع

نتائج التحليل المكاني

مناطق تركيز الاهتمام بالسلامة: منطقة وسط المدينة والمنطقة المالية
مناطق بروز مشاكل الجدولة: مانهاتن العليا وكوينز
مناطق التغذية الراجعة السلبية المستمرة: تايمز سكوير وسنترال بارك وغيرها من المناطق السياحية ذات الحركة العالية
مناطق مشاكل السلامة المحددة: الجانب الشرقي العلوي وشرق هارلم

تحليل الحالات

توفر الورقة البحثية 8 حالات تغريدة محددة، توضح قدرة الإطار على التعامل مع المشاعر المعقدة (مثل السخرية) والتصنيف الدقيق. على سبيل المثال:

تغريدة صيانة سلبية: "Why would you WANT to ride the subway without a mask? It is so stinky" (التقييم: -0.6651)
تغريدة جدولة إيجابية: تغريدة تشكر موظفي القطار على إبقاء الأبواب مفتوحة (التقييم: 0.7701)

الأعمال ذات الصلة

تطبيق تحليل المشاعر في النقل العام

طرق التعلم الآلي: SVM والبايز الساذج وأشجار القرار و BERT وغيرها
طرق القاموس: SentiWordNet و VADER و TextBlob و Afinn و LIWC وغيرها
حالات التطبيق: دراسات تحليل المشاعر لهيئة النقل في شيكاغو ونظام مترو لندن

تطبيق بيانات وسائل التواصل الاجتماعي في أبحاث النقل

نموذج T-MAPS: نموذج مكاني-زمني لرؤى النقل في نيويورك
نظام النقل العام في سنغافورة: تتبع الرأي العام الفوري في ساعات الذروة
نظام النقل العام في تورنتو: تصنيف موضوعات منشورات وسائل التواصل الاجتماعي

تصنيف الموضوعات وتحديات تصنيف البيانات الضخمة

قيود الطرق التقليدية: تتطلب كمية كبيرة من البيانات المصنفة، وتفتقر إلى القدرة على التعميم
مزايا النماذج المدربة مسبقاً: قدرة التعلم بعدد قليل من الأمثلة لنماذج اللغة الكبيرة مثل GPT و LLaMA
تطبيقات التعلم بعدد قليل من الأمثلة: تصنيف تقييمات الأفلام والملاحظات على المنتجات وتصنيف نوايا الأنظمة الحوارية وغيرها

الخلاصات والمناقشة

الخلاصات الرئيسية

فعالية الإطار: يمكن لإطار معالجة اللغة الطبيعية المقترح تصنيف التغريدات بدقة وقياس شدة المشاعر بدقة عالية، مع توافق عالي مع نتائج الاستطلاعات الرسمية
فعالية التكلفة: يمكن لتحليل بيانات وسائل التواصل الاجتماعي أن يكون بديلاً أو مكملاً قابلاً للتطبيق للاستطلاعات المكلفة للمستخدمين
الدقة الجغرافية: القدرة على تحديد نقاط تركيز المشاكل في مناطق جغرافية محددة، مما يدعم تخصيص الموارد الدقيق
القدرة على المراقبة الفورية: توفير مراقبة مستمرة للرأي العام ودعم صنع القرار المستند إلى البيانات

القيود

انحياز البيانات: مجموعة مستخدمي وسائل التواصل الاجتماعي منحازة نحو المستخدمين الأصغر سناً، وقد لا تمثل بشكل كامل جميع مجموعات الركاب
الدقة الجغرافية: قد تكون العلامات الجغرافية للتغريدات غير دقيقة، واستراتيجية التعيين بنطاق 1 ميل تحتوي على أخطاء
تعقيد اللغة: التعبيرات اللغوية المعقدة مثل السخرية والعامية لا تزال تشكل تحديات
الخصوصية والأخلاقيات: يتطلب استخدام بيانات وسائل التواصل الاجتماعي العامة معالجة حذرة لقضايا الخصوصية والأخلاقيات

الاتجاهات المستقبلية

دعم متعدد اللغات: توسيع الإطار للتعامل مع بيانات التغريدات متعددة اللغات
تحسين المعالجة الفورية: تحسين القدرة على المعالجة الفورية للبيانات على نطاق واسع
التطبيق عبر المجالات: تطبيق الإطار على خدمات نقل أخرى مثل المطارات والنقل العام والمواقف والنقل المشترك
تحليل سياسات الأسعار: تقييم تأثير التغييرات في الأسعار على رضا المستخدمين

التقييم المتعمق

المزايا

قوة الابتكار المنهجي: الجمع بين التعلم بعدد قليل من الأمثلة وتحليل المشاعر VADER مبتكر وفعال في حل صعوبة التصنيف على نطاق واسع
تصميم التجربة الشامل: تحليل واسع النطاق لـ 36,000 تغريدة، التحقق من 500 تغريدة مصنفة يدوياً، والمقارنة مع الاستطلاعات الرسمية
قيمة عملية عالية: توفير بديل فعال من حيث التكلفة لجمع ملاحظات المستخدمين لهيئات النقل العام
تحليل مكاني متعمق: يوفر تحليل المشاعر على البعد الجغرافي دعماً قوياً للتدخل الدقيق
مصداقية النتائج العالية: يعزز توافق النتائج مع استطلاعات هيئة النقل الحضري الرسمية مصداقية الإطار

أوجه القصور

القدرة المحدودة على التعميم: تم التحقق فقط في نظام مترو نيويورك، وتتطلب قابلية التطبيق في مدن أخرى وأنظمة نقل أخرى مزيداً من التحقق
محدودية النطاق الزمني: تحليل بيانات 2022 فقط، وتحليل الاتجاهات طويلة الأجل غير كافٍ
الاعتماد التقني: يعتمد على واجهات برمجة التطبيقات التجارية (GPT-3.5)، وقد يواجه مشاكل التكلفة والتوفر
مقاييس التقييم الفردية: يعتمد بشكل أساسي على المقارنة مع الاستطلاعات الرسمية، ويفتقر إلى التحقق من أبعاد أكثر

التأثير

المساهمة الأكاديمية: توفير إطار منهجي جديد لتحليل بيانات وسائل التواصل الاجتماعي في مجال النقل
القيمة العملية: توفير حل تقني قابل للتطبيق لهيئات النقل العام في جميع أنحاء العالم
الرؤى السياسية: دعم صنع سياسات النقل المستندة إلى البيانات وتحسين تخصيص الموارد
الإلهام عبر المجالات: يمكن توسيع الطريقة لتطبيقها على تحليل ملاحظات المستخدمين في مجالات الخدمات العامة الأخرى

السيناريوهات القابلة للتطبيق

تحسين أنظمة النقل العام: تحسين الخدمات في أنظمة المترو والحافلات والقطارات الخفيفة وغيرها
التخطيط الحضري: التخطيط لبنية النقل الأساسية بناءً على ملاحظات المستخدمين
الاستجابة للطوارئ: مراقبة المشاعر العامة أثناء حوادث النقل أو انقطاع الخدمة
تقييم السياسات: التقييم الفوري لفعالية سياسات النقل
التطبيقات التجارية: تحليل تجربة المستخدم لخدمات النقل التجارية مثل النقل المشترك وخدمات سيارات الأجرة

المراجع

تستشهد الورقة البحثية بـ 64 مرجعاً ذا صلة، تغطي مجالات متعددة مثل تحليل المشاعر ومعالجة اللغة الطبيعية وأبحاث النقل وتحليل وسائل التواصل الاجتماعي، مما يوفر أساساً نظرياً قوياً ودعماً منهجياً لهذا البحث.

التقييم الشامل: هذه ورقة بحثية عالية الجودة في البحث التطبيقي، نجحت في تطبيق تقنيات معالجة اللغة الطبيعية المتقدمة على مشاكل النقل الحضري الفعلية. تتمتع الورقة بابتكار منهجي وتجارب شاملة ونتائج موثوقة، مع قيمة أكاديمية وعملية مهمة. على الرغم من وجود بعض القيود، فإنها توفر مسار تقني وخبرة عملية قيمة للتحول الرقمي في مجال النقل.