Erkennung von Verschwörungstheorien gegen COVID-19-Impfstoffe

Grundinformationen

• Paper-ID: 2211.13003
• Titel: Detecting Conspiracy Theory Against COVID-19 Vaccines
• Autoren: Md Hasibul Amin, Harika Madanu, Sahithi Lavu, Hadi Mansourifar, Dana Alsagheer, Weidong Shi (University of Houston)
• Klassifizierung: cs.CY (Computers and Society), cs.AI, cs.CL, cs.LG, cs.SI
• Veröffentlichungsdatum: 20. November 2022 (arXiv-Preprint)
• Paper-Link: https://arxiv.org/abs/2211.13003

Zusammenfassung

Seit Beginn der Impfstoffversuche sind soziale Medien mit impfstoffkritischen Äußerungen und Verschwörungstheorien überschwemmt. Mit zunehmenden COVID-19-Fallzahlen verbreiten Online-Plattformen und einige Nachrichtenportale verschiedene Verschwörungstheorien. Die beliebtesten Verschwörungstheorien umfassen die Behauptung, dass 5G-Netzwerke COVID-19 verbreiten, oder dass die chinesische Regierung das Virus als Biowaffe verbreitet – Narrative, die ursprünglich rassistische Hassgefühle auslösten. Während gewisses Misstrauen gesellschaftlich weniger schädlich ist, verursachen andere Verschwörungstheorien erhebliche Schäden. Beispielsweise führte die 5G-Verschwörungstheorie zur Zerstörung von 5G-Basisstationen, und der Glaube an die chinesische Biowaffen-Theorie förderte Anschläge auf asiatisch-amerikanische Personen. Eine weitere verbreitete Verschwörungstheorie besagt, dass Bill Gates durch die Einleitung von Massenimpfkampagnen jeden überwachen und COVID-19 verbreiten möchte. Solche Verschwörungstheorien erzeugen Misstrauen in der Bevölkerung und führen zu Impfskepsis. Diese Studie zielt darauf ab, Verschwörungstheorien gegen Impfstoffe auf sozialen Plattformen zu entdecken. Die Forscher führten eine Sentimentanalyse an 598 einzigartigen Beispielkommentaren zu COVID-19-Impfstoffen durch und verwendeten zwei verschiedene Modelle – BERT und die Perspective API – um die Sentimentalität und Toxizität von Sätzen gegenüber COVID-19-Impfstoffen zu identifizieren.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Studie ist die automatische Erkennung und Identifikation von Verschwörungstheorie-Äußerungen gegen COVID-19-Impfstoffe in sozialen Medien. Dies umfasst konkret:

1. Identifikation impfstoffkritischer Stimmungen und Verschwörungstheorien-Standpunkte
2. Bewertung der Toxizität und Aggressivität von Kommentaren
3. Verständnis der Verteilung öffentlicher Haltungen gegenüber Impfstoffen

Bedeutung des Problems

Dieses Problem hat wichtige gesellschaftliche Auswirkungen:

1. Bedrohung der öffentlichen Gesundheit: Nach WHO-Daten waren bis September 2022 weltweit 613 Millionen Menschen mit COVID-19 infiziert, über 6,5 Millionen starben
2. Gesellschaftliche Zerstörung: Verschwörungstheorien führten zu tatsächlichen Gewalttaten, wie der Zerstörung von 5G-Basisstationen und Angriffen auf asiatisch-amerikanische Personen
3. Impfskepsis: Falschinformationen erzeugen öffentliches Misstrauen gegenüber Impfstoffen und behindern Massenimpfkampagnen
4. Geschwindigkeit der Informationsverbreitung: Forschungen zeigen, dass Falschnachrichten eine Million Mal schneller verbreitet werden als echte Nachrichten

Einschränkungen bestehender Methoden

1. Erkennungskomplexität: Nutzer sozialer Medien verwenden Emojis, einzigartige Begriffe und Symbole, was die Textkategorisierung erschwert
2. Sprachliche Vielfalt: Satzstrukturen und Sentimentausdrücke unterscheiden sich zwischen verschiedenen Sprachen erheblich
3. Annotationsschwierigkeiten: In einigen Fällen ist es schwierig zu unterscheiden, welche Kommentare gültig und welche falsch sind

Kernbeiträge

1. Konstruktion eines Datensatzes zur Erkennung von COVID-19-Impfstoff-Verschwörungstheorien: Sammlung und Annotation von 598 englischsprachigen Kommentaren aus sozialen Medien in Nordamerika
2. Vorschlag eines Dual-Modell-Erkennungsrahmens: Kombination von BERT-Modell und Google Perspective API für Sentimentanalyse und Toxizitätserkennung
3. Durchführung umfassender Vergleichsexperimente: Bewertung der Modellleistung mit drei verschiedenen Klassifikatoren (logistische Regression, XGBoost, Gaußscher naiver Bayes)
4. Bereitstellung von Benchmark-Ergebnissen für die Verschwörungstheorie-Erkennung: Referenzleistung für nachfolgende Forschung

Methodische Details

Aufgabendefinition

• Eingabe: Textkommentare zu COVID-19-Impfstoffen aus sozialen Medien
• Ausgabe: Binäre Klassifizierungslabels (0: neutral oder impfstoffbefürwortend, 1: impfstoffkritisch/Verschwörungstheorie)
• Zusätzliche Ausgabe: Toxizitätswerte, Aggressivitätswerte und weitere multidimensionale Bewertungsmetriken

Datenerfassung und Vorverarbeitung

1. Datenerfassung:
   • Anfängliche Erfassung von 950 Benutzerkommentaren
   • Quellen: verschiedene Online-Nachrichtenportale und deren Facebook-Seiten
   • Manuelle Erfassungsmethode
2. Datenbereinigung:
   • Entfernung von doppelten und ähnlichen Kommentaren
   • Filterung nicht-englischer Kommentare
   • Endgültige Beibehaltung von 598 Beispielkommentaren
3. Datenannotation:
   • Manuelle Lektüre und Annotation aller Kommentare
   • Binäre Labels: 0 (neutral/befürwortend) und 1 (kritisch/Verschwörungstheorie)
   • Sicherung ausgewogener Labelverteilung
4. Vorverarbeitungsschritte:
   • Entfernung von Rauschen und Stoppwörtern
   • Umwandlung in Kleinbuchstaben
   • Korrektur häufiger Abkürzungen (z.B. vac→vaccine, CVD→Covid)

Modellarchitektur

BERT-Modell

• Modellwahl: BERT-Base, Uncased
• Architekturparameter:
  • 12 Transformer-Schichten
  • 768 verborgene Einheiten
  • 12 Aufmerksamkeitsköpfe
  • 110 Millionen Parameter
• Merkmale:
  • Bidirektionale Encoder-Repräsentation
  • Verwendung von WordPiece-Embeddings mit Vokabulgröße von 30.000
  • Satzebenen-Vektortraining zur Extraktion von mehr Kontextinformationen

Google Perspective API

• Funktion: Verwendung von Machine-Learning-Techniken zur Identifikation missbräuchlicher Kommentare
• Erkennungsdimensionen:
  • Toxizität (Toxicity)
  • Schweregrad (Severe)
  • Identitätsangriff (Identity Attack)
  • Beleidigung (Insult)
  • Obszönität (Profanity)
  • Bedrohung (Threat)
  • Sexuelle Explizitheit (Sexually Explicit)
  • Flirtation (Flirtation)
• Ausgabe: Bewertung von 0-1 für jede Dimension

Klassifikator-Einstellung

Verwendung von drei verschiedenen Klassifikatoren für Vergleiche:

1. Logistische Regression (LR)
2. XGBoost
3. Gaußscher naiver Bayes (NB)

Experimentelle Einrichtung

Datensatz-Charakteristiken

• Gesamtzahl der Stichproben: 598 Kommentare
• Labelverteilung: Ausgewogene Verteilung (ca. 50% befürwortend, 50% kritisch)
• Geografischer Umfang: Hauptsächlich aus Nordamerika
• Sprache: Nur englischsprachige Kommentare
• Datenschutz: Keine persönlichen Informationen (Namen, Standort, Geschlecht usw.)

Bewertungsmetriken

• Genauigkeit (Accuracy)
• F1-Score
• Präzision (Precision)
• Recall

Validierungsmethode

• 10-fache Kreuzvalidierung: Gewährleistung der Zuverlässigkeit und Generalisierungsfähigkeit der Ergebnisse
• Trainings-Validierungs-Aufteilung: Bewertung der Modellleistung

Experimentelle Ergebnisse

Hauptergebnisvergleich

BERT-Modellleistung

Perspective API-Leistung

Wichtigste Erkenntnisse

1. Beste Leistung: Google Perspective API + Gaußscher naiver Bayes erreichte 75% Genauigkeit
2. BERT-Leistung: BERT + logistische Regression-Kombination erreichte 69% Genauigkeit
3. Datenmenge-Auswirkung: Erhöhung der Datenmenge von 400 auf 598 verbesserte die Leistung beider Modelle um 8-9%
4. Toxizitätserkennung: Die Perspective API kann das Missbrauchsniveau und die Toxizität von Kommentaren effektiv identifizieren

Beispiele für Perspective API-Toxizitätsbewertungen

Das Paper bietet konkrete Beispiele für Toxizitätsbewertungen, die multidimensionale Bewertungen verschiedener Kommentartypen zeigen und intuitive Einblicke in das Modellverhalten bieten.

Verwandte Arbeiten

Aktueller Stand der Verschwörungstheorie-Forschung

1. Verbreitung: Etwa 1/4 bis 1/3 der nordamerikanischen Bevölkerung äußert verschwörungstheoretische Ansichten
2. COVID-19-bezogen: Eine US-Umfrage von 2020 zeigte, dass etwa 5% der Menschen glauben, COVID-19 sei geplant, 20% halten es für möglich
3. Verbreitungsmechanismus: Soziale Medien beeinflussen Meinungen leichter als traditionelle Kommunikationsmittel

Technische Methoden

1. Text Mining: Beliebte Methode zur Erkennung von Verschwörungstheorien
2. Deep Learning: Zeigt gute Leistung bei der Erkennung semantischer Inhalte
3. Sentimentanalyse-Tools: Anwendung von BERT und Perspective API bei Sentiment- und Toxizitätserkennung

Forschung zu gesellschaftlichen Auswirkungen

1. Politische Faktoren: Politische Agenden spielen eine wichtige Rolle bei Impfskepsis
2. Medieneinfluss: Mainstream-Fernsehnachrichten und politische Agenden haben großen Einfluss auf Verschwörungstheorien-Überzeugungen
3. Psychologische Mechanismen: Psychologische Grundlagen der Verschwörungstheorie-Verbreitung

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Erkennungsmachbarkeit: Machine-Learning-Methoden können COVID-19-Impfstoff-Verschwörungstheorien effektiv erkennen
2. Bedeutung der Modellwahl: Unterschiedliche Modell- und Klassifikator-Kombinationen zeigen signifikante Leistungsunterschiede
3. Auswirkung der Datenqualität: Erhöhung der Datenmenge verbessert die Modellleistung erheblich
4. Gesellschaftliche Haltungs-Einblicke: Die Anzahl impfstoffbefürwortender Kommentare ist geringer als impfstoffkritischer Kommentare

Einschränkungen

1. Geografische Einschränkung: Beispieldaten stammen hauptsächlich aus Nordamerika und können nicht genau die Ansichten anderer Regionen widerspiegeln
2. Datengröße: Manuell erfasste Stichprobendaten sind nicht groß genug, um globale Verschwörungstheorien zu repräsentieren
3. Fehlende Benutzerinformationen: Keine Erfassung von Benutzerinformationen, keine demografische Analyse nach Alter usw.
4. Annotationssubjektivität: In einigen Fällen ist es schwierig, die Authentizität von Kommentaren zu beurteilen

Zukünftige Richtungen

1. Datenskalierung: Erfassung größerer und vielfältigerer Datensätze
2. Mehrsprachige Unterstützung: Erweiterung auf andere Sprachen und kulturelle Kontexte
3. Benutzerprofilanalyse: Tiefere Analyse unter Einbeziehung demografischer Benutzerinformationen
4. Echtzeit-Überwachungssystem: Entwicklung eines Echtzeit-Erkennungs- und Warnsystems für Verschwörungstheorien

Tiefgreifende Bewertung

Stärken

1. Problemrelevanz: Adressierung des wichtigen gesellschaftlichen Problems von COVID-19-Impfstoff-Verschwörungstheorien
2. Umfassender Methodenvergleich: Vergleichende Validierung mit zwei verschiedenen technischen Ansätzen
3. Angemessenes Experimentdesign: Verwendung von 10-facher Kreuzvalidierung und mehreren Bewertungsmetriken
4. Transparente Ergebnisse: Bereitstellung konkreter Leistungswerte und Fallstudien
5. Gesellschaftlicher Wert: Forschungsergebnisse sind relevant für die Formulierung von Maßnahmen im Bereich der öffentlichen Gesundheit

Mängel

1. Datensatz-Größenlimitation: 598 Stichproben sind relativ klein und können die Generalisierungsfähigkeit des Modells beeinträchtigen
2. Geografische und kulturelle Verzerrung: Beschränkung auf englischsprachige Kommentare aus Nordamerika, fehlende globale Repräsentativität
3. Annotationsqualität: Manuelle Annotationen können subjektiv sein, fehlende Bewertung der Übereinstimmung zwischen Annotatoren
4. Begrenzte technische Innovation: Hauptsächlich Anwendung bestehender Modelle, begrenzte methodologische Innovationen
5. Unzureichende Tiefenanalyse: Mangelnde tiefere Analyse von Verschwörungstheorie-Typen und Verbreitungsmechanismen

Einfluss

1. Akademischer Beitrag: Bereitstellung grundlegender Daten und Methoden für COVID-19-bezogene rechnergestützte Sozialwissenschaften
2. Praktischer Wert: Kann technische Unterstützung für Content-Moderation auf sozialen Medien bieten
3. Politische Referenz: Bereitstellung von Datenstütze für öffentliche Gesundheitsbehörden zur Formulierung von Anti-Verschwörungstheorie-Strategien
4. Reproduzierbarkeit: Autoren verpflichten sich, Daten und Code auf GitHub bereitzustellen, was die Reproduzierbarkeit der Forschung erhöht

Anwendungsszenarien

1. Social-Media-Überwachung: Echtzeiterkennung und Kennzeichnung von impfstoffbezogenen Verschwörungstheorie-Inhalten
2. Öffentliche Gesundheitskommunikation: Bewertung der Wirksamkeit von Impfstoff-Kampagnen und öffentlichen Reaktionen
3. Politische Entscheidungsfindung: Bereitstellung quantitativer Analysen öffentlicher Haltungen für Regierungsbehörden
4. Forschungsgrundlage: Bereitstellung von Benchmark-Datensätzen für nachfolgende Verschwörungstheorie-Erkennungs- und Analysestudien

Literaturverzeichnis

Das Paper zitiert 46 relevante Literaturquellen, die Psychologie von Verschwörungstheorien, Social-Media-Analyse, Verarbeitung natürlicher Sprache, öffentliche Gesundheit und andere Bereiche abdecken, was die interdisziplinäre Natur der Forschung und die Solidität der theoretischen Grundlagen widerspiegelt.

Gesamtbewertung: Dies ist eine anwendungsorientierte Forschung zu einem wichtigen gesellschaftlichen Problem. Obwohl die technische Innovation relativ begrenzt ist, hat sie wichtigen gesellschaftlichen Wert und praktische Bedeutung. Die Forschungsmethode ist angemessen und das Experimentdesign relativ vollständig, mit Ergebnissen von gewissem Referenzwert. Zukünftige Verbesserungen sind in den Bereichen Datengröße, geografische Abdeckung und technische Innovation erforderlich.