2025-11-12T22:19:11.052121

Preprint: Poster: Did I Just Browse A Website Written by LLMs?

He, Govindan, Madhyastha
Increasingly, web content is automatically generated by large language models (LLMs) with little human input. We call this "LLM-dominant" content. Since LLMs plagiarize and hallucinate, LLM-dominant content can be unreliable and unethical. Yet, websites rarely disclose such content, and human readers struggle to distinguish it. Thus, we must develop reliable detectors for LLM-dominant content. However, state-of-the-art LLM detectors are inaccurate on web content, because web content has low positive rates, complex markup, and diverse genres, instead of clean, prose-like benchmark data SoTA detectors are optimized for. We propose a highly reliable, scalable pipeline that classifies entire websites. Instead of naively classifying text extracted from each page, we classify each site based on an LLM text detector's outputs of multiple prose-like pages to boost accuracies. We train and evaluate our detector by collecting 2 distinct ground truth datasets totaling 120 sites, and obtain 100% accuracies testing across them. In the wild, we detect a sizable portion of sites as LLM-dominant among 10k sites in search engine results and 10k in Common Crawl archives. We find LLM-dominant sites are growing in prevalence and rank highly in search results, raising questions about their impact on end users and the overall Web ecosystem.
academic

Preprint: Poster: Habe ich gerade eine von LLMs geschriebene Website besucht?

Grundinformationen

  • Papier-ID: 2507.13933
  • Titel: Poster: Did I Just Browse A Website Written by LLMs?
  • Autoren: Sichang Steven He, Ramesh Govindan, Harsha V. Madhyastha (University of Southern California)
  • Klassifizierung: cs.NI cs.AI cs.CL cs.IR
  • Veröffentlichungszeit/Konferenz: IMC '25 (2025 ACM Internet Measurement Conference), 28.–31. Oktober 2025, Madison, WI, USA
  • Papierlink: https://doi.org/10.1145/3730567.3768603

Zusammenfassung

Mit dem Aufstieg großer Sprachmodelle (LLMs) wird zunehmend mehr Webinhalte von LLMs automatisch generiert, mit minimaler menschlicher Eingabe. Die Autoren bezeichnen solche Inhalte als „LLM-dominierte" Inhalte. Aufgrund von Plagiats- und Halluzinationsproblemen bei LLMs können LLM-dominierte Inhalte unzuverlässig und unethisch sein. Allerdings offenbaren Websites solche Inhalte selten, und menschliche Leser haben Schwierigkeiten, sie zu unterscheiden. Daher ist die Entwicklung zuverlässiger LLM-dominierter Inhaltsdetektoren notwendig. Bestehende hochmoderne LLM-Detektoren funktionieren bei Webinhalten schlecht, da diese eine niedrige positive Stichprobenquote, komplexe Markierungen und vielfältige Typen aufweisen, im Gegensatz zu den sauberen Prosa-Benchmark-Datensätzen, auf die bestehende Detektoren optimiert sind.

Dieses Papier schlägt eine hochzuverlässige, skalierbare Pipeline zur Klassifizierung ganzer Websites vor. Anstatt einfach Text zu klassifizieren, der von jeder Seite extrahiert wird, klassifiziert die Methode jede Website basierend auf den Ausgaben eines LLM-Text-Detektors über mehrere Prosa-Seiten, um die Genauigkeit zu verbessern. Durch die Erfassung von zwei verschiedenen realen Datensätzen (insgesamt 120 Websites) für Training und Bewertung wurde eine Genauigkeit von 100% beim Cross-Dataset-Test erreicht. In praktischen Anwendungen wurden beträchtliche Anteile von LLM-dominierten Websites sowohl in Suchmaschinenergebnissen als auch im Common Crawl-Archiv (jeweils 10.000 Websites) erkannt, wobei festgestellt wurde, dass die Verbreitung dieser Websites wächst und sie in Suchergebnissen hoch eingestuft werden.

Forschungshintergrund und Motivation

Problemdefinition

  1. Kernproblem: Wie können von großen Sprachmodellen generierte „LLM-dominierte" Webinhalte zuverlässig erkannt werden?
  2. Problemrelevanz:
    • Von LLMs generierte Inhalte weisen Plagiat- und Halluzinationsprobleme auf und können Benutzer irreführen
    • Das EU-AI-Gesetz verlangt die Offenlegung der KI-Nutzung, aber Websites halten sich selten daran
    • Menschen haben Schwierigkeiten, von LLMs generierte Inhalte zu unterscheiden

Einschränkungen bestehender Methoden

Die Autoren identifizieren drei Schlüsselherausforderungen:

  1. Ungenauigkeit von Textdetektoren: Bestehende hochmoderne Detektoren funktionieren in realen Szenarien mit Anforderungen niedriger Falsch-Positiv-Raten schlecht
  2. Rauschen in Webinhalten: Detektoren sind für saubere Prosa konzipiert und funktionieren schlecht bei vielfältigen Webtypen (wie Linklisten, Datenschutzerklärungen)
  3. Fehlende echte Beschriftungen: Es gibt viele Benchmark-Datensätze für die Erkennung auf Textfragment-Ebene, aber es fehlen Datensätze auf Webseitenebene

Forschungsmotivation

  • KI-Dienste ermöglichen es jedem, kostengünstig Webinhalte in großem Maßstab zu generieren
  • Benutzer haben bereits begonnen, sich über LLM-dominierte Artikel online zu beschweren
  • Es ist notwendig, zuverlässige Erkennungsmethoden zu entwickeln, um die Benutzererfahrung und das Web-Ökosystem zu schützen

Kernbeiträge

  1. Vorschlag einer Website-Ebenen-LLM-Inhaltserkennungs-Pipeline: Verbesserung der Genauigkeit durch Aggregation von Erkennungsergebnissen mehrerer Seiten
  2. Konstruktion von zwei echten Datensätzen aus verschiedenen Quellen: Insgesamt 120 Websites für Training und Bewertung
  3. Erreichung von 100% Cross-Dataset-Genauigkeit: Ausgezeichnete Leistung bei strengem verteilungsabweichendem Test
  4. Bereitstellung einer großflächigen empirischen Studie: Analyse von 20.000 echten Websites zur Offenlegung von Wachstumstrends bei LLM-dominierten Websites
  5. Entdeckung wichtiger Web-Ökosystem-Erkenntnisse: LLM-dominierte Websites werden in Suchergebnissen höher eingestuft und ihre Verbreitung nimmt ständig zu

Methodische Erklärung

Aufgabendefinition

  • Eingabe: Website-URL
  • Ausgabe: Binäres Klassifizierungsergebnis (LLM-dominiert vs. menschlich-dominiert)
  • Einschränkung: Website muss mindestens 15 filterbare Seiten haben

Modellarchitektur

1. Texterfassung (Text Acquisition)

  • Zufallsstichprobe von Seiten aus Sitemaps oder Wayback Machine-Inhaltsindizes
  • Zugriff auf und Rendering von HTML-Seiten mit Chromium
  • Extraktion von Haupttextinhalten mit der Trafilatura-Bibliothek

2. Bewertung und Filterung (Scoring and Filtering)

  • Verwendung des Binoculars-Detektors zur LLM-Texterkennung
  • Anwendung strenger Filterregeln:
    • Filterung kurzer Texte
    • Filterung von Inhalten mit hohem Anteil an Listen, Tabellen und Links
    • Filterung von wiederholten Inhalten auf der Website
  • Sicherstellung, dass der größte Teil des gefilterten Textes in Prosaform vorliegt

3. Aggregatanalyse (Aggregate Analysis)

  • Stichprobenentnahme von 15–20 Seiten pro Website
  • Berechnung des Binoculars-Scores für jede Seite
  • Verwendung von 9 Dezilen des Scores als Merkmalvektor
  • Training einer linearen Support Vector Machine (SVM) zur Website-Klassifizierung

Technische Innovationspunkte

  1. Aggregationsstrategie: Verlässt sich nicht auf Klassifizierungsergebnisse einzelner Seiten, sondern verbessert die Robustheit durch Analyse der Verteilung von Scores mehrerer Seiten
  2. Intelligente Filterung: Speziell für die Vielfalt von Webinhalten konzipierte Filterstrategien
  3. Verteilungsmerkmale: Verwendung von Dezilen zur Erfassung von Verteilungsmerkmalen der Website-Inhalts-Scores
  4. Website-Ebenen-Erkennung: Aufstieg von der Seiten-Ebenen-Erkennung zur Website-Ebenen-Erkennung, besser geeignet für praktische Anwendungen

Experimentelle Einrichtung

Datensätze

Baseline-Datensatz (120 Websites, 2.630 gefilterte Seiten)

  1. Company-Datensatz:
    • 30 menschlich-dominierte Unternehmenswebsites (aus dem Russell 2000 Aktienindex)
    • 30 entsprechende LLM-generierte Websites (mit Wix.com AI Website Builder)
  2. Personal-Datensatz:
    • 30 persönliche Websites (aus IndieWeb Blogs)
    • 30 entsprechende LLM-generierte Websites (mit B12.io)

Wild-Datensatz

  1. Suchmaschinenergebnisse: 17.036 Websites (letztendlich 10.232 gültige Websites)
  2. Common Crawl: 10.479 zufällige Websites (2020–2025)

Bewertungsmetriken

  • Genauigkeit (Accuracy)
  • Falsch-Positiv-Rate (False Positive Rate, FPR)
  • Verallgemeinerungsleistung außerhalb der Verteilung

Vergleichsmethoden

  • Binoculars-Detektor (Seiten-Ebene)
  • Vergleichstests mit 11 anderen Textdetektoren

Implementierungsdetails

  • Verwendung von Binoculars als Basis-Detektor
  • Lineare SVM für endgültige Klassifizierung
  • Stichprobenentnahme von 15–20 Seiten pro Website
  • Verwendung von 9 Dezilen als Merkmale

Experimentelle Ergebnisse

Hauptergebnisse

Baseline-Datensatz-Leistung

  • Cross-Dataset-Genauigkeit: 100% (Company-Training → Personal-Test und umgekehrt)
  • Binoculars-Seiten-Ebenen-Genauigkeit: Maximal 93%
  • SVM-Website-Ebenen-Genauigkeit: 100% (vollständige Trennung von LLM- und menschlichen Websites)

Wild-Erkennungsergebnisse

  1. Suchmaschinenergebnisse:
    • 1.019 LLM-dominierte Websites erkannt (9,96%)
    • LLM-Websites haben keinen signifikanten Nachteil in Suchrangfolgen
    • Entdeckung von verschwommenen Grenzen-Phänomenen (Websites mit teilweise LLM-Inhalten)
  2. Common Crawl-Analyse:
    • Gesamterkennungsrate: 4,30% (451/10.479)
    • Websites nach ChatGPT-Veröffentlichung: 7,25% (358/4.938)
    • Neue Websites 2024–2025: 10,08% (77/764)
    • Falsch-Positiv-Rate: 1,22% (16/1.315, Websites vor ChatGPT)

Wichtige Erkenntnisse

  1. Wachstumstrend: Der Anteil LLM-dominierter Websites nimmt mit der Zeit erheblich zu
  2. Suchverzerrung: Der Anteil von LLM-Websites in Suchmaschinenergebnissen ist viel höher als bei zufälligen Stichproben
  3. Ranking-Auswirkung: Suchmaschinen bestrafen LLM-dominierte Inhalte nicht wirksam
  4. Inhaltsmerkmale: LLM-Websites sind typischerweise generische Blogs mit vielen Anzeigen und gefälschten Autorenangaben

Ablationsstudien

  • Effektivität der Aggregatanalyse: Selbst wenn die Seiten-Ebenen-Detektorgenauigkeit nur 93% beträgt, erreicht die Website-Ebenen-Erkennung immer noch 100%
  • Wichtigkeit der Filterstrategie: Reduziert erheblich die Auswirkungen von Rauschen auf die Erkennungsleistung

Verwandte Arbeiten

Texterkennungsfeld

  • Bestehende Arbeiten konzentrieren sich hauptsächlich auf die Erkennung auf Textfragment-Ebene
  • Detektoren wie Binoculars zeigen gute Leistung unter verschiedenen Angriffen
  • Aber die Genauigkeit in realen Web-Umgebungen ist unzureichend

Web-Inhaltsanalyse

  • Fehlende Erkennungsmethoden, die die Besonderheiten von Webseiten-Inhalten berücksichtigen
  • Bestehende Methoden berücksichtigen nicht die Vielfalt und das Rauschen von Webinhalten

KI-generierte Inhaltserkennnung

  • Hauptsächlich auf das Textfeld konzentriert
  • Fehlende Forschung zu den Auswirkungen auf das gesamte Website-Ökosystem

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Die vorgeschlagene Aggregations-Erkennungs-Pipeline zeigt ausgezeichnete Leistung bei der Website-Ebenen-LLM-Inhaltserkennnung
  2. LLM-dominierte Websites wachsen schnell im Web, besonders in Suchergebnissen
  3. Bestehende Suchmaschinen können LLM-Inhalte nicht wirksam erkennen und herabstufen
  4. Das Web-Ökosystem wird erheblich durch KI-generierte Inhalte beeinflusst

Einschränkungen

  1. Falsch-Positiv-Problem: Es besteht immer noch eine Falsch-Positiv-Rate von 1,22%
  2. Verschwommene Grenzen: Einige Websites enthalten gemischte Inhalte, die schwer genau zu klassifizieren sind
  3. Datensatzgröße: Der Baseline-Datensatz ist relativ klein (120 Websites)
  4. Detektor-Abhängigkeit: Die Leistung wird durch die Qualität des zugrunde liegenden Textdetektors beeinflusst

Zukünftige Richtungen

  1. Untersuchung der Motivationen und Methoden von LLM-Inhalts-Generatoren
  2. Erweiterung auf die Erkennung von KI-generierten Bildern und anderen KI-generierten Inhalten
  3. Quantifizierung der Auswirkungen KI-generierter Inhalte auf das Web-Ökosystem
  4. Verbesserung von Erkennungsmethoden zur Behandlung von Websites mit gemischten Inhalten

Tiefgreifende Bewertung

Stärken

  1. Praktische Problemorientierung: Löst ein wichtiges Problem in der aktuellen Web-Umgebung
  2. Methodische Innovation: Aggregationsmethode vom Seiten-Ebenen- zum Website-Ebenen-Erkennungsaufstieg
  3. Experimentelle Strenge: Cross-Dataset-Validierung gewährleistet die Verallgemeinerbarkeit der Methode
  4. Großflächige Validierung: Tests an 20.000 echten Websites sind überzeugend
  5. Wichtige Erkenntnisse: Offenlegung von Wachstumstrends bei LLM-Inhalten im Web

Mängel

  1. Baseline-Datensatz-Einschränkung: Nur 120 Websites, möglicherweise nicht ausreichend repräsentativ
  2. Detektor-Auswahl: Übermäßige Abhängigkeit von der Binoculars-Leistung
  3. Grenzbehandlung: Behandlungsstrategie für Websites mit gemischten Inhalten nicht ausreichend
  4. Dynamische Anpassungsfähigkeit: Berücksichtigung der schnellen Entwicklung der LLM-Technologie auf die Erkennung nicht berücksichtigt

Auswirkungen

  1. Akademischer Beitrag: Erste systematische Untersuchung der Website-Ebenen-LLM-Inhaltserkennnung
  2. Praktischer Wert: Bereitstellung effektiver Werkzeuge für Suchmaschinen und Inhaltsplattformen
  3. Gesellschaftliche Bedeutung: Hilft bei der Aufrechterhaltung der Webinhaltsqualität und Benutzererfahrung
  4. Reproduzierbarkeit: Klare Methodenbeschreibung, leicht zu reproduzieren und zu verbessern

Anwendungsszenarien

  1. Suchmaschinen-Optimierung: Identifizierung und Herabstufung von minderwertigen KI-generierten Inhalten
  2. Inhaltsplattform-Regulierung: Großflächige Erkennung von KI-generierten Inhalten auf Plattformen
  3. Akademische Forschung: Analyse der Auswirkungen von KI auf das Web-Ökosystem
  4. Regulatorische Compliance: Unterstützung bei der Durchsetzung von KI-Inhalts-Offenlegungsanforderungen

Referenzen

  1. Barbaresi, A. (2021). Trafilatura: A Web Scraping Library and Command-Line Tool for Text Discovery and Extraction. In ACL.
  2. Dugan, L. et al. (2024). RAID: A Shared Benchmark for Robust Evaluation of Machine-Generated Text Detectors. In ACL.
  3. Hans, A. et al. (2024). Spotting llms with binoculars: Zero-shot detection of machine-generated text. In ICML.

Dieses Papier hat große Bedeutung im Bereich der Erkennung von KI-generierten Inhalten. Es bietet nicht nur eine effektive technische Lösung, sondern offenbart durch großflächige empirische Forschung auch die Herausforderungen, denen sich das aktuelle Web-Ökosystem gegenübersieht. Seine Aggregations-Erkennungsstrategie und Website-Ebenen-Analysemethode bieten wertvolle Perspektiven für nachfolgende Forschungen.