Charakterisierung der Websuche im Zeitalter generativer KI

Grundinformationen

• Paper-ID: 2510.11560
• Titel: Characterizing Web Search in The Age of Generative AI
• Autoren: Elisabeth Kirsten, Jost Grosse Perdekamp, Mihir Upadhyay, Krishna P. Gummadi, Muhammad Bilal Zafar
• Institutionen: Ruhr-Universität Bochum, UAR RC Trust, MPI-SWS
• Klassifizierung: cs.IR cs.AI
• Veröffentlichungsdatum: 13. Oktober 2025
• Paper-Link: https://arxiv.org/abs/2510.11560

Zusammenfassung

Das Aufkommen großer Sprachmodelle (LLMs) hat eine neue Form der Websuche hervorgebracht: generative Suche, bei der LLMs webbasierte Inhalte abrufen, die mit einer Anfrage relevant sind, und eine einzelne, kohärente Textantwort generieren. Dieser Ausgabemodus steht in starkem Kontrast zur traditionellen Websuche, die eine Rangliste unabhängiger Webseiten zurückgibt. Diese Arbeit untersucht, in welchen Dimensionen sich die Ausgaben generativer Suche von der traditionellen Websuche unterscheiden. Die Studie vergleicht die traditionelle Google-Suchmaschine mit vier generativen Suchmaschinen von Google und OpenAI über Anfragen aus vier Domänen. Die Analyse offenbart bemerkenswerte Unterschiede: Die meisten generativen Suchmaschinen decken eine breitere Palette von Informationsquellen ab als die traditionelle Websuche; generative Suchmaschinen unterscheiden sich in ihrer Abhängigkeit von internem Modellwissen gegenüber externem, aus dem Web abgerufenem Wissen; generative Suchmaschinen präsentieren unterschiedliche Konzeptmengen, was neue Möglichkeiten zur Verbesserung der Suchvielfalt und zufälligen Entdeckung schafft.

Forschungshintergrund und Motivation

Problemdefinition

Mit dem Aufstieg generativer KI entwickelt sich die Websuche in eine Richtung, die stärker auf großen Sprachmodellen basiert. Traditionelle Suchmaschinen geben eine Rangliste von etwa 10 Suchergebnissen zurück, während generative Suchsysteme durch LLM-Chatbots natürlichsprachige Antworten liefern. Dieser Paradigmenwechsel führt zu drei Schlüsseldifferenzen:

1. Unterschiedliche Ausgabeformate: Traditionelle Suche gibt unabhängige Webseiten zurück, generative Suche bildet einen einzelnen kohärenten Textblock
2. Breitere Abdeckung: Generative Suche kann Inhalte aus weit mehr als 10 Quellen zusammenfassen
3. Gemischte Wissensquellen: Kombination von externem Abrufwissen und internem LLM-Wissen

Forschungsbedeutung

Das Verständnis dieser Unterschiede ist entscheidend für die Bewertung der Suchqualität, Informationsvielfalt und Benutzererfahrung. Bestehende Suchbewertungsmetriken sind hauptsächlich für Ranglisten konzipiert und können nicht direkt auf die zusammengefassten Ausgaben generativer Suche angewendet werden.

Bestehende Einschränkungen

• Mangel an systematischen Vergleichsstudien zwischen generativer und traditioneller Suche
• Bestehende Bewertungsrahmen sind für generative Suchausgaben ungeeignet
• Mangelnde tiefgreifende Analyse der Informationsquellenauswahl und Konzeptabdeckung generativer Suche

Kernbeiträge

1. Erster systematischer Vergleich: Umfassende Quellen- und Inhaltsanalyse zwischen traditioneller und generativer Suche
2. Mehrdimensionales Analyserahmenwerk: Bewertung von Suchsystemen aus drei Dimensionen: Informationsquellenvielfalt, interne/externe Wissensabhängigkeit, Konzeptabdeckung
3. Großangelegte empirische Studie: Umfassende Experimente über 6 Datensätze und 4.606 Anfragen
4. Aktualitätsanalyse: Bewertung der Fähigkeit verschiedener Suchsysteme, zeitkritische Anfragen zu bearbeiten
5. Innovationen in Bewertungsmethoden: Vorschlag neuer Bewertungsstandards und Methoden für generative Suche

Methodische Details

Aufgabendefinition

Diese Studie zielt darauf ab, drei zentrale Forschungsfragen zu beantworten:

• RQ1: Inwieweit nutzen generative KI-Modelle ihre Fähigkeit, mehr Suchergebnisse zu verarbeiten, um auf vielfältigere Informationsquellen zuzugreifen?
• RQ2: In welchem Umfang verlassen sich generative Suchmaschinen auf externes Netzwissen gegenüber internem LLM-Wissen?
• RQ3: Führt die Abhängigkeit von vielfältigeren Informationsquellen und die Nutzung internen Wissens dazu, dass generative KI-Modelle vielfältigere Ausgaben produzieren?

Experimentelle Architektur

Auswahl der Suchmaschinen

• Traditionelle Suche: Google organische Suchergebnisse (Organic)
• Generative Suche:
  • Google AI Overview (AIO)
  • Gemini-2.5-Flash mit Google Search
  • GPT-4o Search (GPT-Search)
  • GPT-4o mit Search Tool (GPT-Tool)

Analysedimensionen

1. Informationsquellenanalyse:
   • Statistik der Linkanzahl
   • Ranking der Website-Popularität (basierend auf Tranco-Liste)
   • Klassifizierung des Informationsquellentyps (unter Verwendung von Google-Inhaltskategorien und benutzerdefinierten Klassifizierungen)
   • Überlappungsanalyse mit traditionellen Suchergebnissen
2. Inhaltsanalyse:
   • Analyse der Antwortelänge und -struktur
   • Bewertung der Konzeptabdeckung (unter Verwendung des LLooM-Rahmens)
   • Berechnung der Konzeptdichte
   • Analyse der Konzeptüberlappung zwischen Engines

Technische Innovationen

1. Konzeptinduktionsmethode: Verwendung von LLooM (LLM-gestütztes Topic-Inferenz-Framework) für Konzeptentdeckung und -klassifizierung
2. Mehrstufige Überlappungsanalyse: Berechnung der Überlappung auf URL- bis Domänenebene
3. Zeitliche Dimensionsbewertung: Bewertung der Aktualität durch Trend-Anfragen und Zeitstabilitätsanalyse
4. Geografische Validierung: Experimentelle Verifikation an zwei geografischen Standorten (USA und Deutschland)

Experimentelle Einrichtung

Datensätze

Die Studie verwendet 6 Datensätze mit insgesamt 4.606 Anfragen:

1. MS Marco (1.000 Anfragen): Open-Domain-Abrufdatensatz aus echten Bing-Suchanfragen
2. WildChat (1.750 Anfragen): Informationssuchende Anfragen aus ChatGPT-Benutzerinteraktionen
3. AllSides (332 Anfragen): Anfragen basierend auf politischen Themen
4. Regulatory Actions (649 Anfragen): Zeitkritische Anfragen zu Exekutivmaßnahmen der Trump-Regierung
5. Science Queries (453 Anfragen): Wissenschaftliche Themenabfragen basierend auf ACM-Computerkategorien
6. Products (422 Anfragen): Shopping-Anfragen basierend auf den heißesten Amazon-Produkten von 2023

Bewertungsmetriken

1. Informationsquellenmetriken:
   • Linkanzahl pro Anfrage
   • Website-Popularitätsranking
   • Verteilung des Informationsquellentyps
   • URL-/Domänen-Überlappungsrate
2. Inhaltsmetriken:
   • Antwortelänge (Zeichenanzahl)
   • Konzeptabdeckungsrate
   • Konzeptdichte (Konzeptanzahl/Textlänge)
   • Konzeptüberlappung (Jaccard-Ähnlichkeit)
3. Aktualitätsmetriken:
   • Erfolgsquote bei der Verarbeitung von Trend-Anfragen
   • Zeitstabilität (Konsistenz über Zeitpunkte hinweg)

Implementierungsdetails

• Alle Anfragen in englischer Sprache
• Ausführung an zwei geografischen Standorten (USA und Deutschland)
• Temperaturparameter für generative Modelle auf 0 gesetzt (falls unterstützt)
• Maximale neue Token auf 1.000 gesetzt
• Experimentzeitraum: Juli-September 2025

Experimentelle Ergebnisse

Hauptergebnisse

Signifikante Unterschiede bei Informationsquellen

1. Unterschiede in der Abhängigkeit von externem Wissen:
   • GPT-Tool zitiert durchschnittlich nur 0,4 Webseiten pro Anfrage
   • AIO, Gemini und GPT-Search zitieren jeweils 8,6, 8,5 und 4,1 Webseiten
   • Traditionelle Suche gibt konstant 10 Ergebnisse zurück
2. Popularität der Informationsquellen:
   • Traditionelle Suche: 89% der Websites in der Tranco-1M-Liste
   • Generative Suche: 81%-86% in der Liste
   • Von GPT-Tool zitierte Websites haben höheres Ranking (Median 1124 vs. traditionelle Suche 2352)
3. Niedrige Informationsquellenüberlappung:
   • AIO und traditionelle Suche (Top 10 Ergebnisse) Überlappung <50%
   • Überlappung mit Top 100 Ergebnissen nicht über 60%
   • Überlappungsrate im Products-Datensatz nur 30%

Inhaltsanalyseergebnisse

1. Unterschiede in der Antwortelänge:
   • Gemini am längsten (durchschnittlich 2505±552 Zeichen)
   • GPT-Tool am kürzesten (durchschnittlich 1018±219 Zeichen)
   • AIO mittlere Länge aber mehr Links
2. Ähnliche Konzeptabdeckung:
   • Traditionelle Suche (alle Ergebnisse): 78%±14%
   • GPT-Search: 78%±16%
   • Gemini: 77%±14%
   • AIO: 74%±16%
   • GPT-Tool: 71%±16%
3. Verarbeitung mehrdeutiger Anfragen:
   • Traditionelle Suche zeigt beste Leistung bei mehrdeutigen Anfragen (67% Median-Abdeckung)
   • AIO: 55%
   • GPT-Tool: 48%

Aktualitätsanalyse

1. Verarbeitung von Trend-Anfragen:
   • AIO wird nur bei 3% der Trend-Anfragen ausgelöst
   • GPT-Search erreicht höchste Konzeptabdeckungsrate (72%)
   • GPT-Tool zeigt schwache Leistung bei Aktualitätsabfragen (51%)
2. Zeitstabilität:
   • Traditionelle Suche am stabilsten (45% Überlappungsrate)
   • Gemini an zweiter Stelle (40%)
   • AIO zeigt größte Variabilität (18% Überlappungsrate)

Ablationsstudien

Untersuchung der Auswirkungen unterschiedlicher Suchkontextgrößen (niedrig/mittel/hoch) bei GPT-Modellen:

• Suchkontextgröße hat keinen signifikanten Einfluss auf die Informationsquellenauswahl
• Keine offensichtlichen Unterschiede in der Inhaltsqualität
• Konzeptabdeckungsrate bleibt grundsätzlich konsistent

Verwandte Arbeiten

Traditionelle Suchbewertung

• Klassische Metriken wie Relevanz, Vielfalt, Aktualität, Abdeckung
• Ranking-Bewertungsmethoden wie nDCG, α-nDCG
• Forschung zu Vielfalt wie politische Voreingenommenheit, geografische Voreingenommenheit, kommerzielle Voreingenommenheit

Bewertung großer Sprachmodelle

• Bewertung von Fähigkeiten wie Frage-Antwort, Zusammenfassung, Faktische Grundlage, Werkzeugnutzung
• Retrieval-Augmented Generation (RAG)-Technologie
• Anfrageverständnis und Ranking-Anwendungen

Forschung zu generativer Suche

• Bewertung von Verifizierbarkeit, Glaubwürdigkeit, Genauigkeit
• Robustheit gegenüber gegnerischen faktischen Fragen
• Voreingenommenheits- und Gerechtigkeitsprobleme
• Neue Bewertungsprinzipien und Benchmarks

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Informationsquellenvielfalt: Generative Suchmaschinen greifen auf ein breiteres Spektrum von Informationsquellen zu, erhöhen aber nicht unbedingt die Konzeptabdeckung
2. Gleichgewicht zwischen internem und externem Wissen: Generative Suchmaschinen unterscheiden sich stark in ihrer Abhängigkeit von internem gegenüber externem Wissen
3. Vergleichbare Konzeptabdeckung: Trotz unterschiedlicher Informationsquellen ist die Gesamtkonzeptabdeckung ähnlich wie bei traditioneller Suche
4. Herausforderungen bei mehrdeutigen Anfragen: Traditionelle Suche hat bei der Verarbeitung mehrdeutiger Anfragen immer noch Vorteile
5. Unterschiede in der Aktualität: Modelle, die sich auf internes Wissen verlassen, zeigen schwache Leistung bei zeitkritischen Anfragen

Einschränkungen

1. Eingeschränkter Anfragespektrum: Deckt nur ausgewählte Anfrage-Workloads ab, berücksichtigt keine mehrrundigen Dialogsuchen
2. Sprach- und geografische Einschränkungen: Verwendet nur englische Anfragen, getestet nur in zwei Ländern
3. Tiefe der Inhaltsanalyse: Analysiert nur die Top 10 traditionellen Suchergebnisse, geht davon aus, dass Benutzer selten Links anklicken
4. Begrenzte Zeitfenster: Begrenzte Bewertungszeitfenster, längerfristige Längsschnittstudien erforderlich
5. Ausgabedeterminismus: Verwendet nur eine Ausgabe pro Anfrage, misst nicht die Ausgabevariabilität

Zukünftige Richtungen

1. Neue Bewertungsmethoden: Entwicklung von Bewertungsmethoden, die Informationsquellenvielfalt, Konzeptabdeckung und synthetisches Verhalten berücksichtigen
2. Mehrsprachige Erweiterung: Erweiterung auf mehrsprachige Anfragen und mehrrundige Interaktionen
3. Tiefere Inhaltsanalyse: Vergleich der Zusammenfassungsanalyse mit vollständiger Seitenbewertung
4. Längsschnittstudien: Erfassung von Zeitdrift durch Modellaktualisierungen und neue Ereignisse
5. Integration von Faktenchecks: Kombination von Abdeckungsmetriken mit Faktenchecks und Glaubwürdigkeitsbewertung

Tiefgreifende Bewertung

Stärken

1. Umfassende Forschungsgestaltung: Systematischer Vergleich über mehrere Suchmaschinen, Datensätze und geografische Standorte
2. Methodische Innovation: Erstmalige Anwendung von Konzeptinduktionsmethoden auf Suchmaschinen-Vergleiche
3. Hoher praktischer Wert: Wichtige Erkenntnisse für Suchmaschinen-Design und -Bewertung
4. Fokus auf Aktualität: Besondere Aufmerksamkeit auf die Verarbeitung zeitkritischer Anfragen
5. Objektive Neutralität: Zeigt sowohl Vorteile als auch Einschränkungen generativer Suche

Schwächen

1. LLM-abhängige Konzeptanalyse: Die Verwendung von LLM für Konzeptinduktion kann Voreingenommenheit einführen
2. Starke Annahmen: Annahmen wie Benutzer klicken nicht auf Links, überschreiten nicht die Top 10 usw.
3. Einzelne Bewertungsmetriken: Konzentriert sich hauptsächlich auf Konzeptabdeckung, fehlt Genauigkeits- und Glaubwürdigkeitsbewertung
4. Kurzer Zeithorizont: Nur zwei Monate Zeitstabilitätsanalyse möglicherweise unzureichend

Auswirkungen

1. Akademischer Beitrag: Bietet neues theoretisches Rahmenwerk und Methoden für die Bewertung generativer Suche
2. Praktischer Wert: Wichtige Referenz für Suchmaschinen-Entwickler und Benutzer
3. Politische Implikationen: Wissenschaftliche Grundlage für Suchmaschinen-Regulierung und Standardisierung
4. Zukünftige Forschung: Legt Grundlagen für nachfolgende verwandte Forschung

Anwendungsszenarien

1. Suchmaschinen-Bewertung: Anwendbar auf Vergleichsbewertung traditioneller und generativer Suchmaschinen
2. Produktentwicklung: Bietet Orientierung für Suchprodukt-Design und -Optimierung
3. Akademische Forschung: Bietet Methoden und Daten für Forschung in Information Retrieval und KI
4. Benutzeraufklärung: Hilft Benutzern, die Merkmale und Anwendungsszenarien verschiedener Suchtools zu verstehen

Literaturverzeichnis

Das Paper zitiert 41 verwandte Arbeiten, die wichtige Arbeiten in mehreren Forschungsbereichen abdecken, darunter traditionelle Suchbewertung, Bewertung großer Sprachmodelle und generative Suche, und bietet eine solide theoretische Grundlage für die Forschung.

Diese Studie leistet einen wichtigen Beitrag zum Verständnis der Merkmale der Websuche im Zeitalter generativer KI. Sie offenbart nicht nur die Schlüsseldifferenzen zwischen traditioneller und generativer Suche, sondern bietet auch neue Ideen und Methoden für das Design und die Bewertung zukünftiger Suchsysteme.