Wie Content-Ersteller in KI-Antworten zitiert werden

Wie Content-Ersteller in KI-Antworten zitiert werden

Originalstudie: Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan und Ameet Deshpande, „GEO: Generative Engine Optimization“, KDD 2024. arXiv:2311.09735

Welches Problem die Studie lösen möchte

Suchmaschinen haben in den vergangenen dreißig Jahren den Informationszugang grundlegend verändert. Ihre Grundaufgabe blieb jedoch schlicht: Keywords entgegennehmen und relevante Links zurückgeben; Lesen und Bewerten blieben den Nutzern überlassen. Große Sprachmodelle haben das verändert. Produkte wie BingChat, Googles SGE und Perplexity.ai rufen mehrere Seiten ab, führen deren Informationen zusammen und erzeugen Antworten in natürlicher Sprache mit Quellenverweisen. Die Studie fasst diese Systeme unter folgendem Begriff zusammen: Generative Engine (GE).

Generative Engines nützen den Nutzern durch schnellere Antworten und den Entwicklern durch stärkere Bindung und höheren Geschäftswert. Eine Gruppe bleibt jedoch außen vor: Websites und Content-Autoren. Klassische Suchmaschinen leiten Nutzer zumindest zur ursprünglichen Website weiter. Generative Engines verarbeiten den Inhalt direkt in der Antwort. Nutzer müssen den ursprünglichen Link möglicherweise gar nicht mehr öffnen, wodurch Sichtbarkeit und Traffic der Website sinken. Hinzu kommt, dass die Engines schnell veränderliche Blackboxes sind. Autoren wissen nicht, wie ihre Inhalte abgerufen, zusammengefasst oder zitiert werden, und haben keine Werkzeuge, um ihre Sichtbarkeit zu verbessern.

Die Autoren führen deshalb folgendes Konzept ein: Generative Engine Optimization (GEO) – gewissermaßen die nächste Generation von SEO. Es ist das erste speziell für Content-Autoren entwickelte Konzept zur Optimierung ihrer Sichtbarkeit in generativen Engines. Zur systematischen Bewertung der Methoden erstellen sie zudem einen Benchmark mit rund zehntausend Suchanfragen: GEO-bench. Die Experimente zeigen, dass geeignete Optimierungen die Sichtbarkeit eines Inhalts in Antworten generativer Engines um bis zu 40% steigern können. Auch im realen Produkt Perplexity.ai ließen sich Verbesserungen erzielen, dort um bis zu 37 %.

Wie generative Engines tatsächlich funktionieren

Zunächst definiert die Studie generative Engines formal. Eine solche Engine erhält eine Nutzeranfrage $q_u$ sowie optional Personalisierungsinformationen $P_U$ und erzeugt eine Antwort $r$ in natürlicher Sprache:

$$f_{GE} := (q_u, P_U) \rightarrow r$$

Sie besteht intern aus zwei Komponenten:

• Eine Gruppe von generativen Modellen $G=\{G_1, G_2, ..., G_n\}$, die jeweils Teilaufgaben wie die Umformulierung von Anfragen, die Zusammenfassung oder die abschließende Antworterstellung übernehmen;
• Eine Suchmaschine $SE$, die zu einer Anfrage eine Menge möglicher Quellen $S=\{s_1, s_2, ..., s_m\}$ zurückgibt.

Der in der Studie beschriebene typische Ablauf umfasst drei Schritte. Er ist in Abbildung 2 dargestellt und ähnelt dem damaligen Aufbau von BingChat:

1. Anfrageumformulierung: Ein Umformulierungsmodell $G_{qr}$ zerlegt die ursprüngliche Nutzerfrage in mehrere für die Suche besser geeignete Teilanfragen;
2. Abruf und Zusammenfassung: Die Teilanfragen werden an eine Suchmaschine übergeben, die eine Rangfolge von Quellseiten zurückgibt. Anschließend fasst das Modell $G_{sum}$ jede Quelle zusammen;
3. Antwortgenerierung: Das Antwortmodell $G_{resp}$ verbindet die Zusammenfassungen zu einer zusammenhängenden Antwort mit Quellenverweisen auf Satzebene.

Da große Sprachmodelle halluzinieren können, sind Quellenverweise unverzichtbar. Im Idealfall hat jeder Satz eine stützende Quellenangabe (hoher Citation Recall), und jede Quellenangabe belegt tatsächlich den zugehörigen Satz (hohe Citation Precision). Die Studie konzentriert sich auf Engines mit einem einzelnen Frage-Antwort-Durchgang. Im Anhang wird auch eine Erweiterung auf Gespräche mit mehreren Runden behandelt.

Eine neue Definition von Sichtbarkeit

Die Grundlogik von SEO ist einfach: Je besser die durchschnittliche Platzierung in den Suchergebnissen, desto größer sind Sichtbarkeit und Traffic. Auf generative Engines lässt sich das nicht unmittelbar übertragen. Sie zeigen keine einfache Linkrangliste, sondern verbinden Informationen aus mehreren Quellen in einem Text. Quellenverweise können darin an beliebigen Stellen erscheinen, unterschiedlich umfangreich sein und sehr verschieden dargestellt werden.

Die Studie entwickelt daher speziell für generative Engines geeignete Impression-Kennzahlen nach drei Grundsätzen: praktischer Nutzen für Autoren, Nachvollziehbarkeit und Verständlichkeit auch ohne Spezialwissen. Dazu gehören:

1. Word Count (Wortanteil): die Gesamtzahl der Wörter in Sätzen, die eine Quelle zitieren, geteilt durch die Wortzahl der gesamten Antwort. Zitiert ein Satz mehrere Quellen, wird seine Wortzahl gleichmäßig auf sie verteilt. Die Idee ist einfach: Je mehr Raum die zitierten Inhalte einer Quelle einnehmen, desto sichtbarer ist sie in der Antwort.

2. Position-Adjusted Word Count (positionsgewichteter Wortanteil): erweitert den Wortanteil um eine stärkere Gewichtung zitierter Sätze an frühen Positionen der Antwort, wobei das Gewicht mit der Position exponentiell abnimmt. Untersuchungen zu Klickraten zeigen, dass die Aufmerksamkeit für Suchergebnisse mit dem Rang nach einem Potenzgesetz sinkt. Eine ähnliche Überlegung wird hier auf die Satzreihenfolge in Antworten generativer Engines übertragen.

3. Subjective Impression (subjektiver Eindruck): Die ersten beiden Kennzahlen zählen objektiv. Sichtbarkeit umfasst jedoch auch Aspekte, die sich nicht durch Wortzahlen erfassen lassen: Relevanz für die Frage, Beitrag zur gesamten Antwort, Eigenständigkeit, wahrgenommene Auffälligkeit, Klickwahrscheinlichkeit und Vielfalt der dargestellten Informationen. Die Studie nutzt G-Eval, ein als leistungsfähig geltendes GPT-basiertes automatisches Bewertungsverfahren, um sieben Teildimensionen zu bewerten. Anschließend werden die Werte auf einen mit dem positionsgewichteten Wortanteil vergleichbaren Mittelwert und eine vergleichbare Varianz normiert.

Diese Kennzahlen sind komplexer als ein Blick auf Rankings, entsprechen aber eher dem tatsächlichen Aufbau generierter Antworten. Abbildung 3 vergleicht eine klassische Suchergebnisseite als lineare Rangliste mit einer Antwort, in deren Text Quellenverweise an unterschiedlichen Positionen und in unterschiedlichem Umfang eingeflochten sind. Genau dieser Unterschied macht neue Sichtbarkeitskennzahlen notwendig.

Neun praktisch einsetzbare GEO-Strategien

Nach der Messung folgt die Frage nach der Verbesserung. Die Studie lässt große Sprachmodelle Webseitentexte überarbeiten und prüft 9 Strategien. Jede entspricht im Kern einer Funktion $f: W \rightarrow W’$, die den ursprünglichen Seiteninhalt $W$ in optimierten Inhalt $W’$ überführt:

Keyword Stuffing, Cite Sources und Quotation Addition erfordern zusätzliche Inhalte. Die übrigen sechs Strategien verbessern lediglich die Darstellung, ohne neue Informationen hinzuzufügen. Für einen fairen Vergleich wird pro Anfrage eine mögliche Quellwebsite zufällig ausgewählt, mit jeder der neun Strategien einzeln überarbeitet und anschließend die Veränderung der Sichtbarkeit gemessen.

Bewertung mit GEO-bench

Da damals kein öffentlicher Anfragedatensatz für generative Engines verfügbar war, erstellten die Autoren einen eigenen: GEO-bench. Er umfasst 10.000 Anfragen aus 9 Quellen, aufgeteilt in Trainings-, Validierungs- und Testdaten mit 8000/1000/1000 Einträgen:

• MS MARCO, ORCAS-I und Natural Questions: echte Nutzeranfragen von Bing und Google aus drei etablierten, häufig in der Suchforschung verwendeten Datensätzen;
• AllSouls (Essayfragen des All Souls College der Universität Oxford), LIMA (anspruchsvolle Fragen, die Schlussfolgern und Kreativität erfordern), Davinci-Debate (Debattenfragen), Perplexity.ai Discover (aktuell beliebte Anfragen der Plattform), ELI5 (komplexe Fragen mit Antworten, die so einfach sein sollen, dass ein fünfjähriges Kind sie versteht), und von GPT-4 erzeugte Anfragen (aus Wissenschaft, Geschichte und weiteren Bereichen, mit navigationalen, transaktionalen und anderen Suchabsichten).

Die Verteilung soll die Praxis möglichst gut abbilden: 80 % der Anfragen sind informationsorientiert, jeweils 10 % transaktional beziehungsweise navigational. Zu jeder Anfrage gehört der bereinigte Text der 5 bestplatzierten Google-Quellseiten. Zusätzlich versieht GPT-4 jede Anfrage mit Labels in 7 Dimensionen: Schwierigkeit, Anfrageart, Domäne, konkretes Thema, Sensibilität, Nutzerabsicht und Antworttyp. Precision und Recall der Annotationen werden manuell geprüft. Insgesamt deckt GEO-bench 25 Domänen wie Kunst, Gesundheit und Gaming, 9 Datenquellen und 7 Klassifikationsdimensionen ab und bildet damit einen umfangreichen, vielfältigen Benchmark speziell für generative Engines.

Der experimentelle Prototyp einer generativen Engine folgt dem zweistufigen Aufbau früherer Forschung (Liu et al., 2023): Zunächst werden die Top-5-Quellen von Google abgerufen, anschließend erzeugt gpt-3.5-turbo mit einer einheitlichen Prompt-Vorlage die Antwort. Der vollständige Prompt steht im Anhang; zentral sind Antworten ausschließlich auf Grundlage der vorgegebenen Suchergebnisse und ein Quellenverweis unmittelbar nach jedem Satz. Zur Verringerung zufälliger Schwankungen werden pro Anfrage bei einer Temperatur von 0,7 insgesamt 5 Antworten erzeugt und gemittelt.

Zentrale Ergebnisse: Welche Strategien wirken?

Die folgende Tabelle gibt den zentralen Vergleich der Studie (Tabelle 1) wieder. Sie zeigt die absoluten Werte von 9 Strategien in zwei Kennzahlengruppen gegenüber einer Basis ohne Optimierung. Die Werte sind so normiert, dass sich die Sichtbarkeit aller Quellenverweise zu 1 addiert, und werden zur besseren Lesbarkeit mit einer Konstante multipliziert. Höhere Werte bedeuten mehr Sichtbarkeit:

Mehrere Schlussfolgerungen fallen auf:

• Klassische SEO-Taktiken greifen hier kaum. Keyword-Anhäufung verbessert die Ergebnisse nicht und liegt beim positionsgewichteten Wortanteil sogar unter der Basis ohne Optimierung. Das deutet darauf hin, dass die Modelle Texte über ihre Bedeutung statt über Keyword-Übereinstimmungen erfassen und bloße Wiederholungen als minderwertige Inhalte erkennen können.
• Die drei wirksamsten Strategien sind Zitate ergänzen, Statistiken ergänzen und Quellen anführen. Gegenüber der Basis verbessern sie den positionsgewichteten Wortanteil um 30–40 % und den subjektiven Eindruck um 15–30 %. Gemeinsam ist ihnen, dass sie Glaubwürdigkeit und Informationsdichte stärken, statt nur den Stil aufzupolieren. Eine maßgebliche Quelle, ein direktes Zitat oder eine konkrete Zahl lässt sich mit geringem Aufwand ergänzen und kann deutliche Verbesserungen bringen.
• Etwas überraschend bringen auch die rein stilbezogenen Strategien Lesefluss verbessern und Verständlichkeit verbessern Zuwächse von 15–30 %. Generative Engines berücksichtigen offenbar nicht nur, was gesagt wird, sondern auch, wie gut es formuliert ist.
• Ein autoritativerer, überzeugenderer Ton allein führt dagegen zu keiner deutlichen Verbesserung. Die Studie sieht darin einen Hinweis, dass generative Engines gegenüber rein sprachlicher Überzeugung bereits eine gewisse Robustheit besitzen. Autoren sollten deshalb eher in die Glaubwürdigkeit ihrer Inhalte als in rhetorische Verpackung investieren.

Weiterführende Analyse

Unterschiedliche Domänen brauchen unterschiedliche Strategien

SEO kennt in der Praxis keine universelle Taktik; für GEO gilt dasselbe. Die Studie gliedert die Ergebnisse nach GEO-bench-Labels (Tabelle 3) und stellt fest:

Diese Muster sind nachvollziehbar: Debattenfragen profitieren von überzeugender Argumentation, Faktenfragen von überprüfbaren Quellenverweisen. In Bereichen wie Recht und Verwaltung, in denen Daten und konkrete Bestimmungen wichtig sind, überzeugen Zahlen stärker als abstrakte Beschreibungen. Direkte Zitate verleihen persönlichen Erzählungen und historischen Darstellungen Authentizität und Tiefe. Das unterstreicht die wiederholt formulierte Aussage der Studie: Autoren sollten Strategien passend zum Themengebiet ihrer Website auswählen, statt blind eine universelle Vorlage anzuwenden.

Wer profitiert am meisten, wenn alle GEO nutzen?

Eine naheliegende Frage lautet: Heben sich die Vorteile gegenseitig auf, wenn alle Autoren GEO einsetzen? Die Autoren prüfen dies, indem sie sämtliche möglichen Quellen für dieselbe Anfrage gleichzeitig optimieren und die relativen Verbesserungen der Websites nach ihrer ursprünglichen Rangposition messen (Tabelle 2):

Das Ergebnis ist eindeutig: Websites auf hinteren Plätzen profitieren stärker von GEO. Die zuvor erstplatzierte Website kann sogar Sichtbarkeit verlieren. Mit der Strategie Quellen anführen gewinnt etwa die ursprünglich fünftplatzierte Seite 115 % Sichtbarkeit, während die erstplatzierte im Mittel 30,3 % verliert. Klassische Rankings hängen stark von Backlinks und Domain-Autorität ab. Solche angesammelten Vorteile begünstigen große Organisationen gegenüber kleineren Autoren. Generative Engines verstehen und ordnen hingegen die Inhalte selbst. Qualität durch Quellen, Daten und Zitate kann so unmittelbar Sichtbarkeit schaffen, ohne dieselben strukturellen Hürden. Anders gesagt: GEO könnte helfen, die digitale Kluft zwischen großen Websites und kleinen Content-Anbietern zu verringern – ein ermutigendes Signal für Selbstständige und unabhängige Content-Autoren.

Kombinierte Strategien wirken besser

In der Praxis setzen Autoren selten nur auf eine Taktik. Die Studie kombiniert die vier stärksten Strategien – Quellen anführen, Lesefluss verbessern, Statistiken ergänzen und Zitate ergänzen – paarweise. Die Ergebnisse der Heatmap in Abbildung 4 zeigen: Lesefluss verbessern und Statistiken ergänzen bilden die wirksamste Kombination. Sie schneidet um mehr als 5,5 % besser ab als jede der beiden Strategien allein. Interessanterweise liegt Quellen anführen einzeln unter den vier Strategien zuletzt, etwa 8 % unter Zitate ergänzen. In Kombination mit anderen erreicht sie jedoch eine durchschnittliche Verbesserung von 31,4 % und damit den deutlichsten Kombinationsnutzen. Daraus folgt: Manche Strategien entfalten ihren vollen Wert erst in Kombination. Ihre Einzelleistung allein sollte daher kein Grund sein, sie zu verwerfen.

Die folgende Tabelle gibt die Zuwächse der paarweisen Kombinationen aus der Heatmap in Abbildung 4 wieder. Jede Zelle zeigt die mittlere Verbesserung gegenüber der Basis, wenn die Strategien der jeweiligen Zeile und Spalte kombiniert werden:

Die Werte auf der Diagonale, etwa 22,4 % für Lesefluss plus Lesefluss, stehen als Vergleichsbasis für die zweimalige Anwendung derselben Strategie. Die übrigen Zellen zeigen Kombinationen zweier unterschiedlicher Strategien. Die Spalte Zeilenmittelwert entspricht der rechten Spalte der Original-Heatmap: Obwohl Quellen anführen einzeln zuletzt liegt, erreicht sie in Kombination mit anderen Strategien die dritthöchste durchschnittliche Verbesserung.

Die obige Grafik wurde anhand der Daten aus Abbildung 4 der Originalstudie neu erstellt. Dunklere Farben zeigen stärkere Verbesserungen durch die jeweilige Kombination.

Wie konkrete Beispiele aussehen

Tabelle 4 der Studie zeigt drei anschauliche Beispiele für Quellen anführen, Statistiken ergänzen und autoritativen Stil. Ihnen ist eines gemeinsam: Sehr kleine Änderungen führen zu erheblichen Sichtbarkeitszuwächsen. Eine Quellenangabe eines Forschungsinstituts bei einer Aussage zum Schokoladenkonsum pro Kopf in der Schweiz erhöht die Sichtbarkeit um 132,4 %. Eine konkrete Wachstumsangabe in einer Aussage über Roboter als Ersatz menschlicher Arbeit bringt 65,5 % mehr Sichtbarkeit. Eine bestimmtere Formulierung zu den Ergebnissen eines Sportteams, die dessen Erfolge stärker hervorhebt, erzielt einen Zuwachs von 89,1 %. Diese Beispiele zeigen, dass GEO häufig keine neuen Inhalte erfordert. Oft reicht es, vorhandenes Material um eine Quelle oder Zahl zu ergänzen oder eine Aussage bestimmter zu formulieren. Die Einstiegshürde ist für gewöhnliche Content-Autoren damit gering.

Außerhalb des Labors: Tests auf Perplexity.ai

Um zu zeigen, dass die Ergebnisse nicht auf die Versuchsumgebung beschränkt sind, übertrugen die Autoren dieselben Methoden auf das öffentlich verfügbare und viel genutzte Produkt Perplexity.ai und testeten eine Stichprobe von 200 Anfragen (Tabelle 5). Da sich in Perplexity.ai keine Quell-URLs direkt festlegen lassen, wurden die Ausgangstexte als Dateien hochgeladen und die Antworten auf diese Dateien beschränkt.

Die Ergebnisse stimmen weitgehend mit den Laborbefunden überein: Keyword-Anhäufung verschlechtert weiterhin den positionsgewichteten Wortanteil und liegt etwa 10 % unter der Basis, während Zitate ergänzen und Statistiken ergänzen als glaubwürdigkeitsstärkende Strategien mit Zuwächsen von etwa 22 % beziehungsweise 37 % weiterhin deutlich überzeugen. Das Ergebnis hat drei Bedeutungen: Generative Engines benötigen eigens entwickelte Optimierungsverfahren; die Methoden lassen sich über eine einzelne experimentelle Engine hinaus übertragen; und Autoren können diese einfachen Strategien unmittelbar einsetzen, um in realen Produkten praktische Vorteile zu erzielen.

Die Studie im größeren Zusammenhang

Die Studie grenzt ihren Beitrag von drei früheren Forschungsrichtungen ab:

• Beleggestützte Antwortgenerierung: Systeme wie WebGPT trainieren Modelle darin, im Web zu navigieren und belegte Antworten zu erzeugen. Andere Ansätze erstellen Antworten aus Suchergebnissen. GEO ergänzt diese Systeme um einen einheitlichen Bewertungsbenchmark. Anders als eine neuere Studie zur Manipulation von LLM-Empfehlungen durch adversariale Texte, die Produktsichtbarkeit erhöhen sollen, schlägt GEO nicht-adversariale Optimierungsstrategien für Inhalte beliebiger Websites vor.
• Retrieval-Augmented Generation: RAG, REALM und verwandte Ansätze behandeln vor allem das Problem begrenzt gespeicherten Wissens in Sprachmodellen. Generative Engines haben umfassendere Aufgaben: Sie sollen Antworten mit durchgängigen Quellenverweisen erstellen und zudem Anfragen umformulieren, Quellen auswählen und weitere Teilaufgaben erledigen, statt nur Informationen abzurufen.
• Klassisches SEO: Fast 25 Jahre SEO-Forschung lassen sich in Onpage-Optimierung zur Verbesserung von Inhalt und Nutzungserlebnis sowie Offpage-Optimierung zum Aufbau von Backlinks und Domain-Autorität gliedern. Diese Logik setzt voraus, dass Suchmaschinen Keywords abgleichen. Für generative Engines, die von generativen Modellen gesteuert werden und über Keyword-Abgleiche hinausgehen, greift sie weitgehend nicht – darin liegt die Bedeutung von GEO.

Fazit und Grenzen

Die Studie leistet drei Beiträge: die formale Definition generativer Engines, GEO als erstes auf Content-Autoren ausgerichtetes Optimierungskonzept für generative Engines, einschließlich Sichtbarkeitskennzahlen und 9 konkreter Strategien; und die Entwicklung und freie Veröffentlichung des Bewertungsbenchmarks GEO-bench. Die zentrale Erkenntnis: Glaubwürdigkeitsstärkende Änderungen durch Quellenverweise, Zitate und Statistiken können die Sichtbarkeit einer Website in Antworten generativer Engines um bis zu 40 % erhöhen. Unterschiedliche Domänen erfordern unterschiedliche Strategien; Kombinationen wirken meist besser als einzelne Taktiken. Besonders profitieren kleinere Websites auf hinteren Rangplätzen. Das ist ein positives Signal für unabhängige Autoren und kleine bis mittelgroße Websites.

Die Autoren benennen auch Grenzen. Erstens entwickeln sich generative Engines schnell weiter; GEO-Methoden werden daher voraussichtlich ebenso laufend angepasst werden müssen wie SEO. Zweitens soll GEO-bench reale Anfrageverteilungen abbilden, doch diese verändern sich und erfordern Aktualisierungen des Benchmarks. Drittens untersucht die Studie nicht, ob GEO-Änderungen klassische Suchrankings beeinflussen, deren Algorithmen ebenfalls Blackboxes sind. Die Autoren erwarten begrenzte Auswirkungen, weil GEO vor allem Texte verändert und nicht Domains, Backlinks oder andere traditionelle Rankingfaktoren. Schließlich könnten größere Kontextfenster künftigen Engines die Verarbeitung weiterer Quellen ermöglichen und damit die Bedeutung des ursprünglichen Suchrangs weiter verringern. Insgesamt legt die Studie Grundlagen für ein neues Forschungsfeld: mit einem gemeinsamen Konzept, Kennzahlen und einem Benchmark, auf denen weitere Forschung aufbauen kann.