Wir haben unsere eigene Website als vier KI-Crawler abgerufen. Das haben sie bekommen.

Wir haben auf utilityseo.com einen KI-Crawler-Test mit bestimmten User-Agent-Strings durchgeführt. Alle vier KI-Bots erhielten HTTP-200-Antworten mit byte-identischem, serverseitig gerendertem HTML. Die Daten belegen die Auslieferung, nicht das Zitieren.

Viele Website-Betreiber nehmen an: Wenn Google die Seite lesen kann, können es KI-Modelle auch. Diese Annahme trägt nicht, denn KI-Crawler wie oai-searchbot und perplexitybot rufen Seiten anders ab. Sie ignorieren oft das Rendern von JavaScript oder beachten bestimmte robots.txt-Regeln, die Googlebot ignoriert.

Was haben die KI-Crawler tatsächlich erhalten?

Wir haben die Antwort am 21. September 2026 gemessen. Wir haben die Startseite und eine Blog-URL als oai-searchbot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Googlebot und als normaler Browser abgerufen. Alle sechs lieferten HTTP 200.

Die Antworten waren byte-identisch: 153.350 Bytes für die Startseite und 102.371 für den Blogbeitrag. Diese exakte Übereinstimmung zeigt, dass unser Server allen Agents denselben statischen Inhalt ausliefert. Es gab kein dynamisches Rendering abhängig vom User-Agent.

Wir haben die strukturierten Daten auf beiden Seiten gezählt. Die Startseite enthielt drei ld+json-Blöcke. Der Blogbeitrag enthielt acht ld+json-Blöcke. Jede Seite hatte ein h1-Tag. Der serverseitig gerenderte Text umfasste 1.463 Wörter auf der Startseite und 1.495 Wörter im Beitrag.

Dieser Test belegt die Auslieferung. Er belegt kein Zitieren. Dass ein Bot das HTML erhält, ist der erste Schritt. Ob das Modell den Text indexiert, speichert oder zitiert, ist ein getrennter Vorgang, der in geschlossenen Systemen abläuft.

Worin unterscheidet sich serverseitig gerendertes HTML von Client-seitigem Rendering?

Übliche SEO-Tools setzen oft auf echte Chromium-Instanzen, um JavaScript zu rendern. Das ist nötig bei React- oder Vue-Websites, bei denen das ursprüngliche HTML leer ist. Wenn Ihre Website auf Client-seitigem Rendering beruht, müssen Sie prüfen, ob KI-Crawler dieselben Skripte ausführen.

Google hat dokumentiert, wie KI-Funktionen mit Website-Inhalten zusammenwirken. Details finden Sie in der Anleitung zu KI-Funktionen und Ihrer Website. Die Dokumentation stellt klar, dass Google für die Suche und für AI Overviews dieselbe Indexierungs-Pipeline nutzt. KI-Modelle von Drittanbietern wie Perplexity oder ChatGPT verwenden jedoch eigene Crawler.

Wenn Ihre Website viel JavaScript nutzt, müssen Sie prüfen, ob der KI-Bot es ausführt. Manche Bots führen gar kein JavaScript aus. Sie lesen nur die ursprüngliche HTML-Antwort. Wird Ihr Inhalt per Skript eingefügt, sehen diese Bots eine leere Hülle.

Wir empfehlen, Ihre Server-Logs auf diese bestimmten User-Agents zu prüfen. Suchen Sie nach oai-searchbot, perplexitybot, claude-searchbot und chatgpt-user. Ist die Byte-Zahl in Ihren Logs deutlich kleiner als in Ihrer Browser-Ansicht, haben Sie eine Rendering-Lücke.

Warum sind byte-identische Antworten für die KI-Sichtbarkeit wichtig?

Wenn alle Agents dieselbe Byte-Zahl erhalten, vereinfacht das die Fehlersuche. Sie wissen, dass der Inhalt erreichbar ist. Die Frage verlagert sich darauf, wie das Modell diese Daten verarbeitet.

Strukturierte Daten spielen hier eine entscheidende Rolle. Die acht ld+json-Blöcke in unserem Blogbeitrag liefern expliziten Kontext. Das hilft Modellen, Entitäten und Beziehungen zu verstehen, ohne zu raten. Nicht alle KI-Modelle lesen JSON-LD perfekt, aber es ist der Standard für maschinenlesbare Daten.

Sorgen Sie dafür, dass Ihre Sitemaps aktuell sind, damit alle Crawler Inhalte finden. Google gibt dazu klare Anweisungen in der Übersicht zu Sitemaps. Halten Sie Ihre XML-Sitemaps klein und sauber. Das hilft Googlebot und KI-Crawlern gleichermaßen, sich effizient durch Ihre Seitenstruktur zu bewegen.

Die Byte-Zahl zeigt auch das Seitengewicht. Eine Antwort mit 153.350 Bytes ist ziemlich groß. Enthält sie viele Skripte oder Bilder, kann das das Parsen bei manchen KI-Modellen verlangsamen. Eine bessere Seitengeschwindigkeit nützt allen Nutzern und Crawlern.

Welche Fehler verhindern, dass KI-Crawler Ihre Inhalte lesen?

Der häufigste Fehler ist, KI-Bots in der robots.txt zu blockieren. Viele Website-Betreiber blockieren alle Bots, um Scraping zu verhindern. Dadurch werden unbeabsichtigt auch KI-Assistenten blockiert, die Ihre Arbeit zitieren könnten.

Sie sollten Ihre robots.txt-Datei sorgfältig prüfen. Google erklärt die Syntax in der Einführung in robots.txt. Steht dort für alle Agents eine Zeile wie Disallow: /, verbergen Sie Ihre gesamte Website vor KI-Modellen.

Ein weiterer Fehler ist, sich allein auf Meta-Robots-Tags zu verlassen. Manche KI-Crawler ignorieren Meta-Robots-Tags. Sie beachten nur die robots.txt. Wenn Sie im Meta-Tag noindex setzen, den Bot aber in der robots.txt zulassen, ruft der Bot die Seite trotzdem ab. Er indexiert sie vielleicht nur nicht.

Ein dritter Fehler sind uneinheitliche Inhalte. Liefert Ihr Server Googlebot und oai-searchbot unterschiedliches HTML aus, entsteht ein Widerspruch. Das kann zu Strafen von Google führen, wenn es als Cloaking erkannt wird. Außerdem verwirrt es KI-Modelle, die widersprüchliche Daten sehen.

Woran Sie erkennen, ob Ihr KI-Crawler-Test funktioniert

Um Ihr Setup zu prüfen, vergleichen Sie das HTML, das der Bot erhält, mit dem HTML, das ein Mensch sieht. Das geht manuell mit curl oder einem Headless-Browser.

Führen Sie eine Anfrage mit einem bestimmten User-Agent-String aus, zum Beispiel oai-searchbot. Speichern Sie die Antwort. Führen Sie dann dieselbe Anfrage mit einem normalen Browser-User-Agent aus. Vergleichen Sie die Dateigrößen. Weichen sie voneinander ab, untersuchen Sie die Rendering-Pipeline.

Prüfen Sie Ihre strukturierten Daten mit einem Validator. Stellen Sie sicher, dass die JSON-LD-Syntax gültig ist. Ein einziges fehlerhaftes Zeichen kann dazu führen, dass der ganze Block ignoriert wird. Das verringert die Menge an strukturierten Informationen, die die KI nutzen kann.

Überwachen Sie Ihre Server-Logs wöchentlich. Verfolgen Sie, wie häufig perplexitybot und claude-searchbot vorbeikommen. Ein plötzlicher Rückgang der Besuche kann auf eine neue Blockierregel oder einen technischen Fehler hindeuten.

Welche ethischen Risiken hat es, KI-Crawler zuzulassen?

Die Auslieferung ist technisch, die Nutzung ist eine ethische Frage. Wer KI-Crawler zulässt, muss damit rechnen, dass die eigenen Inhalte zum Training von Modellen verwendet werden. Das wirft Fragen zu geistigem Eigentum und Einwilligung auf.

Manche Urheber fürchten, dass ihre eigene Stimme nachgeahmt wird. Sind Ihre Inhalte sachlich, ist das Risiko geringer. Sind sie sehr kreativ oder persönlich, möchten Sie den Zugriff vielleicht einschränken.

Einen allgemeingültigen rechtlichen Rahmen für KI-Trainingsdaten gibt es noch nicht. Sie müssen Ihre eigene Richtlinie festlegen. Wenn Sie KI-Bots blockieren, tun Sie es konsequent. Blockieren Sie sie nicht in der robots.txt und erlauben sie in Meta-Tags. Das schafft Unklarheit.

Bedenken Sie den Zielkonflikt. KI-Bots zu blockieren kann die Sichtbarkeit Ihrer Marke in KI-Antworten verringern. Sie zuzulassen kann zu unbefugtem Training führen. Wägen Sie diese Faktoren anhand Ihrer Geschäftsziele ab.

Zusammenfassung der Ergebnisse

Unser KI-Crawler-Test hat gezeigt, dass alle vier KI-Bots identisches, serverseitig gerendertes HTML erhielten. Die Byte-Zahlen stimmten exakt mit der Browser-Ansicht überein. Das bestätigt, dass unsere Website allen Agents statischen Inhalt ausliefert.

Die strukturierten Daten und saubere Sitemaps stützen diese Auslieferung. Dieser Test belegt aber nur, dass der Inhalt an den Bot gesendet wurde. Er belegt nicht, dass der Bot unsere Website in einer Antwort zitiert hat.

Um sichtbar zu bleiben, stellen Sie sicher, dass Ihre robots.txt diese bestimmten Bots zulässt. Prüfen Sie, dass Ihr HTML nicht stark von Client-seitigem JavaScript abhängt. Überwachen Sie Ihre Logs, um den fortlaufenden Zugriff zu bestätigen.

Dieser Ansatz verbindet technische Zugänglichkeit mit ethischer Kontrolle. Er stellt sicher, dass KI-Modelle Ihre Website lesen können, wenn sie das wollen. Außerdem können Sie nachverfolgen, wer auf Ihre Inhalte zugreift und wie oft.

Kostenloser AEO-Scan: prüft, wie gut eine Website darauf vorbereitet ist, von KI-Antwortmaschinen zitiert zu werden.