We haalden onze eigen site op als vier AI-crawlers. Dit kregen ze.

We voerden op utilityseo.com een AI-crawlertest uit met specifieke user agent-strings. Alle vier de AI-bots kregen HTTP 200-reacties met byte-identieke, server-side gerenderde html. De data bevestigt levering, geen vermelding.

Veel site-eigenaren gaan ervan uit dat als Google de pagina kan lezen, AI-modellen dat ook kunnen. Die aanname klopt niet, omdat AI-crawlers zoals oai-searchbot en perplexitybot pagina's op een andere manier ophalen. Ze negeren vaak JavaScript-rendering of volgen bepaalde robots.txt-regels die Googlebot negeert.

Wat kregen de AI-crawlers echt binnen?

We maten de reactie op 21 september 2026. We haalden de homepage en één blog-URL op als oai-searchbot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Googlebot en een gewone browser. Alle zes gaven HTTP 200 terug.

De reacties waren byte-identiek: 153.350 bytes voor de homepage en 102.371 voor de blogpost. Die exacte overeenkomst laat zien dat onze server dezelfde statische content aan alle agents levert. Er was geen dynamische rendering op basis van de user agent.

We telden de gestructureerde data op beide pagina's. De homepage bevatte drie ld+json-blokken. De blogpost bevatte acht ld+json-blokken. Elke pagina had één h1-tag. De server-side gerenderde tekst telde 1.463 woorden op de homepage en 1.495 woorden in de post.

Deze test bewijst levering. Hij bewijst geen vermelding. Dat een bot de HTML ontvangt, is de eerste stap. Of het model die tekst indexeert, opslaat of citeert, is een apart proces dat in gesloten systemen plaatsvindt.

Hoe verschilt server-side gerenderde HTML van client-side rendering?

Gewone SEO-tools gebruiken vaak echte Chromium-instanties om JavaScript te renderen. Dat is nodig voor React- of Vue-sites waar de eerste HTML leeg is. Als je site op client-side rendering draait, moet je controleren of AI-crawlers dezelfde scripts uitvoeren.

Google heeft vastgelegd hoe AI-functies samenwerken met website-content. Details vind je in hun gids over AI-functies en je website. Die documentatie maakt duidelijk dat Google dezelfde indexeringspipeline gebruikt voor zoeken en AI Overviews. AI-modellen van derden, zoals Perplexity of ChatGPT, gebruiken echter hun eigen crawlers.

Als je site veel JavaScript gebruikt, moet je nagaan of de AI-bot het uitvoert. Sommige bots draaien helemaal geen JavaScript. Ze lezen alleen de eerste HTML-reactie. Wordt je content via een script ingevoegd, dan zien die bots een lege huls.

We raden aan je serverlogs te controleren op deze specifieke user agents. Zoek naar oai-searchbot, perplexitybot, claude-searchbot en chatgpt-user. Is het aantal bytes in je logs flink kleiner dan wat je in je browser ziet, dan heb je een renderinghiaat.

Waarom zijn byte-identieke reacties belangrijk voor AI-zichtbaarheid?

Als alle agents hetzelfde aantal bytes krijgen, maakt dat het zoeken naar fouten eenvoudiger. Je weet dat de content bereikbaar is. De vraag verschuift naar hoe het model die data verwerkt.

Gestructureerde data speelt hier een cruciale rol. De acht ld+json-blokken in onze blogpost geven expliciete context. Dat helpt modellen entiteiten en relaties te begrijpen zonder te raden. Niet alle AI-modellen lezen JSON-LD perfect, maar het is de standaard voor machineleesbare data.

Zorg dat je sitemaps up-to-date zijn zodat alle crawlers content vinden. Google geeft duidelijke instructies in hun overzicht van sitemaps. Houd je XML-sitemaps klein en netjes. Dat helpt zowel Googlebot als AI-crawlers om efficiënt door je sitestructuur te navigeren.

Het aantal bytes zegt ook iets over het paginagewicht. Een reactie van 153.350 bytes is vrij groot. Als dat veel scripts of afbeeldingen bevat, kan het het verwerken bij sommige AI-modellen vertragen. Een snellere pagina is beter voor alle gebruikers en crawlers.

Welke fouten zorgen ervoor dat AI-crawlers je content niet kunnen lezen?

De meest voorkomende fout is AI-bots blokkeren in robots.txt. Veel site-eigenaren blokkeren alle bots om scraping te voorkomen. Daarmee blokkeer je ongemerkt ook AI-assistenten die je werk zouden kunnen citeren.

Controleer je robots.txt-bestand zorgvuldig. Google legt de syntaxis uit in hun inleiding op robots.txt. Staat er voor alle agents een regel als Disallow: /, dan verberg je je hele site voor AI-modellen.

Een andere fout is alleen vertrouwen op meta robots-tags. Sommige AI-crawlers negeren meta robots-tags. Ze volgen alleen robots.txt. Als je noindex in de meta-tag zet maar de bot in robots.txt toelaat, haalt de bot de pagina nog steeds op. Hij indexeert hem alleen misschien niet.

Een derde fout is inconsistente content. Als je server Googlebot en oai-searchbot verschillende HTML geeft, ontstaat er een mismatch. Dat kan tot straffen van Google leiden als het als cloaking wordt gezien. Het verwart ook AI-modellen die tegenstrijdige data zien.

Hoe weet je of je AI-crawlertest werkt?

Om je opzet te controleren, vergelijk je de HTML die de bot ontvangt met de HTML die een mens ziet. Dat kan handmatig met curl of een headless browser.

Voer een verzoek uit met een specifieke user agent-string, bijvoorbeeld oai-searchbot. Sla de reactie op. Doe daarna hetzelfde verzoek met een gewone browser-user agent. Vergelijk de bestandsgroottes. Verschillen ze, onderzoek dan de renderingpipeline.

Controleer je gestructureerde data met een validator. Zorg dat de JSON-LD-syntaxis geldig is. Eén kapot teken kan ervoor zorgen dat het hele blok wordt genegeerd. Dat verkleint de hoeveelheid gestructureerde informatie die de AI kan gebruiken.

Bekijk je serverlogs wekelijks. Volg hoe vaak perplexitybot en claude-searchbot langskomen. Een plotselinge daling in bezoeken kan wijzen op een nieuwe blokkeerregel of een technische fout.

Wat zijn de ethische risico's van AI-crawlers toelaten?

Levering is technisch, gebruik is ethisch. Als je AI-crawlers toelaat, kan je content worden gebruikt om modellen te trainen. Dat roept vragen op over intellectueel eigendom en toestemming.

Sommige makers vrezen dat hun unieke stem wordt nagebootst. Is je content feitelijk, dan is het risico kleiner. Is ze erg creatief of persoonlijk, dan wil je de toegang misschien beperken.

Er is nog geen universeel wettelijk kader voor AI-trainingsdata. Je moet je eigen beleid bepalen. Kies je ervoor AI-bots te blokkeren, wees dan consequent. Blokkeer ze niet in robots.txt maar laat ze wel toe in meta-tags. Dat zorgt voor onduidelijkheid.

Weeg de afweging. AI-bots blokkeren kan je zichtbaarheid als merk in AI-antwoorden verkleinen. Ze toelaten kan leiden tot ongeoorloofde training. Weeg die factoren af op basis van je bedrijfsdoelen.

Samenvatting van de bevindingen

Onze AI-crawlertest liet zien dat alle vier de AI-bots identieke, server-side gerenderde html kregen. Het aantal bytes kwam exact overeen met wat de browser zag. Dat bevestigt dat onze site statische content aan alle agents levert.

De aanwezige gestructureerde data en nette sitemaps ondersteunen die levering. Deze test bewijst echter alleen dat de content naar de bot is gestuurd. Hij bewijst niet dat de bot onze site in een antwoord heeft geciteerd.

Zorg voor blijvende zichtbaarheid dat je robots.txt deze specifieke bots toelaat. Controleer dat je HTML niet sterk afhangt van client-side JavaScript. Houd je logs in de gaten om te bevestigen dat de toegang blijft.

Deze aanpak combineert technische toegankelijkheid met ethische controle. Het zorgt ervoor dat AI-modellen je site kunnen lezen als ze dat willen. Ook kun je volgen wie je content opvraagt en hoe vaak.

Gratis AEO-scan: controleert hoe goed een site klaar is om door AI-antwoordmachines te worden geciteerd.