Controleer robots.txt.
Blokkeer jezelf niet.
Een robots.txt-checker die bevestigt dat je zoekmachines niet per ongeluk blokkeert.
14 dagen gratis proberen · Geen creditcard · Altijd opzegbaar
“Goedkoper dan wat ik gebruikte en veel makkelijker om je weg in te vinden. Ik had zoekwoorddata nog nooit zo visueel gezien, vooral de topicclusters, waardoor alles makkelijk te begrijpen was.”
robots.txt stuurt crawlen aan, niet indexeren, en dat verschil kan pijn doen
Het duurste misverstand in technische SEO is robots.txt zien als manier om pagina's uit de zoekresultaten te houden. Dat is het niet, en wie het zo gebruikt, bereikt het tegenovergestelde van wat hij wil.
Disallow zegt tegen een crawler dat hij de URL niet moet ophalen. Het zegt niemand dat de URL niet geïndexeerd mag worden. Als andere pagina's naar een geblokkeerde URL linken, kunnen zoekmachines die URL op basis van alleen die links indexeren, en dat doen ze ook. Daarom zie je af en toe een resultaat met een echte URL, zonder beschrijving en met de melding dat de pagina niet gecrawld kon worden.
De valkuil waar bijna iedereen intrapt
Iemand wil een pagina uit de index hebben. Hij zet noindex op de pagina. Daarna blokkeert hij de pagina voor de zekerheid ook nog in robots.txt.
Die combinatie zorgt ervoor dat de pagina geïndexeerd blijft. De noindex-instructie staat in de pagina, en robots.txt heeft de crawler zojuist verboden de pagina op te halen, dus de instructie wordt nooit gelezen. De regel is eenvoudig zodra je hem kent: om een pagina uit de index te halen, moet hij crawlbaar blijven. Zet noindex, laat de pagina crawlbaar, wacht op de nieuwe crawl en overweeg pas daarna om hem te blokkeren.
Andere dingen die het controleren waard zijn
Het bestand moet in de root van de host staan om te werken en geldt per host, protocol en poort. De http- en https-versie van je domein zijn voor een crawler dus aparte bestanden. Google verwerkt maximaal 500 KB van het bestand. Regels worden per user-agentgroep gekoppeld en een crawler volgt alleen de meest specifieke groep die op hem past. Een eigen blok User-agent: Googlebot betekent dus dat Googlebot je User-agent: *-regels helemaal negeert in plaats van ze te combineren.
Ook CSS en JavaScript blokkeren is een eigen doelpunt. Zoekmachines renderen pagina's, en een pagina waarvan de stylesheet geblokkeerd is, wordt beoordeeld als de versie zonder opmaak, die vaak kapot en onvriendelijk voor mobiel oogt.
Zo pakt UtilitySEO dit aan
De audit rapporteert wat je robots.txt echt doet, en niet alleen of het bestand bestaat. Daaronder valt ook of de regels in strijd zijn met de indexeringssignalen op de pagina's zelf.
Verder lezen
Een correcte robots.txt is maar één controle binnen een groter geheel. Technische SEO bundelt de rest: crawlen, indexeren, renderen en redirects. AI-zoeken en antwoordmachines behandelt de nieuwere vraag welke AI-crawlers het bestand eigenlijk respecteren.
Gratis scan van 30 seconden.
Zonder aanmelding. Zonder creditcard.
Echte Google-scores voor prestaties, SEO en toegankelijkheid, plus een lijst op volgorde van wat je als eerste moet verhelpen, in minder dan een minuut.
Eenvoudige prijzen
Drie abonnementen. 14 dagen Minimum gratis, geen kaart nodig.
Minimum
Voor één website, met de belangrijkste SEO-tools.
- 1 project en 1 seat
- 3 site-scans per dag, tot 500 pagina's per scan
- 500 gevolgde zoekwoorden
- 3 concurrenten gevolgd
- Site-audits, fixgidsen, positietracking, Search Console en GA4
- 14 dagen gratis, geen kaart nodig
- Gratis hulp bij onboarding
Geen kaart · Geen contract · Altijd opzegbaar
Entrepreneur
Voor een paar websites, met AI en growth blogs.
- 3 projecten en 3 seats
- 5 site-scans per dag, tot 2.000 pagina's per scan
- 1.000 gevolgde zoekwoorden per project
- 5 concurrenten per project
- 100 AI-gebruiken per maand: inzichten, contentbriefs, Writer, Ask en clustering
- 20 groeiblogs per maand, voor jou geschreven
- Gratis hulp bij onboarding
Geen kaart · Geen contract · Altijd opzegbaar
Enterprise
Alles, onbeperkt. De goedkoopste complete SEO-suite, en de enige onder £100.
- Onbeperkte projecten en seats (redelijk gebruik)
- 20 sitescans per dag, tot 10.000 pagina's per scan
- 10.000 gevolgde zoekwoorden per project
- Onbeperkte concurrenten (redelijk gebruik)
- Onbeperkte AI-functies (redelijk gebruik)
- 100 growth blogs per maand over alle projecten
- White-label klantrapporten
- Prioritaire ondersteuning en gratis onboardinghulp
Geen kaart · Geen contract · Altijd opzegbaar
Altijd opzegbaar · Veilig betalen via Stripe
Heb je een partner-, affiliate- of verwijzingscode? Die kan je een langere proefperiode of een hoger abonnement geven.
Prijswijzigingen: als we de prijs van je abonnement ooit wijzigen, mailen we je eerst, minstens 2 maanden voor een jaarlijkse verlenging of 28 dagen voor een maandelijkse betaling, en je kunt opzeggen voordat het ingaat.
Veelgestelde vragen
Stop met gokken. Begin met verhelpen.
Weet wat er kapot is en wat je eerst moet oplossen, in gewone taal. 14 dagen Minimum gratis. Met een partner-, affiliate- of verwijzingscode kun je een langere proefperiode of een hoger abonnement krijgen. Geen creditcard.
Start mijn gratis proefperiode