Crawlfouten vinden en oplossen die je posities schaden

Crawlfouten vinden en oplossen die je posities schaden

Crawlfouten laten zien dat zoekmachines hebben geprobeerd een pagina van je site te openen en daarin zijn mislukt. Sommige crawlfouten zijn onschuldig, zoals een verwijderd blogbericht dat nooit verkeer kreeg. Andere schaden je posities actief: ze verspillen crawlbudget, breken ketens van linkwaarde en sturen gebruikers naar doodlopende wegen.

Het verschil tussen een gezonde site en een site die organisch verkeer verliest, zit vaak in hoe snel je de crawlfouten die ertoe doen opspoort en oplost. Deze gids behandelt elk type crawlfout, waar je ze vindt, hoe ze je SEO schaden en hoe je ze precies oplost.

Wat zijn crawlfouten?

Een crawlfout ontstaat wanneer een zoekmachinebot (zoals Googlebot) een URL op je site opvraagt en in plaats van de verwachte pagina-inhoud een foutmelding krijgt. Het type foutmelding vertelt wat er misging en wijst je de weg naar de oplossing.

Serverfouten (5xx)

Serverfouten betekenen dat je webserver een geldig verzoek niet kon afhandelen. De meest voorkomende varianten:

• 500 Internal Server Error. Een algemene verzamelfout die aangeeft dat er aan de serverkant iets kapot is. De oorzaken variëren van verkeerd ingestelde .htaccess-bestanden tot uitvallende databaseverbindingen.
• 502 Bad Gateway. De server die als proxy fungeert, kreeg een ongeldig antwoord van de upstream-server. Komt vaak voor bij load balancers en reverse-proxy-opstellingen.
• 503 Service Unavailable. De server is tijdelijk overbelast of in onderhoud. Zoekmachines zijn over het algemeen geduldig met 503's, maar blijvende 503's wijzen op een infrastructuurprobleem.

Waarom ze gevaarlijk zijn: Als Googlebot herhaaldelijk 5xx-fouten tegenkomt, verlaagt hij de crawlsnelheid van je site, waardoor zelfs je gezonde pagina's minder vaak worden gecrawld. In ernstige gevallen kunnen pagina's helemaal uit de index vallen.

Niet-gevonden-fouten (404)

Een 404 betekent dat de opgevraagde URL niet bestaat op de server. Dit is de meest voorkomende crawlfout en je komt hem bij elke audit tegen.

Typische oorzaken:

• Een pagina is verwijderd zonder een redirect in te stellen
• Een URL is gewijzigd en interne links zijn niet aangepast
• Een externe site linkt naar een URL die verkeerd gespeld was of nooit heeft bestaan
• Een CMS heeft een tijdelijke URL aangemaakt die later is verwijderd

Niet elke 404 vraagt om actie. Een 404 voor een bewust verwijderde pagina zonder backlinks en zonder interne links werkt zoals bedoeld: hij vertelt zoekmachines dat de pagina weg is. De 404's die schaden, zijn die op pagina's die nog links krijgen, nog in sitemaps staan of die gebruikers nog proberen te openen.

Toegang-geweigerd-fouten (403)

Een 403 Forbidden-fout betekent dat de server het verzoek begreep, maar weigert het toe te staan. In een crawlcontext betekent dat meestal:

• Wachtwoordbeveiliging blokkeert de crawler
• IP-gebaseerde toegangsbeperkingen filteren botverkeer eruit
• Bestandsrechten op de server zijn verkeerd ingesteld

Oplossing: Controleer je serverconfiguratie en zorg dat crawlers niet worden geblokkeerd door authenticatielagen of IP-beperkingen die alleen voor staging- of beheergedeelten bedoeld zijn.

Redirectfouten

Redirectfouten omvatten meerdere problemen:

• Redirectketens. URL A verwijst door naar B, dat doorverwijst naar C, dat doorverwijst naar D. Elke stap voegt vertraging toe en kost een klein percentage linkwaarde.
• Redirectlussen. URL A verwijst door naar B, en B verwijst terug naar A. De pagina wordt volledig onbereikbaar.
• Verkeerde redirecttypen. 302-redirects (tijdelijk) gebruiken waar 301 (permanent) juist is. Zoekmachines geven via 302-redirects mogelijk niet alle linkwaarde door.

Vuistregel: Elke URL moet zijn eindbestemming bereiken in één redirectstap. Laat je audit ketens van drie of meer stappen zien, maak ze dan plat.

Waar je crawlfouten vindt

Je kunt niet oplossen wat je niet weet. Dit zijn de twee belangrijkste bronnen om crawlfouten op je site op te sporen.

Het dekkingsrapport van Google Search Console

Google Search Console (GSC) meldt crawlfouten rechtstreeks vanuit het perspectief van Googlebot, waardoor het de meest gezaghebbende bron is om te begrijpen waar Google echt tegenaan loopt. Meer inzichten lees je in Google Search Console onder de knie krijgen voor betere zichtbaarheid van je website.

Zo gebruik je het:

1. Open Google Search Console en ga naar het rapport Pagina's (voorheen Indexdekking).
2. Bekijk het gedeelte Redenen waarom pagina's niet worden geïndexeerd. Dit groepeert crawl- en indexeringsproblemen per type.
3. Let vooral op deze categorieën:

- ‘Serverfout (5xx)’, je belangrijkste oplossing

- ‘Niet gevonden (404)’, kijk of er pagina's bij zitten die zouden moeten bestaan

- ‘Redirectfout’, ketens, lussen of kapotte redirects

- ‘Geblokkeerd door robots.txt’, per ongeluk geblokkeerde pagina's

Beperking: GSC meldt alleen fouten die Googlebot tegenkwam tijdens het reguliere crawlen. Het crawlt niet actief elke URL, dus problemen op pagina's die Googlebot al een tijd niet heeft bezocht, verschijnen mogelijk niet.

Een site-audittool gebruiken

Een speciale site-audittool crawlt je hele site systematisch en vindt fouten die GSC mogelijk mist omdat Googlebot die pagina's al een tijd niet heeft bezocht. Wil je dieper ingaan op het verbeteren van de gezondheid van je website, bekijk dan de Website-audittool: de complete gids.

Voordelen ten opzichte van alleen GSC:

• Dekt elke vindbare URL, niet alleen de URL's die Googlebot toevallig heeft gecrawld

• Signaleert problemen voordat Googlebot ze tegenkomt (proactief in plaats van reactief)
• Geeft extra context: welke interne links naar foutpagina's wijzen, hoe diep de fouten in de sitestructuur zitten en of dezelfde fouten ook in eerdere audits voorkwamen

Als je een Site Audit uitvoert in UtilitySEO, worden crawlfouten ingedeeld op type en ernst. Je ziet precies welke pagina's naar elke fout-URL linken, zodat je de bron van het probleem makkelijk kunt opsporen en je oplossing kunt plannen.

Voor een complete uitleg van het auditproces, zie De complete gids voor site-audits in 2026.

Hoe crawlfouten je SEO schaden

Als je begrijpt hoe de schade ontstaat, kun je beter bepalen welke fouten je eerst aanpakt.

Verspild crawlbudget

Zoekmachines wijzen een beperkte hoeveelheid crawlcapaciteit aan je site toe, je crawlbudget. Elk verzoek dat een fout oplevert, had besteed kunnen worden aan het ontdekken of verversen van een echte pagina.

Voor kleine sites (minder dan 10.000 pagina's) is crawlbudget zelden een praktisch probleem. Bij grotere sites, vooral webshopcatalogi, uitgevers of sites met dynamische URL-parameters, kunnen honderden foutpagina's merkbaar verminderen hoe vaak je belangrijke content wordt gecrawld.

Voorbeeld: Een webshop met 50.000 producten ontdekte dat 8.000 URL's van een uitgefaseerde productlijn nog in hun sitemap stonden en allemaal een 404 gaven. Door die URL's uit de sitemap te halen en passende redirects toe te voegen voor pagina's met backlinks kwam er crawlbudget vrij, en hun nieuwe productpagina's verschenen 40% sneller in de zoekresultaten.

Verloren linkwaarde

Als een externe site naar een van je pagina's linkt en die pagina een 404 geeft, is de linkwaarde van die backlink verspild. Hij gaat niet naar een andere pagina op je site, hij verdwijnt gewoon.

Zo bepaal je de schade:

1. Exporteer je lijst met 404-URL's uit je audit.
2. Leg die naast je backlinkdata (de Backlinkanalyse: de complete gids voor 2026 van UtilitySEO kan hierbij helpen).
3. Elke 404-pagina met een of meer externe backlinks lekt linkwaarde die je met een 301-redirect kunt terugwinnen.

Dit is vaak de oplossing met de hoogste ROI in een hele audit. Eén redirect vanaf een 404-pagina met sterke backlinks kan de posities van het redirectdoel merkbaar verbeteren.

Slechte gebruikerservaring

Gebruikers die op een link klikken en op een 404-pagina belanden, verlaten je site waarschijnlijk. Hoge bouncepercentages van foutpagina's geven zoekmachines het signaal dat je site mogelijk geen goede ervaring biedt.

Los van het SEO-signaal is het ook een kwestie van vertrouwen. Een site vol kapotte links voelt onverzorgd. Voor B2B-bedrijven en bureaus waar geloofwaardigheid telt, ondermijnen kapotte pagina's het vertrouwen.

Zo los je elk type crawlfout op

Nu het praktische deel. Zo pak je elke categorie crawlfouten precies aan.

404-fouten oplossen (redirecten of herstellen)

Stap 1: Deel je 404's in.

Niet alle 404's verdienen dezelfde behandeling. Sorteer ze in drie groepen:

• Heeft backlinks of aanzienlijk verkeer. Deze hebben een 301-redirect nodig naar de meest relevante bestaande pagina.
• Er wordt intern naar gelinkt. Pas de interne links aan zodat ze naar de juiste URL wijzen. Een redirect werkt ook, maar de bron repareren is schoner.
• Geen links, geen verkeer, bewust verwijderd. Laat de 404 staan. Dat is het juiste signaal voor een pagina die niet hoort te bestaan.

Stap 2: Maak 301-redirects voor waardevolle 404's.

Koppel elke URL aan de meest relevante bestaande pagina. Redirect niet alles naar de homepage: dat geeft een slechte ervaring en zoekmachines kunnen massale redirects naar de homepage als soft 404's behandelen.

Stap 3: Werk interne links bij.

Zoek op je site naar links die naar de 404-URL wijzen en pas ze aan zodat ze naar het redirectdoel (of de juiste pagina) wijzen. Zo verdwijnt de redirectstap bij interne navigatie.

Stap 4: Haal ze uit sitemaps.

Staat de 404-URL in je XML-sitemap, haal hem er dan uit. Sitemaps horen alleen URL's te bevatten die statuscode 200 geven.

Serverfouten oplossen

Voor serverfouten moet je samenwerken met je ontwikkel- of hostingteam.

1. Controleer de serverlogs. De foutlogs onthullen de specifieke oorzaak: database-timeouts, geheugenlimieten, verkeerd ingestelde rewrites of falende scripts.
2. Test de getroffen URL's direct. Laad ze in een browser en bekijk het antwoord. Is de fout constant of komt hij af en toe voor?
3. Controleer de resourcelimieten van je hosting. Shared-hostingpakketten hebben vaak cpu- of geheugenlimieten die 503-fouten veroorzaken bij verkeerspieken of intensief crawlen.
4. Bekijk recente deployments. Verschenen de serverfouten na een code-deployment, dan heeft de nieuwe code het probleem waarschijnlijk veroorzaakt. Controleer de deploymentlogs en draai zo nodig terug.

Redirectketens opruimen

1. Breng de hele keten in kaart. Volg voor elke keten het volledige pad van de oorspronkelijke URL tot de eindbestemming.
2. Pas de eerste redirect aan. Wijzig de redirect op de oorspronkelijke URL zodat die rechtstreeks naar de eindbestemming wijst en alle tussenstappen overslaat.
3. Werk interne links bij. Elke interne link naar een URL in de keten moet rechtstreeks naar de uiteindelijke doel-URL wijzen.
4. Test na de reparatie. Controleer of de redirect goed werkt en er geen nieuwe ketens zijn ontstaan.

Soft 404's afhandelen

Een soft 404 ontstaat wanneer een pagina statuscode 200 geeft, maar content toont die op een foutpagina lijkt: ‘Geen resultaten gevonden’, een lege productlijst of een algemene melding ‘pagina niet beschikbaar’.

Google herkent deze en meldt ze in Search Console. Zo los je het op:

• Hoort de pagina niet te bestaan, geef dan een juiste statuscode 404 of 410 terug.
• Hoort de pagina wel te bestaan maar toont hij lege content, los dan het onderliggende content- of dataprobleem op.
• Is de pagina een zoekresultatenpagina zonder resultaten, overweeg dan een noindex-tag in plaats van hem als dunne content te laten indexeren.

Crawlfouten in de toekomst voorkomen

Bestaande fouten oplossen is reactief. Nieuwe voorkomen is waar de echte efficiëntiewinst zit.

Geplande audits en geautomatiseerde monitoring

Stel terugkerende site-audits in om nieuwe fouten binnen enkele dagen na hun verschijnen op te vangen, in plaats van te wachten tot ze zich opstapelen tot een groter probleem. Meer hierover lees je in Geautomatiseerde SEO-audits voor bureaus met meerdere sites.

Aanbevolen frequentie:

• Wekelijkse audits voor sites met veel contentupdates, productwijzigingen of actieve ontwikkeling
• Tweewekelijkse audits voor stabiele sites met een gematigde updatefrequentie
• Audits na een deployment na elke ingrijpende code- of contentrelease

De geplande Site Audits van UtilitySEO draaien op de frequentie die jij instelt en sturen je een overzicht van nieuwe problemen. In combinatie met Uptime Monitoring krijg je meldingen over serverfouten in realtime, niet pas wanneer de volgende audit draait.

Goed redirectbeheer tijdens migraties

Sitemigraties zijn de grootste enkele bron van crawlfouten. Of je nu van domein wisselt, URL's herstructureert of naar een nieuw CMS verhuist, hanteer deze principes:

1. Koppel vóór de lancering elke oude URL aan zijn nieuwe equivalent. Vertrouw niet alleen op patroongebaseerde redirects, die missen randgevallen.
2. Maak een 301-redirect voor elke gewijzigde URL. Gebruik een server-side redirect (.htaccess, nginx-configuratie of edge-regels), geen JavaScript- of meta-refresh-redirects.
3. Werk je XML-sitemap bij naar de nieuwe URL-structuur op de lanceringsdag.
4. Audit de site binnen 48 uur na de migratie. Vind gaten in de redirects voordat zoekmachines de kapotte URL's crawlen.
5. Volg de GSC-dekking twee weken na de migratie dagelijks. Nieuwe crawlfouten komen snel boven als de redirectdekking onvolledig is.

---

Crawlfouten lossen zichzelf niet op, maar ze vinden hoeft geen handwerk te zijn. Vind crawlfouten automatisch: start een gratis site-audit met UtilitySEO. Koppel je site, draai een crawl en krijg een gecategoriseerde lijst van elke fout met de context die je nodig hebt om oplossingen te prioriteren. Start je gratis audit.