Crawling-Fehler finden und beheben, die Ihrem Ranking schaden

Crawling-Fehler finden und beheben, die Ihrem Ranking schaden

Crawling-Fehler zeigen, dass Suchmaschinen versucht haben, eine Seite Ihrer Website aufzurufen, und gescheitert sind. Manche Crawling-Fehler sind harmlos, etwa ein gelöschter Blogbeitrag, der nie Traffic hatte. Andere schaden Ihrem Ranking aktiv: Sie verschwenden Crawl-Budget, unterbrechen Link-Wert-Ketten und schicken Nutzer in Sackgassen.

Der Unterschied zwischen einer gesunden Website und einer, die organischen Traffic verliert, liegt oft darin, wie schnell Sie die Crawling-Fehler erkennen und beheben, auf die es ankommt. Diese Anleitung behandelt jeden Typ von Crawling-Fehler, wo Sie ihn finden, wie er Ihrem SEO schadet und wie Sie ihn genau beheben.

Was sind Crawling-Fehler?

Ein Crawling-Fehler entsteht, wenn ein Suchmaschinen-Bot (wie Googlebot) eine URL Ihrer Website abruft und statt des erwarteten Seiteninhalts eine Fehlerantwort erhält. Die Art der Fehlerantwort zeigt, was schiefgelaufen ist, und weist Ihnen den Weg zur Lösung.

Serverfehler (5xx)

Serverfehler bedeuten, dass Ihr Webserver eine gültige Anfrage nicht erfüllen konnte. Die häufigsten Varianten:

• 500 Internal Server Error. Ein allgemeiner Sammelfehler, der anzeigt, dass serverseitig etwas kaputt ist. Die Ursachen reichen von falsch konfigurierten .htaccess-Dateien bis zu Ausfällen der Datenbankverbindung.
• 502 Bad Gateway. Der Server, der als Proxy arbeitet, hat vom vorgelagerten Server eine ungültige Antwort erhalten. Häufig bei Load Balancern und Reverse-Proxy-Setups.
• 503 Service Unavailable. Der Server ist vorübergehend überlastet oder in Wartung. Suchmaschinen sind bei 503 in der Regel geduldig, aber anhaltende 503-Fehler deuten auf ein Infrastrukturproblem hin.

Warum sie gefährlich sind: Wenn Googlebot wiederholt 5xx-Fehler erhält, senkt er die Crawl-Rate Ihrer Website, sodass selbst Ihre gesunden Seiten seltener gecrawlt werden. In schweren Fällen können Seiten komplett aus dem Index fallen.

Nicht-gefunden-Fehler (404)

Ein 404 bedeutet, dass die angeforderte URL auf dem Server nicht existiert. Das ist der häufigste Crawling-Fehler, und Sie begegnen ihm in jedem Audit.

Typische Ursachen:

• Eine Seite wurde gelöscht, ohne eine Weiterleitung einzurichten
• Eine URL wurde geändert und interne Links wurden nicht angepasst
• Eine externe Website verlinkt auf eine URL, die falsch geschrieben war oder nie existiert hat
• Ein CMS hat eine temporäre URL erzeugt, die später entfernt wurde

Nicht jeder 404 erfordert Handeln. Ein 404 für eine absichtlich entfernte Seite ohne Backlinks und ohne interne Links funktioniert wie gewünscht: Er sagt den Suchmaschinen, dass die Seite weg ist. Schädlich sind die 404-Fehler bei Seiten, die noch Links erhalten, noch in Sitemaps auftauchen oder die Nutzer noch aufrufen wollen.

Zugriff-verweigert-Fehler (403)

Ein 403-Forbidden-Fehler bedeutet, dass der Server die Anfrage verstanden hat, die Berechtigung aber verweigert. Im Crawl-Kontext heißt das meist:

• Ein Passwortschutz blockiert den Crawler
• IP-basierte Zugriffsbeschränkungen filtern Bot-Traffic heraus
• Dateiberechtigungen auf dem Server sind falsch konfiguriert

Lösung: Prüfen Sie Ihre Serverkonfiguration und stellen Sie sicher, dass Crawler nicht durch Authentifizierungsschichten oder IP-Beschränkungen blockiert werden, die nur für Staging- oder Admin-Bereiche gelten sollten.

Weiterleitungsfehler

Weiterleitungsfehler umfassen mehrere Probleme:

• Weiterleitungsketten. URL A leitet auf B weiter, B auf C, C auf D. Jeder Schritt erhöht die Latenz und kostet einen kleinen Prozentsatz Link-Wert.
• Weiterleitungsschleifen. URL A leitet auf B weiter, und B leitet zurück auf A. Die Seite wird komplett unerreichbar.
• Falsche Weiterleitungstypen. 302-Weiterleitungen (temporär), wo 301 (permanent) richtig wäre. Suchmaschinen geben über 302-Weiterleitungen den Link-Wert womöglich nicht vollständig weiter.

Faustregel: Jede URL sollte ihr Ziel mit einem einzigen Weiterleitungsschritt erreichen. Zeigt Ihr Audit Ketten mit drei oder mehr Schritten, lösen Sie sie auf.

Wo Sie Crawling-Fehler finden

Sie können nur beheben, was Sie kennen. Hier sind die beiden wichtigsten Quellen, um Crawling-Fehler auf Ihrer Website zu entdecken.

Der Abdeckungsbericht der Google Search Console

Die Google Search Console (GSC) meldet Crawling-Fehler direkt aus Sicht von Googlebot und ist damit die maßgeblichste Quelle, um zu verstehen, worauf Google tatsächlich stößt. Mehr dazu lesen Sie in Google Search Console meistern für mehr Sichtbarkeit Ihrer Website.

So nutzen Sie ihn:

1. Öffnen Sie die Google Search Console und rufen Sie den Bericht Seiten auf (früher Indexabdeckung).
2. Sehen Sie sich den Abschnitt Gründe, warum Seiten nicht indexiert werden an. Er gruppiert Crawling- und Indexierungsprobleme nach Typ.
3. Achten Sie besonders auf diese Kategorien:

- „Serverfehler (5xx)“, Ihre wichtigste Baustelle

- „Nicht gefunden (404)“, prüfen Sie auf Seiten, die existieren sollten

- „Weiterleitungsfehler“, Ketten, Schleifen oder defekte Weiterleitungen

- „Durch robots.txt blockiert“, versehentlich gesperrte Seiten

Einschränkung: Die GSC meldet nur Fehler, auf die Googlebot beim regulären Crawlen gestoßen ist. Sie crawlt nicht aktiv jede URL, daher tauchen Probleme auf Seiten, die Googlebot länger nicht besucht hat, eventuell nicht auf.

Ein Site-Audit-Tool verwenden

Ein spezielles Site-Audit-Tool crawlt Ihre gesamte Website systematisch und findet Fehler, die die GSC womöglich übersieht, weil Googlebot diese Seiten länger nicht besucht hat. Mehr dazu, wie Sie die Gesundheit Ihrer Website verbessern, finden Sie im Website-Audit-Tool: Der komplette Leitfaden.

Vorteile gegenüber der GSC allein:

• Erfasst jede auffindbare URL, nicht nur die, die Googlebot zufällig gecrawlt hat

• Erkennt Probleme, bevor Googlebot auf sie stößt (proaktiv statt reaktiv)
• Liefert zusätzlichen Kontext: welche internen Links auf Fehlerseiten zeigen, wie tief die Fehler in der Seitenstruktur liegen und ob dieselben Fehler schon in früheren Audits auftraten

Wenn Sie in UtilitySEO ein Site-Audit durchführen, werden Crawling-Fehler nach Typ und Schweregrad kategorisiert. Sie sehen genau, welche Seiten auf jede Fehler-URL verlinken, sodass sich die Ursache leicht zurückverfolgen und die Behebung planen lässt.

Eine vollständige Anleitung zum Audit-Prozess finden Sie in Der komplette Leitfaden zu Site-Audits 2026.

Wie Crawling-Fehler Ihr SEO beeinträchtigen

Wenn Sie die Schadensmechanismen verstehen, können Sie besser priorisieren, welche Fehler Sie zuerst beheben.

Verschwendetes Crawl-Budget

Suchmaschinen weisen Ihrer Website eine begrenzte Menge an Crawling-Ressourcen zu, Ihr Crawl-Budget. Jede Anfrage, die einen Fehler liefert, hätte dafür verwendet werden können, eine echte Seite zu entdecken oder zu aktualisieren.

Bei kleinen Websites (unter 10.000 Seiten) ist das Crawl-Budget selten ein praktisches Problem. Bei größeren Websites, besonders bei E-Commerce-Katalogen, Verlagen oder Websites mit dynamischen URL-Parametern, können Hunderte Fehlerseiten spürbar verringern, wie oft Ihre wichtigen Inhalte gecrawlt werden.

Beispiel: Ein E-Commerce-Shop mit 50.000 Produkten stellte fest, dass 8.000 URLs einer eingestellten Produktlinie noch in der Sitemap standen und alle einen 404 lieferten. Nachdem diese URLs aus der Sitemap entfernt und für Seiten mit Backlinks passende Weiterleitungen eingerichtet waren, wurde Crawl-Budget frei, und die neuen Produktseiten erschienen 40 % schneller in den Suchergebnissen.

Verlorener Link-Wert

Wenn eine externe Website auf eine Ihrer Seiten verlinkt und diese Seite einen 404 liefert, ist der Link-Wert dieses Backlinks verschwendet. Er geht an keine andere Seite Ihrer Website über, er verschwindet einfach.

So beziffern Sie den Schaden:

1. Exportieren Sie Ihre Liste der 404-URLs aus dem Audit.
2. Gleichen Sie sie mit Ihren Backlink-Daten ab (die Backlink-Analyse: Der komplette Leitfaden für 2026 von UtilitySEO kann dabei helfen).
3. Jede 404-Seite mit einem oder mehreren externen Backlinks verliert Link-Wert, den Sie mit einer 301-Weiterleitung zurückholen könnten.

Oft ist das die Korrektur mit dem höchsten ROI in einem ganzen Audit. Eine einzige Weiterleitung von einer 404-Seite mit starken Backlinks kann das Ranking des Weiterleitungsziels spürbar verbessern.

Schlechte Nutzererfahrung

Nutzer, die auf einen Link klicken und auf einer 404-Seite landen, verlassen Ihre Website wahrscheinlich. Hohe Absprungraten von Fehlerseiten signalisieren Suchmaschinen, dass Ihre Website möglicherweise keine gute Erfahrung bietet.

Unabhängig vom SEO-Signal ist es auch eine Vertrauensfrage. Eine Website voller defekter Links wirkt ungepflegt. Für B2B-Unternehmen und Agenturen, bei denen Glaubwürdigkeit zählt, untergraben defekte Seiten das Vertrauen.

So beheben Sie jeden Typ von Crawling-Fehler

Jetzt zum praktischen Teil. So lösen Sie jede Kategorie von Crawling-Fehlern genau.

404-Fehler beheben (weiterleiten oder wiederherstellen)

Schritt 1: Kategorisieren Sie Ihre 404-Fehler.

Nicht alle 404-Fehler verdienen dieselbe Behandlung. Sortieren Sie sie in drei Gruppen:

• Hat Backlinks oder nennenswerten Traffic. Diese brauchen eine 301-Weiterleitung auf die passendste vorhandene Seite.
• Wird intern verlinkt. Passen Sie die internen Links an, sodass sie auf die richtige URL zeigen. Eine Weiterleitung funktioniert auch, aber die Quelle zu korrigieren ist sauberer.
• Keine Links, kein Traffic, absichtlich entfernt. Lassen Sie den 404 stehen. Das ist das richtige Signal für eine Seite, die nicht existieren soll.

Schritt 2: Richten Sie 301-Weiterleitungen für wertvolle 404-Fehler ein.

Ordnen Sie jede URL der passendsten vorhandenen Seite zu. Leiten Sie nicht alles auf die Startseite weiter: Das schafft eine schlechte Nutzererfahrung, und Suchmaschinen können massenhafte Weiterleitungen auf die Startseite als Soft-404 werten.

Schritt 3: Aktualisieren Sie interne Links.

Suchen Sie auf Ihrer Website nach Links, die auf die 404-URL zeigen, und passen Sie sie an, sodass sie auf das Weiterleitungsziel (oder die richtige Seite) zeigen. So entfällt der Weiterleitungsschritt bei der internen Navigation.

Schritt 4: Entfernen Sie sie aus den Sitemaps.

Taucht die 404-URL in Ihrer XML-Sitemap auf, entfernen Sie sie. Sitemaps sollten nur URLs enthalten, die den Statuscode 200 liefern.

Serverfehler beheben

Serverfehler erfordern die Zusammenarbeit mit Ihrem Entwicklungs- oder Hosting-Team.

1. Prüfen Sie die Serverlogs. Die Fehlerlogs zeigen die konkrete Ursache: Datenbank-Timeouts, Speicherlimits, falsch konfigurierte Rewrites oder fehlschlagende Skripte.
2. Testen Sie die betroffenen URLs direkt. Laden Sie sie im Browser und prüfen Sie die Antwort. Tritt der Fehler durchgehend oder sporadisch auf?
3. Prüfen Sie die Ressourcenlimits des Hostings. Shared-Hosting-Tarife haben oft CPU- oder Speicherlimits, die bei Traffic-Spitzen oder intensivem Crawling 503-Fehler auslösen.
4. Sehen Sie sich aktuelle Deployments an. Traten die Serverfehler nach einem Code-Deployment auf, hat wahrscheinlich der neue Code das Problem verursacht. Prüfen Sie die Deployment-Logs und machen Sie bei Bedarf einen Rollback.

Weiterleitungsketten bereinigen

1. Bilden Sie die komplette Kette ab. Verfolgen Sie für jede Kette den gesamten Weg von der ursprünglichen URL bis zum endgültigen Ziel.
2. Aktualisieren Sie die erste Weiterleitung. Ändern Sie die Weiterleitung an der Ausgangs-URL so, dass sie direkt auf das endgültige Ziel zeigt und alle Zwischenschritte überspringt.
3. Aktualisieren Sie interne Links. Jeder interne Link, der auf eine URL in der Kette zeigt, sollte direkt auf die endgültige Ziel-URL zeigen.
4. Testen Sie nach der Korrektur. Prüfen Sie, ob die Weiterleitung korrekt funktioniert und keine neuen Ketten entstanden sind.

Soft-404-Fehler behandeln

Ein Soft-404 liegt vor, wenn eine Seite den Statuscode 200 liefert, aber Inhalte anzeigt, die wie eine Fehlerseite aussehen: „Keine Ergebnisse gefunden“, eine leere Produktliste oder eine allgemeine Meldung „Seite nicht verfügbar“.

Google erkennt diese und meldet sie in der Search Console. So beheben Sie sie:

• Soll die Seite nicht existieren, liefern Sie einen korrekten Statuscode 404 oder 410.
• Soll die Seite existieren, zeigt aber leere Inhalte, beheben Sie das zugrunde liegende Inhalts- oder Datenproblem.
• Handelt es sich um eine Suchergebnisseite ohne Ergebnisse, erwägen Sie ein noindex-Tag, statt sie als dünnen Inhalt indexieren zu lassen.

Crawling-Fehler künftig vermeiden

Bestehende Fehler zu beheben ist reaktiv. Neue zu verhindern bringt die eigentlichen Effizienzgewinne.

Geplante Audits und automatisiertes Monitoring

Richten Sie regelmäßige Site-Audits ein, um neue Fehler innerhalb weniger Tage nach ihrem Auftreten zu erfassen, statt zu warten, bis sie sich zu einem größeren Problem summieren. Mehr dazu in Automatisierte SEO-Audits für Agenturen mit mehreren Websites.

Empfohlener Rhythmus:

• Wöchentliche Audits für Websites mit häufigen Inhaltsänderungen, Produktänderungen oder aktiver Entwicklung
• Zweiwöchentliche Audits für stabile Websites mit mäßiger Änderungshäufigkeit
• Audits nach dem Deployment nach jeder größeren Code- oder Inhaltsveröffentlichung

Die geplanten Site-Audits von UtilitySEO laufen in dem von Ihnen konfigurierten Rhythmus und senden Ihnen eine Zusammenfassung der neuen Probleme. In Kombination mit dem Uptime-Monitoring erhalten Sie Warnungen bei Serverfehlern in Echtzeit, nicht erst, wenn das nächste Audit läuft.

Sauberes Weiterleitungsmanagement bei Migrationen

Website-Migrationen sind die größte einzelne Quelle für Crawling-Fehler. Ob Sie die Domain wechseln, URLs umstrukturieren oder auf ein neues CMS umziehen, beachten Sie diese Grundsätze:

1. Ordnen Sie vor dem Launch jede alte URL ihrem neuen Gegenstück zu. Verlassen Sie sich nicht allein auf musterbasierte Weiterleitungen, sie übersehen Sonderfälle.
2. Richten Sie für jede geänderte URL eine 301-Weiterleitung ein. Nutzen Sie eine serverseitige Weiterleitung (.htaccess, nginx-Konfiguration oder Edge-Regeln), keine JavaScript- oder Meta-Refresh-Weiterleitungen.
3. Aktualisieren Sie Ihre XML-Sitemap am Launch-Tag auf die neue URL-Struktur.
4. Auditieren Sie die Website innerhalb von 48 Stunden nach der Migration. Finden Sie Lücken bei den Weiterleitungen, bevor Suchmaschinen die defekten URLs crawlen.
5. Beobachten Sie die GSC-Abdeckung zwei Wochen nach der Migration täglich. Neue Crawling-Fehler zeigen sich schnell, wenn die Weiterleitungen unvollständig sind.

---

Crawling-Fehler beheben sich nicht von selbst, aber sie zu finden muss keine manuelle Arbeit sein. Finden Sie Crawling-Fehler automatisch: Starten Sie ein kostenloses Site-Audit mit UtilitySEO. Verbinden Sie Ihre Website, starten Sie einen Crawl und erhalten Sie eine kategorisierte Liste aller Fehler mit dem Kontext, den Sie zum Priorisieren der Korrekturen brauchen. Kostenloses Audit starten.