robots.txt prüfen.
Sperren Sie sich nicht selbst aus.

robots.txt steuert das Crawling, nicht die Indexierung, und der Unterschied hat Folgen

Das teuerste Missverständnis im technischen SEO: robots.txt als Mittel zu betrachten, Seiten aus den Suchergebnissen herauszuhalten. Das ist sie nicht, und wer sie so einsetzt, erreicht das Gegenteil dessen, was er wollte.

Disallow sagt einem Crawler, dass er die URL nicht abrufen soll. Es sagt niemandem, dass er sie nicht indexieren soll. Wenn andere Seiten auf eine gesperrte URL verlinken, können Suchmaschinen sie allein aufgrund dieser Links indexieren, und das tun sie auch. Deshalb sehen Sie gelegentlich ein Ergebnis mit echter URL, ohne Beschreibung und mit dem Hinweis, dass die Seite nicht gecrawlt werden konnte.

Die Falle, in die fast jeder tappt

Jemand will eine Seite aus dem Index haben. Er fügt der Seite noindex hinzu. Dann sperrt er sie, um ganz sicherzugehen, zusätzlich in der robots.txt.

Diese Kombination sorgt dafür, dass die Seite im Index bleibt. Die noindex-Anweisung steht in der Seite, und die robots.txt hat dem Crawler gerade verboten, die Seite abzurufen, also wird die Anweisung nie gelesen. Die Regel ist einfach, sobald man sie kennt: Damit eine Seite aus dem Index verschwindet, muss sie crawlbar bleiben. Setzen Sie noindex, lassen Sie die Seite crawlbar, warten Sie auf den erneuten Crawl und überlegen Sie erst danach, sie zu sperren.

Weitere Punkte, die Sie prüfen sollten

Die Datei muss im Stammverzeichnis des Hosts liegen, um zu wirken, und sie gilt pro Host, Protokoll und Port. Die http- und die https-Version Ihrer Domain sind für einen Crawler also getrennte Dateien. Google verarbeitet höchstens 500 KB der Datei. Regeln werden pro User-Agent-Gruppe zugeordnet, und ein Crawler befolgt nur die spezifischste Gruppe, die auf ihn passt. Ein eigener Block User-agent: Googlebot bedeutet daher, dass Googlebot Ihre User-agent: *-Regeln komplett ignoriert, statt sie zu kombinieren.

Auch das Sperren von CSS und JavaScript ist ein Eigentor. Suchmaschinen rendern Seiten, und eine Seite, deren Stylesheet gesperrt ist, wird in der Version ohne Styles bewertet, die oft kaputt und nicht mobilfreundlich aussieht.

So geht UtilitySEO damit um

Das Audit meldet, was Ihre robots.txt tatsächlich bewirkt, und nicht nur, ob die Datei existiert. Dazu gehört auch, ob die Anweisungen den Indexierungssignalen auf den Seiten selbst widersprechen.

Weiterführende Informationen

Eine korrekte robots.txt ist nur eine Prüfung innerhalb einer größeren Aufgabe. Technisches SEO bündelt den Rest: Crawling, Indexierung, Rendering und Weiterleitungen. KI-Suche und Antwortmaschinen behandelt die neuere Frage, welche KI-Crawler die Datei überhaupt beachten.