Vérifiez votre robots.txt.
Ne vous bloquez pas vous-même.
Un vérificateur de robots.txt qui confirme que vous ne bloquez pas les moteurs de recherche par erreur.
14 jours d'essai gratuit · Sans carte bancaire · Résiliable à tout moment
“Moins cher que ce que j’utilisais et bien plus simple à prendre en main. Je n’avais jamais vu des données de mots-clés présentées de façon aussi visuelle, surtout les clusters thématiques, ce qui rendait le tout facile à comprendre.”
robots.txt contrôle l'exploration, pas l'indexation, et la différence se paie
Le malentendu le plus coûteux du SEO technique consiste à voir le robots.txt comme un moyen de garder des pages hors des résultats de recherche. Ce n'est pas son rôle, et l'utiliser ainsi produit l'inverse de l'effet recherché.
Disallow indique à un robot de ne pas récupérer l'URL. Il n'indique à personne de ne pas l'indexer. Si d'autres pages renvoient vers une URL interdite, les moteurs de recherche peuvent l'indexer, et le font, à partir de ces seuls liens. C'est pourquoi on voit parfois un résultat avec une vraie URL, sans description, et une mention indiquant que la page n'a pas pu être explorée.
Le piège dans lequel presque tout le monde tombe
Quelqu'un veut qu'une page sorte de l'index. Il ajoute noindex à la page. Puis, par précaution, il l'interdit aussi dans le robots.txt.
Cette combinaison garantit que la page reste indexée. L'instruction noindex se trouve dans la page, et le robots.txt vient d'interdire au robot de la récupérer : l'instruction n'est donc jamais lue. La règle est simple une fois qu'on l'a comprise : pour retirer une page de l'index, elle doit rester explorable. Appliquez noindex, laissez la page explorable, attendez la nouvelle exploration, et seulement ensuite envisagez de l'interdire.
Autres points à vérifier
Le fichier doit se trouver à la racine de l'hôte pour avoir un effet, et il s'applique par hôte, protocole et port : les versions http et https de votre domaine sont donc deux fichiers distincts pour un robot. Google ne traite les 500 premiers Ko du fichier. Les règles sont associées par groupe d'user-agent, et un robot n'obéit qu'au groupe le plus spécifique qui lui correspond. Un bloc dédié User-agent: Googlebot signifie donc que Googlebot ignore entièrement vos règles User-agent: * au lieu de les combiner.
Bloquer le CSS et le JavaScript est un autre but contre son camp. Les moteurs de recherche affichent les pages, et une page dont la feuille de style est interdite est évaluée dans sa version sans mise en forme, qui paraît souvent cassée et peu adaptée au mobile.
Comment UtilitySEO gère cela
L'audit indique ce que fait réellement votre robots.txt, et pas seulement si le fichier existe, y compris si les directives entrent en conflit avec les signaux d'indexation des pages elles-mêmes.
Pour aller plus loin
Un robots.txt correct n'est qu'une vérification dans un travail plus vaste. SEO technique rassemble le reste : exploration, indexation, rendu et redirections. Recherche IA et moteurs de réponses traite la question plus récente de savoir quels robots d'IA respectent le fichier.
Analyse gratuite de 30 secondes.
Sans inscription. Sans carte bancaire.
De vrais scores Google pour les performances, le SEO et l'accessibilité, plus une liste classée de ce qu'il faut corriger en premier, en moins d'une minute.
Des tarifs simples
Trois formules. 14 jours offerts sur Minimum, sans carte.
Minimum
Pour un site web, avec la boîte à outils SEO essentielle.
- 1 projet et 1 siège
- 3 analyses de site par jour, jusqu'à 500 pages chacune
- 500 mots-clés suivis
- 3 concurrents suivis
- Audits de site, guides de correction, suivi des positions, Search Console et GA4
- 14 jours offerts, sans carte
- Aide gratuite à la prise en main
Sans carte · Sans engagement · Résiliable à tout moment
Entrepreneur
Pour quelques sites web, avec l'IA et les growth blogs.
- 3 projets et 3 sièges
- 5 analyses de site par jour, jusqu'à 2 000 pages chacune
- 1 000 mots-clés suivis par projet
- 5 concurrents par projet
- 100 utilisations de l'IA par mois : analyses, briefs de contenu, Writer, Ask et regroupement
- 20 blogs de croissance par mois, rédigés pour vous
- Aide gratuite à la prise en main
Sans carte · Sans engagement · Résiliable à tout moment
Enterprise
Tout, en illimité. La suite SEO complète la moins chère, et la seule à moins de £100.
- Projets et sièges illimités (usage raisonnable)
- 20 analyses de site par jour, jusqu'à 10 000 pages chacune
- 10 000 mots-clés suivis par projet
- Concurrents illimités (usage raisonnable)
- Fonctionnalités IA illimitées (usage raisonnable)
- 100 growth blogs par mois sur l'ensemble des projets
- Rapports clients en marque blanche
- Assistance prioritaire et aide à la prise en main gratuite
Sans carte · Sans engagement · Résiliable à tout moment
Résiliable à tout moment · Paiement sécurisé via Stripe
Vous avez un code partenaire, affilié ou de parrainage ? Il peut vous donner un essai plus long ou une offre supérieure.
Changements de prix : si nous modifions un jour le prix de votre offre, nous vous prévenons d'abord par e-mail, au moins 2 mois avant un renouvellement annuel ou 28 jours avant un paiement mensuel, et vous pouvez résilier avant qu'il s'applique.
Questions fréquentes
Arrêtez de deviner. Commencez à corriger.
Sachez ce qui ne va pas et quoi corriger en premier, en termes simples. 14 jours offerts sur Minimum. Un code partenaire, affilié ou de parrainage peut offrir un essai plus long ou une formule supérieure. Sans carte bancaire.
Commencer mon essai gratuit