Revisa tu robots.txt.
Evita bloquearte a ti mismo.
Un verificador de robots.txt que confirma que no estás bloqueando a los buscadores por error.
14 días de prueba gratuita · Sin tarjeta de crédito · Cancela cuando quieras
“Más barato que lo que usaba y mucho más fácil de manejar. Nunca había visto los datos de palabras clave presentados de forma tan visual, sobre todo los clusters de temas, y eso hizo que todo fuera fácil de entender.”
robots.txt controla el rastreo, no la indexación, y la diferencia importa
El malentendido más caro del SEO técnico es tratar el robots.txt como una forma de mantener páginas fuera de los resultados de búsqueda. No lo es, y usarlo así produce lo contrario de lo que querías.
Disallow le dice a un rastreador que no descargue la URL. No le dice a nadie que no la indexe. Si otras páginas enlazan a una URL bloqueada, los buscadores pueden indexarla, y lo hacen, solo a partir de esos enlaces. Por eso a veces ves un resultado con una URL real, sin descripción y con una nota de que no se pudo rastrear la página.
La trampa en la que cae casi todo el mundo
Alguien quiere que una página salga del índice. Le añade noindex. Luego, para asegurarse, la bloquea también en el robots.txt.
Esa combinación garantiza que la página siga indexada. La instrucción noindex está dentro de la página, y el robots.txt acaba de prohibir al rastreador que la descargue, así que la instrucción nunca se lee. La regla es sencilla cuando la ves: para quitar una página del índice, tiene que seguir siendo rastreable. Aplica noindex, deja la página rastreable, espera al nuevo rastreo y solo entonces plantéate bloquearla.
Otras cosas que conviene verificar
El archivo debe estar en la raíz del host para tener efecto, y se aplica por host, protocolo y puerto, así que las versiones http y https de tu dominio son archivos distintos para un rastreador. Google solo procesa hasta 500 KB del archivo. Las reglas se asignan por grupo de user-agent, y un rastreador obedece solo el grupo más específico que le corresponde, así que un bloque específico User-agent: Googlebot significa que Googlebot ignora por completo tus reglas de User-agent: * en lugar de combinarlas.
Bloquear CSS y JavaScript es otro gol en propia puerta. Los buscadores renderizan las páginas, y una página con la hoja de estilos bloqueada se evalúa como la versión sin estilos, que con frecuencia se ve rota y poco amigable en móvil.
Cómo lo gestiona UtilitySEO
La auditoría informa de lo que tu robots.txt hace realmente, y no solo de si el archivo existe, incluido si las directivas entran en conflicto con las señales de indexación de las propias páginas.
Para seguir leyendo
Un robots.txt correcto es una comprobación dentro de un trabajo más grande. SEO técnico reúne el resto: rastreo, indexación, renderizado y redirecciones. Búsqueda con IA y motores de respuestas trata la cuestión más reciente de qué rastreadores de IA respetan el archivo.
Análisis gratis de 30 segundos.
Sin registro. Sin tarjeta de crédito.
Puntuaciones reales de Google en rendimiento, SEO y accesibilidad, más una lista ordenada de lo que debes arreglar primero, en menos de un minuto.
Precios sencillos
Tres planes. 14 días gratis de Minimum, sin tarjeta.
Minimum
Para un sitio web, con las herramientas SEO esenciales.
- 1 proyecto y 1 puesto
- 3 escaneos del sitio al día, hasta 500 páginas cada uno
- 500 palabras clave seguidas
- 3 competidores seguidos
- Auditorías del sitio, guías de corrección, seguimiento de posiciones, Search Console y GA4
- 14 días gratis, sin tarjeta
- Ayuda gratuita para empezar
Sin tarjeta · Sin contrato · Cancela cuando quieras
Entrepreneur
Para unos pocos sitios web, con IA y growth blogs.
- 3 proyectos y 3 puestos
- 5 escaneos del sitio al día, hasta 2.000 páginas cada uno
- 1.000 palabras clave seguidas por proyecto
- 5 competidores por proyecto
- 100 usos de IA al mes: insights, briefs de contenido, Writer, Ask y clustering
- 20 blogs de crecimiento al mes, escritos para ti
- Ayuda gratuita para empezar
Sin tarjeta · Sin contrato · Cancela cuando quieras
Enterprise
Todo, ilimitado. La suite SEO completa más barata, y la única por debajo de £100.
- Proyectos y puestos ilimitados (uso razonable)
- 20 escaneos de sitio al día, hasta 10,000 páginas cada uno
- 10.000 palabras clave seguidas por proyecto
- Competidores ilimitados (uso razonable)
- Funciones de IA ilimitadas (uso razonable)
- 100 growth blogs al mes entre todos los proyectos
- Informes de marca blanca para clientes
- Soporte prioritario y ayuda de onboarding gratuita
Sin tarjeta · Sin contrato · Cancela cuando quieras
Cancela cuando quieras · Pago seguro con Stripe
¿Tienes un código de partner, afiliado o referido? Puede darte una prueba más larga o un plan superior.
Cambios de precio: si alguna vez cambiamos el precio de tu plan, te avisamos antes por correo, con al menos 2 meses de antelación a una renovación anual o 28 días antes de un pago mensual, y puedes cancelar antes de que se aplique.
Preguntas frecuentes
Deja de adivinar. Empieza a arreglar.
Descubre qué está roto y qué arreglar primero, en lenguaje claro. 14 días gratis de Minimum. Un código de partner, afiliado o referido puede darte una prueba más larga o un plan superior. Sin tarjeta de crédito.
Empezar mi prueba gratuita