Definición
El robots.txt es un archivo de texto ubicado en la raíz de un sitio web que indica a los rastreadores de buscadores y otros bots qué secciones pueden o no pueden rastrear. Sirve para evitar que se rastreen áreas irrelevantes, como páginas internas o de prueba, y para indicar la ubicación del sitemap. No garantiza que una página no se indexe: para eso se usa la etiqueta noindex. Hay que configurarlo con cuidado, porque un error puede bloquear todo el sitio. Hoy también se usa para definir el acceso de rastreadores de IA.
¿Qué significa Robots.txt y cómo funciona?
Piensa en un letrero en la entrada de un edificio que dice qué pisos pueden visitarse y cuáles son solo para el personal. El archivo robots.txt cumple esa función con los buscadores y otros rastreadores: les indica qué partes de tu sitio pueden recorrer.
Así funciona
- Creas un archivo de texto en la raíz de tu dominio.
- Escribes reglas que permiten o bloquean rutas para cada rastreador.
- Indicas la ubicación de tu sitemap XML.
- Los rastreadores lo leen antes de recorrer tu sitio.
Un error en este archivo puede bloquear tu sitio completo para Google. Revísalo con cuidado cada vez que lo modifiques.
Términos relacionados
Preguntas frecuentes
Otras preguntas de los usuarios
¿Qué es Robots.txt?
Archivo que indica a los rastreadores qué partes de un sitio pueden o no rastrear.
¿Qué se debe bloquear en robots.txt?
Se suelen bloquear áreas sin valor para buscadores, como carpetas administrativas, resultados de búsqueda interna, páginas de prueba o parámetros que generan contenido duplicado. Nunca conviene bloquear archivos CSS o JavaScript necesarios para mostrar la página, ni páginas que quieres posicionar.
¿Robots.txt impide que una página aparezca en Google?
No del todo. Bloquear el rastreo evita que Google lea el contenido, pero la URL puede seguir apareciendo si otros sitios la enlazan. Para evitar que una página se indexe, conviene usar la etiqueta noindex y permitir el rastreo para que el buscador pueda leer esa instrucción.
¿Se puede usar robots.txt con rastreadores de IA?
Sí. Muchos rastreadores de empresas de IA respetan las reglas de robots.txt, por lo que puedes permitirlos o bloquearlos de forma específica. La decisión depende de si quieres que tu contenido sea usado y citado por asistentes de IA, algo relevante para estrategias de AEO y GEO.
