TL;DRArchivo que indica a los rastreadores qué partes de un sitio pueden o no rastrear.
Definición
El robots.txt es un archivo de texto ubicado en la raíz de un sitio web que indica a los rastreadores de buscadores y otros bots qué secciones pueden o no pueden rastrear. Sirve para evitar que se rastreen áreas irrelevantes, como páginas internas o de prueba, y para indicar la ubicación del sitemap. No garantiza que una página no se indexe: para eso se usa la etiqueta noindex. Hay que configurarlo con cuidado, porque un error puede bloquear todo el sitio. Hoy también se usa para definir el acceso de rastreadores de IA.
Términos relacionados
IndexaciónProceso por el que un buscador guarda una página en su índice para poder ...llms.txtArchivo de texto en la raíz de un sitio que resume y enlaza su contenido clave ...SEO técnicoParte del SEO que asegura que los buscadores puedan rastrear, entender e ...Sitemap XMLArchivo que lista las URLs importantes de un sitio para ayudar a los buscadores ...
Preguntas frecuentes
¿Qué es Robots.txt?
Archivo que indica a los rastreadores qué partes de un sitio pueden o no rastrear.