Analizador de robots.txt

Un archivo es una secuencia de registros. Un grupo empieza con una o más líneas User-agent, seguidas de reglas Allow y Disallow que se aplican a esos rastreadores. Una nueva línea User-agent después de reglas inicia un nuevo grupo; varias líneas User-agent seguidas comparten un grupo (un rastreador con dos nombres lo necesita). Los registros independientes, como Sitemap, pueden aparecer en cualquier lugar. # inicia un comentario en cualquier punto de una línea. Los nombres de campo no distinguen mayúsculas; las rutas sí.

1. Busque el grupo cuyo valor User-agent es una subcadena del nombre del rastreador; fusione todos los grupos que coincidan. Si no hay ninguno, use el grupo *; si tampoco hay ese, todo está permitido. 2. Pruebe la ruta contra cada regla: la coincidencia es por prefijo, distingue mayúsculas, y */$ funcionan como comodines. 3. Gana la regla que coincide y es más larga; con la misma longitud, Allow vence a Disallow. Si ninguna regla coincide, se permite. Y, diga lo que diga la regla, /robots.txt en sí se permite implícitamente — de otro modo un rastreador no podría leer las reglas.

• Creer que robots.txt bloquea el acceso. Es una petición a los rastreadores respetuosos, no un muro: los raspadores malintencionados la ignoran por completo, y no tiene ningún efecto sobre lo que puede abrir un navegador. Para protección real use autenticación; para dirigir solo a los buscadores, robots.txt es la herramienta adecuada.
• Esperar que Disallow: / elimine una página de los resultados de búsqueda. Detiene el rastreo, no la indexación: si otras páginas enlazan a la suya, un buscador puede seguir listando la URL (sin descripción). La herramienta para eliminarla es la metaetiqueta o la cabecera de respuesta noindex.
• Confiar en el orden en lugar de en la longitud. La primera regla que coincide no gana: gana la más específica (la más larga). Reordenar líneas para «arreglar» el comportamiento no sirve de nada; haga que la regla deseada sea más larga.
• Bloquear CSS y JS. Denegar /*.css$ y /*.js$ solía ser una «optimización» habitual; hoy los renderizadores necesitan esos archivos para ver la página como la ven los visitantes, y una página renderizada a medias puede posicionar peor.
• Tratar un único grupo grande como documentación. Las líneas de comentario dentro de un grupo están bien, pero un párrafo de prosa antes de la primera línea User-agent sin # es un error de análisis que puede confundir a los analizadores tolerantes.

¿Admiten todos los rastreadores Allow, * y $? Los grandes sí, y la RFC 9309 estandariza los tres. Algunos rastreadores más pequeños o antiguos solo entienden Disallow y leen el * de forma literal — una razón para mantener las reglas sencillas cuando sea posible.

¿Qué significa un Disallow: vacío? «No denegar nada» — el grupo permite explícitamente todo. Suele aparecer cuando alguien edita una plantilla y borra la ruta pero no la directiva; la auditoría lo señala.

¿Qué tamaño puede tener el archivo? La RFC 9309 exige que los analizadores acepten al menos 500 KiB; más allá, un rastreador puede dejar de leer y tratar el resto como denegado. Manténgalo bien por debajo, y si crece mucho, plantéese si el control del rastreo debería estar en las cabeceras de página.

¿Por qué el comparador dice que /robots.txt está permitido aunque haya un Disallow: /? Porque el estándar lo dice, literalmente: el archivo robots en sí se permite implícitamente. El urllib.robotparser de Python, entre otros, no implementa este caso especial — una de las pequeñas divergencias entre analizadores reales que esta página documenta en su autocomprobación.

¿Distingue mayúsculas una ruta Disallow? Sí. /Private/ y /private/ son rutas distintas. El nombre de campo disallow puede escribirse en cualquier mayúscula, pero el valor debe coincidir exactamente con la URL.