Analyzátor robots.txt

Súbor je postupnosť záznamov. Skupina sa začína jedným alebo viacerými riadkami User-agent, za ktorými nasledujú pravidlá Allow a Disallow platné pre tieto prehľadávače. Nový riadok User-agent za pravidlami začína novú skupinu; viac riadkov User-agent za sebou zdieľa jednu skupinu (prehľadávač s dvoma menami to potrebuje). Samostatné záznamy ako Sitemap sa môžu objaviť kdekoľvek. # začína komentár kdekoľvek v riadku. Názvy polí nerozlišujú veľkosť písmen; cesty áno.

1. Nájde sa skupina, ktorej hodnota User-agent je podreťazcom mena prehľadávača; všetky zodpovedajúce skupiny sa zlúčia. Ak žiadna, použije sa skupina *; ak nie je ani tá, všetko je povolené. 2. Cesta sa testuje voči každému pravidlu: porovnávanie je na základe predpony, rozlišuje veľkosť písmen a */$ fungujú ako zástupné znaky. 3. Najdlhšie zodpovedajúce pravidlo vyhráva; pri rovnakej dĺžke má Allow prednosť pred Disallow. Ak nezodpovedá žiadne pravidlo, je to povolené. A bez ohľadu na pravidlá je /robots.txt sám implicitne povolený — prehľadávač by inak pravidlá nemohol prečítať.

• Presvedčenie, že robots.txt blokuje prístup. Je to žiadosť na slušné prehľadávače, nie múr: škodliví scrapery ho úplne ignorujú a nemá vplyv na to, čo môže prehliadač otvoriť. Na skutočnú ochranu treba autentifikáciu; robots.txt je správny nástroj len na riadenie vyhľadávačov.
• Očakávanie, že Disallow: / odstráni stránku z výsledkov vyhľadávania. Zastaví to prehľadávanie, nie indexovanie: ak na stránku odkazujú iné stránky, vyhľadávač môže URL uviesť aj naďalej (bez popisu). Na odstránenie slúži meta značka noindex alebo hlavička odpovede.
• Spoliehanie sa na poradie namiesto dĺžky. Prvé zodpovedajúce pravidlo nevyhráva — vyhráva najšpecifickejšie (najdlhšie). Preskupovanie riadkov na „opravu“ správania nič nezmení; namiesto toho treba zamýšľané pravidlo predĺžiť.
• Blokovanie CSS a JS. Zakazovanie /*.css$ a /*.js$ bolo kedysi bežnou „optimalizáciou“; vykresľovače dnes tieto súbory potrebujú, aby videli stránku tak ako návštevníci, a napoly vykreslená stránka sa môže umiestniť horšie.
• Zaobchádzanie s jednou veľkou skupinou ako s dokumentáciou. Riadky komentárov v skupine sú v poriadku, ale odsek textu pred prvým riadkom User-agent bez # je chyba analýzy, ktorá môže zmiasť zhovievavé analyzátory.

Podporujú všetky prehľadávače Allow, * a $? Veľké áno a RFC 9309 všetky tri štandardizuje. Niektoré menšie alebo staršie prehľadávače chápu len Disallow a * čítajú doslovne — jeden dôvod držať pravidlá jednoduché, keď sa dá.

Čo znamená prázdne Disallow:? „Nezakázať nič“ — skupina výslovne povoľuje všetko. Zvyčajne sa objaví, keď niekto upraví šablónu a odstráni cestu, ale nie direktívu; audit na to upozorní.

Aký veľký smie súbor byť? RFC 9309 vyžaduje, aby analyzátory zvládli aspoň 500 KiB; nad to môže prehľadávač prestať čítať a zvyšok považovať za zakázaný. Treba zostať ďaleko pod týmto limitom a ak rastie veľmi, spochybniť, či riadenie prehľadávania patrí do hlavičiek stránky.

Prečo porovnávač hovorí, že /robots.txt je povolený aj pod Disallow: /? Lebo to štandard hovorí výslovne: samotný súbor robots je implicitne povolený. urllib.robotparser v Pythone a iné ho tento osobitný prípad neimplementujú — jedna z malých odchýlok medzi analyzátormi v praxi, ktorú táto stránka dokumentuje vo vlastnom samotteste.

Rozlišuje sa veľkosť písmen v ceste Disallow? Áno. /Private/ a /private/ sú rôzne cesty. Názov poľa disallow môže byť v ľubovoľnej veľkosti písmen, ale hodnota sa musí presne zhodovať s URL.