Robots.txt-parser

En fil er en række poster. En gruppe starter med en eller flere User-agent-linjer, efterfulgt af Allow- og Disallow-regler, der gælder for disse crawlere. En ny User-agent-linje efter regler begynder en ny gruppe; flere User-agent-linjer i træk deler én gruppe (en crawler med to navne har brug for dette). Selvstændige poster som Sitemap kan optræde hvor som helst. # starter en kommentar hvor som helst på en linje. Feltnavne er ufølsomme over for store/små bogstaver; stier er ikke.

1. Find gruppen, hvis User-agent-værdi er en delstreng af crawlerens navn; flet alle matchende grupper. Findes ingen, bruges *-gruppen; findes heller ingen af dem, er alt tilladt. 2. Test stien mod hver regel: matchning er præfiksbaseret, versalfølsom, og */$ virker som jokertegn. 3. Den længste matchende regel vinder; ved samme længde slår Allow Disallow. Ingen matchende regel betyder tilladt. Og uanset hvad reglerne siger, er /robots.txt selv implicit tilladt — en crawler kunne ellers ikke læse reglerne.

• At tro, at robots.txt blokerer adgang. Det er en anmodning til høflige crawlere, ikke en mur: useriøse scrapere ignorerer den fuldstændigt, og den har ingen effekt på, hvad en browser kan åbne. Til reel beskyttelse bruges godkendelse; til kun at styre søgemaskiner er robots.txt det rette værktøj.
• At forvente, at Disallow: / fjerner en side fra søgeresultater. Det stopper crawling, ikke indeksering: hvis andre sider linker til ens side, kan en søgemaskine stadig vise URL'en (uden beskrivelse). Meta-tagget eller response-headeren noindex er værktøjet til fjernelse.
• At stole på rækkefølge i stedet for længde. Den første matchende regel vinder ikke — den mest specifikke (længste) gør. At omstille linjer for at "rette" adfærden har ingen effekt; gør i stedet den tilsigtede regel længere.
• At blokere CSS og JS. At forbyde /*.css$ og /*.js$ var tidligere en almindelig "optimering"; renderere har nu brug for disse filer for at se siden, som besøgende gør, og en halvt renderet side kan rangere dårligere.
• At behandle en stor gruppe som dokumentation. Kommentarlinjer inde i en gruppe er i orden, men et afsnit med prosa før den første User-agent-linje uden # er en parserfejl, der kan forvirre tilgivende parsere.

Understøtter alle crawlere Allow, * og $? De store gør, og RFC 9309 standardiserer alle tre. Nogle mindre eller ældre crawlere forstår kun Disallow og læser * bogstaveligt — en grund til at holde reglerne enkle, når det er muligt.

Hvad betyder en tom Disallow:? "Forbyd intet" — gruppen tillader eksplicit alt. Det optræder typisk, når nogen redigerer en skabelon og sletter stien, men ikke direktivet; auditen gør opmærksom på det.

Hvor stor må filen være? RFC 9309 kræver, at parsere håndterer mindst 500 KiB; ud over det kan en crawler stoppe med at læse og behandle resten som forbudt. Hold den godt under, og hvis den vokser meget, så overvej, om crawlingkontrol hører hjemme i sideheaders i stedet.

Hvorfor siger matcheren, at /robots.txt er tilladt, selv under Disallow: /? Fordi standarden siger det med så mange ord: robotfilen selv er implicit tilladt. Pythons urllib.robotparser implementerer blandt andre ikke dette specialtilfælde — en af de små afvigelser mellem parsere i den virkelige verden, som denne side dokumenterer i sin selvtest.

Er en Disallow-sti versalfølsom? Ja. /Private/ og /private/ er forskellige stier. Feltnavnet disallow kan skrives med alle slags bogstaver, men værdien skal matche URL'en præcist.