Robots.txt-parser

En fil er en sekvens av poster. En gruppe starter med én eller flere User-agent-linjer, etterfulgt av Allow- og Disallow-regler som gjelder for disse crawlerne. En ny User-agent-linje etter regler starter en ny gruppe; flere User-agent-linjer på rad deler én gruppe (en crawler med to navn trenger dette). Frittstående poster som Sitemap kan stå hvor som helst. # starter en kommentar hvor som helst på en linje. Feltnavn skiller ikke mellom store og små bokstaver; stier gjør det.

1. Finn gruppen der User-agent-verdien er en delstreng av crawlerens navn; slå sammen alle treffende grupper. Finnes ingen, brukes *-gruppen; finnes heller ikke den, er alt tillatt. 2. Test stien mot hver regel: matching er prefiksbasert, skiller mellom store og små bokstaver, og */$ fungerer som jokertegn. 3. Den lengste treffende regelen vinner; ved lik lengde vinner Allow over Disallow. Ingen treffende regel betyr tillatt. Og uansett hva reglene sier, er /robots.txt implisitt tillatt — en crawler kunne ikke lese reglene ellers.

• Å tro at robots.txt blokkerer tilgang. Det er en forespørsel til veloppdragne crawlere, ikke en mur: useriøse skrapere ignorerer den fullstendig, og den har ingen effekt på hva en nettleser kan åpne. For reell beskyttelse må autentisering brukes; for å styre bare søkemotorer er robots.txt riktig verktøy.
• Å tro at Disallow: / fjerner en side fra søkeresultatene. Det stopper crawling, ikke indeksering: hvis andre sider lenker til siden, kan en søkemotor fortsatt liste nettadressen (uten beskrivelse). Metakoden noindex eller responsheaderen er verktøyet for fjerning.
• Å stole på rekkefølge i stedet for lengde. Den første treffende regelen vinner ikke — den mest spesifikke (lengste) gjør det. Å endre rekkefølgen på linjene for å «fikse» oppførselen er uten effekt; gjør den tiltenkte regelen lengre i stedet.
• Å blokkere CSS og JS. Å avslå /*.css$ og /*.js$ var tidligere vanlig «optimalisering»; renderere trenger nå disse filene for å se siden slik besøkende gjør, og en halvt gjengitt side kan rangeres dårligere.
• Å behandle én stor gruppe som dokumentasjon. Kommentarlinjer inne i en gruppe er greit, men et avsnitt med prosa før den første User-agent-linjen uten # er en analysefeil som kan forvirre tilgivende analysatorer.

Støtter alle crawlere Allow, * og $? De store gjør det, og RFC 9309 standardiserer alle tre. Noen mindre eller eldre crawlere forstår bare Disallow og leser * bokstavelig — en grunn til å holde reglene enkle når det er mulig.

Hva betyr en tom Disallow:? «Avslå ingenting» — gruppen tillater eksplisitt alt. Den dukker vanligvis opp når noen redigerer en mal og sletter stien, men ikke direktivet; revisjonen flagger den.

Hvor stor kan filen være? RFC 9309 krever at analysatorer håndterer minst 500 KiB; utover det kan en crawler slutte å lese og behandle resten som avslått. Hold den godt under, og hvis den vokser mye, vurder om styring av crawling hører hjemme i sideheadere i stedet.

Hvorfor sier matcheren at /robots.txt er tillatt selv under Disallow: /? Fordi standarden sier det, med så mange ord: robots-filen selv er implisitt tillatt. Pythons urllib.robotparser implementerer blant annet ikke dette spesialtilfellet — en av de små forskjellene mellom analysatorer i praksis, som denne siden dokumenterer i sin selvtest.

Er en Disallow-sti case-sensitiv? Ja. /Private/ og /private/ er ulike stier. Feltnavnet disallow kan skrives med hvilke store og små bokstaver som helst, men verdien må samsvare nøyaktig med URL-en.