Parser robots.txt

Plik to ciąg rekordów. Grupa zaczyna się od jednej lub większej liczby linii User-agent, po których następują reguły Allow i Disallow dotyczące tych robotów. Nowa linia User-agent po regułach zaczyna nową grupę; kilka linii User-agent z rzędu współdzieli jedną grupę (robot o dwóch nazwach tego potrzebuje). Rekordy samodzielne, jak Sitemap, mogą pojawić się wszędzie. # zaczyna komentarz w dowolnym miejscu linii. Nazwy pól nie rozróżniają wielkości liter; ścieżki już tak.

1. Znajdź grupę, której wartość User-agent jest podciągiem nazwy robota; połącz wszystkie pasujące grupy. Jeśli żadnej nie ma, użyj grupy *; jeśli i tej nie ma, wszystko jest dozwolone. 2. Sprawdź ścieżkę względem każdej reguły: dopasowanie jest oparte na prefiksie, rozróżnia wielkość liter, a */$ działają jak symbole wieloznaczne. 3. Najdłuższa pasująca reguła wygrywa; przy równej długości Allow bije Disallow. Brak pasującej reguły oznacza zezwolenie. Niezależnie od reguł, sam /robots.txt jest domyślnie dozwolony — inaczej robot nie mógłby odczytać reguł.

• Przekonanie, że robots.txt blokuje dostęp. To prośba skierowana do grzecznych robotów, a nie mur: nieuczciwe scrapery całkowicie ją ignorują, a przeglądarka może otworzyć to, co chce. Do prawdziwej ochrony służy uwierzytelnianie; do sterowania wyłącznie wyszukiwarkami robots.txt jest właściwym narzędziem.
• Oczekiwanie, że Disallow: / usunie stronę z wyników wyszukiwania. Zatrzymuje indeksowanie, a nie indeksację: jeśli inne strony linkują do danej strony, wyszukiwarka może nadal wymieniać adres URL (bez opisu). Narzędziem do usuwania jest znacznik meta noindex albo nagłówek odpowiedzi.
• Poleganie na kolejności zamiast na długości. Pierwsza pasująca reguła nie wygrywa — wygrywa najbardziej szczegółowa (najdłuższa). Przestawianie linii, by „naprawić” zachowanie, nic nie zmienia; zamiast tego wydłuż zamierzoną regułę.
• Blokowanie CSS i JS. Wykluczanie /*.css$ i /*.js$ było kiedyś częstą „optymalizacją”; renderery potrzebują tych plików, by widzieć stronę tak jak odwiedzający, a częściowo wyrenderowana strona może gorzej się pozycjonować.
• Traktowanie dużej grupy jak dokumentacji. Linie komentarza w grupie są w porządku, ale opis w prozie przed pierwszą linią User-agent bez # to błąd parsowania, który może zmylić wyrozumiałe parsery.

Czy wszystkie roboty obsługują Allow, * i $? Główne tak, a RFC 9309 ustandaryzowało wszystkie trzy. Niektóre mniejsze lub starsze roboty rozumieją tylko Disallow i czytają * dosłownie — to jeden z powodów, by w miarę możliwości trzymać reguły proste.

Co oznacza pusty Disallow:? „Nie zakazuj niczego” — grupa wprost zezwala na wszystko. Zwykle pojawia się, gdy ktoś edytuje szablon, usuwa ścieżkę, ale nie dyrektywę; audyt to zgłasza.

Jak duży może być plik? RFC 9309 wymaga, by parsery obsługiwały co najmniej 500 KiB; ponad to robot może przestać czytać i uznać resztę za zakazaną. Trzymaj plik znacznie poniżej tej granicy, a jeśli urośnie ogromny, zastanów się, czy sterowanie indeksowaniem nie powinno należeć do nagłówków strony.

Dlaczego dopasowywacz mówi, że /robots.txt jest dozwolony nawet przy Disallow: /? Bo standard mówi to wprost: sam plik robots jest domyślnie dozwolony. Moduł urllib.robotparser w Pythonie i inne nie implementują tego wyjątku — jedna z drobnych rozbieżności między prawdziwymi parserami, którą ta strona opisuje w swoim samoteście.

Czy ścieżka Disallow rozróżnia wielkość liter? Tak. /Private/ i /private/ to różne ścieżki. Nazwa pola disallow może być w dowolnej wielkości liter, ale wartość musi pasować do adresu URL dokładnie.