Robots.txt-Parser

Eine Datei ist eine Folge von Datensätzen. Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln, die für diese Crawler gelten. Eine neue User-agent-Zeile nach Regeln beginnt eine neue Gruppe; mehrere User-agent-Zeilen hintereinander teilen sich eine Gruppe (ein Crawler mit zwei Namen braucht das). Eigenständige Datensätze wie Sitemap können überall stehen. # beginnt überall in einer Zeile einen Kommentar. Feldnamen sind nicht groß-/kleinschreibungsabhängig; Pfade schon.

1. Finden Sie die Gruppe, deren User-agent-Wert eine Teilzeichenkette des Crawler-Namens ist; führen Sie alle passenden Gruppen zusammen. Gibt es keine, gilt die Gruppe *; gibt es auch die nicht, ist alles erlaubt. 2. Prüfen Sie den Pfad gegen jede Regel: Der Abgleich erfolgt präfixbasiert, groß-/kleinschreibungsabhängig, und */$ wirken als Platzhalter. 3. Die längste passende Regel gewinnt; bei gleicher Länge schlägt Allow Disallow. Gibt es keine passende Regel, ist der Zugriff erlaubt. Und unabhängig davon, was die Regeln sagen, ist /robots.txt selbst implizit erlaubt — sonst könnte ein Crawler die Regeln nicht lesen.

• Zu glauben, robots.txt blockiere den Zugriff. Es ist eine Bitte an höfliche Crawler, keine Mauer: Unseriöse Scraper ignorieren sie vollständig, und auf das, was ein Browser öffnen kann, hat sie keinen Einfluss. Für echten Schutz nutzen Sie Authentifizierung; robots.txt ist nur das richtige Werkzeug, um Suchmaschinen zu lenken.
• Zu erwarten, dass Disallow: / eine Seite aus den Suchergebnissen entfernt. Es stoppt das Crawlen, nicht das Indexieren: Verlinken andere Seiten auf Ihre, kann eine Suchmaschine die URL dennoch (ohne Beschreibung) auflisten. Zum Entfernen dienen das Meta-Tag noindex oder ein entsprechender Antwort-Header.
• Sich auf die Reihenfolge statt auf die Länge zu verlassen. Nicht die erste passende Regel gewinnt — sondern die spezifischste (längste). Zeilen umzusortieren, um das Verhalten zu „reparieren“, bewirkt nichts; machen Sie stattdessen die gewünschte Regel länger.
• CSS und JavaScript blockieren. Das Verbieten von /*.css$ und /*.js$ war früher eine verbreitete „Optimierung“; Renderer brauchen diese Dateien heute, um die Seite so zu sehen wie Besucher, und eine nur halb gerenderte Seite kann schlechter gereiht werden.
• Eine große Gruppe als Dokumentation zu behandeln. Kommentarzeilen innerhalb einer Gruppe sind unproblematisch; ein Absatz Fließtext vor der ersten User-agent-Zeile ohne # ist dagegen ein Analysefehler, der nachsichtige Parser verwirren kann.

Unterstützen alle Crawler Allow, * und $? Die großen tun es, und RFC 9309 standardisiert alle drei. Manche kleineren oder älteren Crawler kennen nur Disallow und lesen * wörtlich — ein Grund, Regeln einfach zu halten, wenn Sie können.

Was bedeutet ein leeres Disallow:? „Nichts sperren“ — die Gruppe erlaubt ausdrücklich alles. Es taucht meist auf, wenn jemand eine Vorlage bearbeitet und den Pfad löscht, aber nicht die Direktive; die Prüfung weist darauf hin.

Wie groß darf die Datei sein? RFC 9309 verlangt von Parsern, mindestens 500 KiB zu verarbeiten; darüber hinaus darf ein Crawler das Lesen abbrechen und den Rest als gesperrt behandeln. Bleiben Sie deutlich darunter, und wenn sie riesig wird, fragen Sie sich, ob die Steuerung des Crawlings nicht besser in die Header der Seiten gehört.

Warum sagt der Abgleich, /robots.txt sei erlaubt, selbst unter Disallow: /? Weil der Standard es ausdrücklich so vorsieht: Die robots-Datei selbst ist implizit erlaubt. Pythons urllib.robotparser und andere implementieren diesen Sonderfall nicht — eine der kleinen Abweichungen zwischen Parsern in der Praxis, die diese Seite in ihrem Selbsttest dokumentiert.

Wird ein Disallow-Pfad groß-/kleinschreibungsabhängig behandelt? Ja. /Private/ und /private/ sind verschiedene Pfade. Der Feldname disallow darf in beliebiger Schreibweise stehen, der Wert muss aber genau zur URL passen.