Robots.txt パーサー

ファイルはレコードの列です。グループは 1 行以上の User-agent 行で始まり、 それらのクローラーに適用される Allow と Disallow 規則が続きます。 規則の後の新しい User-agent 行は新しいグループの開始。連続する複数の User-agent 行は 1 つのグループを共有します（2 つの名前を持つクローラーに必要）。 Sitemap のような独立レコードはどこにでも置けます。# は行のどこからでもコメントを開始します。 フールド名は大文字小文字を無視、パスは無視しません。

1. User-agent 値がクローラー名の部分文字列であるグループを探し、一致するグループをすべてマージ。なければ * グループを使い、それもなければすべて許可。2. パスをすべての規則に対してテスト：一致はプレフィックス基準・大文字小文字区別・*/$ はワイルドカードとして動作。3. 最長の一致規則が勝つ。同長なら Allow が Disallow に勝つ。一致する規則がなければ許可。そして規則が何と言おうと /robots.txt 自身は暗黙に許可 — さもなければクローラーは規則を読めないからです。

• robots.txt がアクセスをブロックすると信じる。行儀のよいクローラーへの要求であって壁ではありません：悪質なスクレイパーは完全に無視し、ブラウザーが開けるものには何の効果もありません。本物の保護には認証を。検索エンジンの誘導だけなら robots.txt が正しい道具です。
• Disallow: / が検索結果からページを消すと期待する。クロールを止めるだけで、インデックスは止めません：他のページから自サイトへのリンクがあれば、検索エンジンは（説明なしで）URL を載せることがあります。除去の道具は noindex meta タグまたはレスポンスヘッダーです。
• 長さではなく順序に頼る。最初に一致した規則は勝ちません — 最も固有（最長）のものが勝ちます。動作を「直す」ための行の並べ替えは無意味。意図する規則を長くしてください。
• CSS と JS をブロックする。/*.css$ と /*.js$ の Disallow はかつて一般的な「最適化」でした。現在のレンダラーは訪問者と同じようにページを見るためにそれらを必要とし、半レンダーのページは評価が下がることがあります。
• 1 つの大きなグループをドキュメント扱いする。グループ内のコメント行は問題ありませんが、最初の User-agent 行の前に # なしの散文段落があるのは解析エラーで、緩いパーサーを混乱させることがあります。

すべてのクローラーが Allow、*、$ に対応している？主要どころは対応し、RFC 9309 が 3 つすべてを標準化しています。小規模・古いクローラーには Disallow しか理解せず * を文字通り読むものがあります — 可能なら規則をシンプルに保つ理由のひとつです。

空の Disallow: は何を意味する？「何も禁止しない」— そのグループは明示的にすべて許可します。テンプレートを編集してパスだけ消したときによく現れ、監査が指摘します。

ファイルはどのくらい大きくてよい？RFC 9309 はパーサーに少なくとも 500 KiB の処理を要求します。それを超えるとクローラーは読むのをやめ、残りを禁止扱いにすることがあります。十分余裕を持って抑え、巨大になるならクロール制御をページヘッダーに移すべきか検討してください。

Disallow: / の下でもマッチャーが /robots.txt を許可と言うのはなぜ？標準がそう明言しているためです。robots ファイル自身は暗黙に許可されます。Python の urllib.robotparser などはこの特例を実装していません — このページがセルフテストで文書化している、現実のパーサー間の小さな分歧のひとつです。

Disallow のパスは大文字小文字を区別する？はい。/Private/ と /private/ は異なるパスです。フィールド名 disallow は任意のケースでよく、値は URL と正確に一致しなければなりません。