Pengurai Robots.txt

Sebuah berkas adalah urutan rekaman. Sebuah grup dimulai dengan satu atau lebih baris User-agent, diikuti aturan Allow dan Disallow yang berlaku untuk perayap tersebut. Baris User-agent baru setelah aturan memulai grup baru; beberapa baris User-agent berurutan berbagi satu grup (perayap dengan dua nama memerlukan ini). Rekaman mandiri seperti Sitemap dapat muncul di mana saja. # memulai komentar di mana saja dalam sebuah baris. Nama bidang tidak peka huruf besar-kecil; jalur peka.

1. Temukan grup yang nilai User-agent-nya merupakan substring dari nama perayap; gabungkan semua grup yang cocok. Jika tidak ada, gunakan grup *; jika tidak ada juga, semuanya diizinkan. 2. Uji jalur terhadap setiap aturan: pencocokan berbasis awalan, peka huruf besar-kecil, dan */$ berfungsi sebagai wildcard. 3. Aturan yang terpanjang yang cocok menang; pada panjang yang sama, Allow mengalahkan Disallow. Tidak ada aturan yang cocok berarti diizinkan. Dan apa pun yang dikatakan aturan, /robots.txt itu sendiri diizinkan secara implisit — perayap tidak dapat membaca aturan jika tidak.

• Mengira robots.txt memblokir akses. Ini adalah permintaan kepada perayap yang sopan, bukan tembok: pengikis nakal sepenuhnya mengabaikannya, dan ini tidak berpengaruh pada apa yang dapat dibuka peramban. Untuk perlindungan sungguhan gunakan autentikasi; untuk mengarahkan mesin pencari saja, robots.txt adalah alat yang tepat.
• Mengharapkan Disallow: / menghapus halaman dari hasil pencarian. Itu menghentikan perayapan, bukan pengindeksan: jika halaman lain menautkan ke halaman Anda, mesin pencari mungkin tetap mencantumkan URL tersebut (tanpa deskripsi). Tag meta atau header respons noindex adalah alat penghapusan.
• Mengandalkan urutan, bukan panjang. Aturan yang cocok pertama tidak menang — yang paling spesifik (terpanjang) yang menang. Menyusun ulang baris untuk "memperbaiki" perilaku tidak berpengaruh; buat aturan yang dimaksud menjadi lebih panjang sebagai gantinya.
• Memblokir CSS dan JS. Melarang /*.css$ dan /*.js$ dulu sering menjadi "optimasi" yang umum; perender sekarang memerlukan berkas-berkas itu untuk melihat halaman seperti pengunjung, dan halaman yang setengah dirender dapat peringkatnya lebih buruk.
• Memperlakukan satu grup besar sebagai dokumentasi. Baris komentar di dalam grup tidak apa-apa, tetapi paragraf prosa sebelum baris User-agent pertama tanpa # adalah kesalahan parse yang dapat membingungkan pengurai yang longgar.

Apakah semua perayap mendukung Allow, *, dan $? Yang utama mendukung, dan RFC 9309 menstandarkan ketiganya. Beberapa perayap yang lebih kecil atau lebih lama hanya memahami Disallow dan membaca * secara harfiah — salah satu alasan untuk menjaga aturan tetap sederhana jika memungkinkan.

Apa arti Disallow: kosong? "Larang tidak ada" — grup itu secara eksplisit mengizinkan semuanya. Biasanya muncul ketika seseorang mengedit templat dan menghapus jalur tetapi bukan direktifnya; audit menandainya.

Seberapa besar berkas boleh? RFC 9309 mewajibkan pengurai menangani setidaknya 500 KiB; di luar itu perayap boleh berhenti membaca dan menganggap sisanya dilarang. Jaga agar jauh di bawah itu, dan jika berkas tumbuh sangat besar, pertanyakan apakah kontrol perayapan sebaiknya berada di header halaman.

Mengapa pencocok mengatakan /robots.txt diizinkan bahkan di bawah Disallow: /? Karena standar mengatakannya secara tegas: berkas robots itu sendiri diizinkan secara implisit. urllib.robotparser Python, antara lain, tidak mengimplementasikan kasus khusus ini — salah satu perbedaan kecil antar pengurai dunia nyata yang didokumentasikan halaman ini dalam self-test-nya.

Apakah jalur Disallow peka huruf besar-kecil? Ya. /Private/ dan /private/ adalah jalur yang berbeda. Nama bidang disallow boleh dalam huruf apa pun, tetapi nilainya harus cocok persis dengan URL.