Robots.txt Ayrıştırıcı

Bir dosya kayıtlar dizisidir. Bir grup, bir veya daha fazla User-agent satırıyla başlar, ardından bu tarayıcılara uygulanan Allow ve Disallow kuralları gelir. Kurallardan sonra gelen yeni bir User-agent satırı yeni bir grup başlatır; arka arkaya gelen birkaç User-agent satırı aynı grubu paylaşır (iki adı olan bir tarayıcı bunu gerektirir). Sitemap gibi bağımsız kayıtlar her yerde bulunabilir. # bir satırın herhangi bir yerinde yorum başlatır. Alan adları büyük/küçük harf duyarsızdır; yollar değildir.

1. Değeri, tarayıcının adının bir alt dizgisi olan User-agent grubunu bulun; eşleşen tüm grupları birleştirin. Hiçbiri yoksa * grubunu kullanın; onlar da yoksa her şeye izin verilir. 2. Yolu her kurala karşı sınayın: eşleşme önek tabanlıdır, büyük/küçük harfe duyarlıdır ve */$ joker olarak çalışır. 3. En uzun eşleşen kural kazanır; eşit uzunlukta Allow, Disallow'u yener. Eşleşen kural yoksa izin verilir. Ve kurallar ne derse desin, /robots.txt'nin kendisi örtük olarak izinlidir — aksi halde bir tarayıcı kuralları okuyamazdı.

• robots.txt'nin erişimi engellediğine inanmak. Bu, dikkatli tarayıcılara yönelik bir istektir, bir duvar değildir: kötü niyetli kazıyıcılar onu tamamen yok sayar ve bir tarayıcının neyi açabileceğini hiç etkilemez. Gerçek koruma için kimlik doğrulaması kullanın; yalnızca arama motorlarını yönlendirmek için robots.txt doğru araçtır.
• Disallow: /'in bir sayfayı arama sonuçlarından kaldıracağını sanmak. Bu tarama durdurur, dizine eklemeyi değil: başka sayfalar sizin sayfanızı bağlıyorsa, bir arama motoru URL'yi yine de listeleyebilir (açıklama olmadan). Kaldırma aracı noindex meta etiketi ya da yanıt başlığıdır.
• Uzunluk yerine sıraya güvenmek. İlk eşleşen kural kazanmaz — en özel (en uzun) olan kazanır. Davranışı "düzeltmek" için satırları yeniden sıralamak bir işe yaramaz; amaçlanan kuralı daha uzun yapın.
• CSS ve JS'yi engellemek. /*.css$ ve /*.js$'i engellemek eskiden yaygın bir "optimizasyon"du; artık işleyiciler sayfayı ziyaretçilerin gördüğü gibi görmek için bu dosyalara ihtiyaç duyar ve yarım işlenmiş bir sayfa daha düşük sıralanabilir.
• Tek bir büyük grubu belge gibi kullanmak. Bir grup içindeki yorum satırları sorun değildir, ancak ilk User-agent satırından önce, # olmadan yazılmış bir paragraf düz yazı, esnek ayrıştırıcıları şaşırtabilen bir ayrıştırma hatasıdır.

Tüm tarayıcılar Allow, * ve $'ı destekliyor mu? Büyükler destekler ve RFC 9309 üçünü de standartlaştırır. Bazı küçük ya da eski tarayıcılar yalnızca Disallow'u anlar ve *'ı kelimesi kelimesine okur — mümkün olduğunda kuralları basit tutmanın bir nedeni.

Boş bir Disallow: ne anlama gelir? "Hiçbir şeyi yasaklama" — grup her şeye açıkça izin verir. Genellikle biri bir şablonu düzenleyip yolu silerken yönergeyi silmediğinde ortaya çıkar; denetim bunu işaret eder.

Dosya ne kadar büyük olabilir? RFC 9309, ayrıştırıcıların en az 500 KiB'yi işlemesini ister; bunun ötesinde bir tarayıcı okumayı durdurabilir ve kalanı yasaklı sayabilir. Dosyayı bunun epey altında tutun ve çok büyürse tarama denetiminin sayfa başlıklarında olup olmadığını sorgulayın.

Eşleştirici, Disallow: / altında bile neden /robots.txt'nin izinli olduğunu söylüyor? Çünkü standart bunu açıkça söyler: robots dosyasının kendisi örtük olarak izinlidir. Python'un urllib.robotparser ve diğerleri bu özel durumu uygulamaz — bu sayfanın öz-testinde belgelediği, gerçek dünya ayrıştırıcıları arasındaki küçük farklılıklardan biri.

Bir Disallow yolu büyük/küçük harfe duyarlı mı? Evet. /Private/ ve /private/ farklı yollardır. disallow alan adı herhangi bir büyüklükte olabilir, ancak değer URL ile tam olarak eşleşmelidir.