Bộ phân tích Robots.txt

Một tệp là một chuỗi các bản ghi. Một nhóm bắt đầu bằng một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow áp dụng cho những trình thu thập đó. Một dòng User-agent mới sau các quy tắc bắt đầu một nhóm mới; nhiều dòng User-agent liên tiếp dùng chung một nhóm (trình thu thập có hai tên cần điều này). Bản ghi đứng riêng như Sitemap có thể xuất hiện ở bất cứ đâu. # bắt đầu một chú thích ở bất kỳ vị trí nào trong dòng. Tên trường không phân biệt hoa thường; đường dẫn thì có.

1. Tìm nhóm có giá trị User-agent là chuỗi con của tên trình thu thập; gộp mọi nhóm khớp. Nếu không có, dùng nhóm *; nếu cũng không có nhóm đó, thì mọi thứ được phép. 2. Kiểm tra đường dẫn với mọi quy tắc: khớp theo tiền tố, phân biệt hoa thường, và */$ hoạt động như ký tự đại diện. 3. Quy tắc khớp dài nhất thắng; khi bằng độ dài, Allow thắng Disallow. Không có quy tắc khớp nghĩa là được phép. Và dù quy tắc nói gì, bản thân /robots.txt ngầm được phép — nếu không, trình thu thập không thể đọc các quy tắc.

• Tin rằng robots.txt chặn được truy cập. Nó là một yêu cầu với các trình thu thập lịch sự, không phải bức tường: các scraper bất chính bỏ qua hoàn toàn, và nó không ảnh hưởng gì đến những gì trình duyệt có thể mở. Để bảo vệ thật, dùng xác thực; chỉ để điều hướng công cụ tìm kiếm, robots.txt là công cụ đúng.
• Kỳ vọng Disallow: / xóa trang khỏi kết quả tìm kiếm. Nó chỉ chặn thu thập, không chặn lập chỉ mục: nếu các trang khác liên kết tới trang của bạn, công cụ tìm kiếm vẫn có thể liệt kê URL (không có mô tả). Thẻ meta hoặc header noindex mới là công cụ gỡ bỏ.
• Dựa vào thứ tự thay vì độ dài. Quy tắc khớp đầu tiên không thắng — quy tắc cụ thể nhất (dài nhất) mới thắng. Sắp lại các dòng để "sửa" hành vi là vô nghĩa; hãy làm quy tắc muốn có dài hơn.
• Chặn CSS và JS. Việc disallow /*.css$ và /*.js$ từng là "tối ưu hóa" phổ biến; giờ các trình dựng trang cần những tệp đó để thấy trang như khách truy cập, và một trang dựng dở có thể xếp hạng kém hơn.
• Coi một nhóm lớn như tài liệu. Dòng chú thích trong một nhóm là ổn, nhưng một đoạn văn xuôi trước dòng User-agent đầu tiên mà không có # là lỗi phân tích có thể làm rối các trình phân tích dễ dãi.

Mọi trình thu thập có hỗ trợ Allow, * và $ không? Các trình lớn đều hỗ trợ, và RFC 9309 chuẩn hóa cả ba. Một số trình thu thập nhỏ hoặc cũ chỉ hiểu Disallow và đọc * theo nghĩa đen — một lý do để giữ quy tắc đơn giản khi có thể.

Một Disallow: trống nghĩa là gì? "Không cấm gì" — nhóm này rõ ràng cho phép mọi thứ. Nó thường xuất hiện khi ai đó sửa một mẫu và xóa đường dẫn nhưng không xóa chỉ thị; phần kiểm tra sẽ chỉ ra.

Tệp được phép lớn đến đâu? RFC 9309 yêu cầu trình phân tích xử lý ít nhất 500 KiB; vượt quá đó trình thu thập có thể ngừng đọc và coi phần còn lại là bị cấm. Giữ tệp nhỏ hơn nhiều, và nếu nó phình to, hãy tự hỏi liệu việc kiểm soát thu thập có nên nằm trong header trang không.

Vì sao bộ khớp nói /robots.txt được phép ngay cả dưới Disallow: /? Vì tiêu chuẩn nói rõ như vậy: chính tệp robots được ngầm cho phép. urllib.robotparser của Python, cùng vài trình khác, không triển khai trường hợp đặc biệt này — một trong những khác biệt nhỏ giữa các trình phân tích thực tế mà trang này ghi lại trong phần tự kiểm tra của nó.

Đường dẫn Disallow có phân biệt hoa thường không? Có. /Private/ và /private/ là hai đường dẫn khác nhau. Tên trường disallow có thể viết hoa thường bất kỳ, nhưng giá trị phải khớp đúng URL.