Robots.txt Trình tạo
Tạo quy tắc trình thu thập thông tin theo đường dẫn cho phép và cấm, và bạn có thể đính kèm địa chỉ sơ đồ trang web.
Robots.txt Trình tạo Hướng dẫn sử dụng
- Điền vào các thông số hoặc chọn tệp theo biểu mẫu, và kiểm tra đơn vị và định dạng trước.
- Cấm điền vào / private / cho đường dẫn và cho phép đường dẫn điền vào /.
- Nhấp vào nút Xử lý để xem kết quả, bạn có thể sao chép hoặc tải xuống và lưu.
Phương pháp tính toán và quy tắc xử lý
Tạo các hàng Cho phép, không cho phép và tùy chọn Sitemap của tác nhân người dùng được chỉ định.
Phạm vi sử dụng
Robot không thể bảo vệ quyền riêng tư hoặc chặn truy cập độc hại, cũng không có nghĩa là việc lập chỉ mục bị cấm.
Nội dung đầu vào có được lưu trên máy chủ không?
Công cụ này xử lý đầu vào trong trình duyệt và không tải lên tệp hoặc nội dung biểu mẫu. Điểm thực hành đánh máy chỉ được lưu trong trình duyệt gốc.
Tại sao kết quả có thể khác với các công cụ khác?
Robot không thể bảo vệ quyền riêng tư hoặc chặn truy cập độc hại, cũng không có nghĩa là việc lập chỉ mục bị cấm. Vui lòng so sánh đơn vị đầu vào, phương pháp làm tròn, quy tắc áp dụng và phiên bản dữ liệu trước.