Генератор robots.txt
Генерируйте правила искателя в соответствии с путями разрешения и запрета, и вы можете прикрепить адрес карты сайта.
Генератор robots.txt Руководство пользователя
- Заполните параметры или выберите файл в соответствии с формой и сначала проверьте устройство и формат.
- Запрещается заполнять /private/ для пути, и разрешить путь заполнить /.
- Нажмите кнопку обработки, чтобы просмотреть результаты, вы можете скопировать или загрузить и сохранить.
Метод расчета и правила обработки
Создает разрешаемые, запретные и необязательные строки карты сайта указанного пользователя-агента.
Сфера использования
Роботы не могут защищать конфиденциальность или блокировать вредоносный доступ, и это не означает, что индексирование запрещено.
Будет ли сохраненный контент сохраняться на сервере?
Этот инструмент обрабатывает ввод в браузере и не загружает файлы или содержимое формы. Параметры практики ввода сохраняются только в собственном браузере.
Почему результат может отличаться от других инструментов?
Роботы не могут защищать конфиденциальность или блокировать вредоносный доступ, и это не означает, что индексирование запрещено. Сначала сравните входной блок, метод округления, применимые правила и версию данных.