Gerador de Robôs.txt
Gere as regras do crawler de acordo com os caminhos de permissão e proibição e você pode anexar o endereço do mapa do site.
Gerador de Robôs.txt Manual do usuário
- Preencha os parâmetros ou selecione o arquivo de acordo com o formulário e verifique primeiro a unidade e o formato.
- É proibido preencher /private/ para o caminho e permitir que o caminho preencha /.
- Clique no botão de processamento para ver os resultados, você pode copiar ou baixar e salvar.
Método de cálculo e regras de processamento
Gera as linhas Permitir, Disallow e Opcional do Sitemap do User-Agent especificado.
Escopo de uso
Os robôs não podem proteger a privacidade ou bloquear o acesso malicioso, nem significa que a indexação é proibida.
O conteúdo de entrada será salvo no servidor?
Esta ferramenta lida com a entrada no navegador e não carrega arquivos ou forma conteúdo. As pontuações da prática de digitação são salvas apenas no navegador nativo.
Por que o resultado pode ser diferente de outras ferramentas?
Os robôs não podem proteger a privacidade ou bloquear o acesso malicioso, nem significa que a indexação é proibida. Compare primeiro a unidade de entrada, o método de arredondamento, as regras aplicáveis e a versão dos dados.