robots.txt检查
读取站点抓取规则，测试指定爬虫能否访问目标路径。
robots.txt检查使用说明
- 按照表单填写参数或选择文件，先核对单位和格式。
- 选择 Baiduspider，测试 /news/ 路径。
- 点击处理按钮查看结果，可以复制或下载保存。
计算方法与处理规则
读取 robots.txt 并按用户代理与路径匹配允许、禁止规则。
使用范围
robots 控制抓取，不等于页面是否被索引。
输入内容会保存在服务器吗？
本工具将查询条件发送至本站接口以获取结果；手机号只发送前7位号段。
为什么结果可能与其他工具不同？
robots 控制抓取，不等于页面是否被索引。 请先比较输入单位、取整方法、适用规则和数据版本。