robots.txt 확인
사이트 크롤링 규칙을 읽고 크롤러가 대상 경로에 액세스할 수 있는지 여부를 테스트합니다.
robots.txt 확인 사용자 설명서
- 매개변수를 채우거나 양식에 따라 파일을 선택하고 먼저 단위를 확인하고 형식을 확인합니다.
- /news/ 경로를 테스트하려면 Baiduuspider를 선택합니다.
- 처리 버튼을 클릭하여 결과를 보려면 복사하거나 다운로드하고 저장할 수 있습니다.
계산 방법 및 처리 규칙
robots.txt를 읽고 권한을 일치시키고 사용자 프록시 및 경로 일치에 의한 규칙을 금지합니다.
사용 범위
로봇은 페이지가 인덱싱되었는지 여부와 동일하지 않은 크롤링을 제어합니다.
입력 내용이 서버에 저장됩니까?
이 도구는 쿼리 조건을 이 사이트의 인터페이스로 보내 결과를 얻습니다. 휴대폰 번호는 첫 번째 7자리 번호 세그먼트만 전송합니다.
결과가 다른 도구와 다를 수 있는 이유는 무엇입니까?
로봇은 페이지가 인덱싱되었는지 여부와 동일하지 않은 크롤링을 제어합니다. 입력 단위, 반올림 방법, 해당 규칙 및 데이터 버전을 먼저 비교하십시오.