robots.txt-Check
Lesen Sie die Website-Crawl-Regeln und testen Sie, ob der Crawler auf den Zielpfad zugreifen kann.
robots.txt-Check Benutzerhandbuch
- Füllen Sie die Parameter aus oder wählen Sie die Datei entsprechend dem Formular aus und überprüfen Sie die Einheit und das Format zuerst.
- Wählen Sie Baiduuspider, um den Pfad /news/ zu testen.
- Klicken Sie auf die Schaltfläche Verarbeitung, um die Ergebnisse anzuzeigen, können Sie kopieren oder herunterladen und speichern.
Berechnungsmethode und Verarbeitungsregeln
Lesen von robots.txt und Übereinstimmungsberechtigung und Verbot von Regeln durch Benutzerproxy und Pfadanpassung.
Anwendungsbereich
Robots steuert das Crawlen und ist nicht gleich, ob die Seite indiziert ist.
Werden die Eingabeinhalte auf dem Server gespeichert?
Dieses Tool sendet die Abfragebedingungen an die Schnittstelle dieser Site, um Ergebnisse zu erhalten. Die Handynummer sendet nur das erste 7-stellige Nummernsegment.
Warum kann sich das Ergebnis von anderen Tools unterscheiden?
Robots steuert das Crawlen und ist nicht gleich, ob die Seite indiziert ist. Bitte vergleichen Sie zuerst die Eingabeeinheit, die Rundungsmethode, die anwendbaren Regeln und die Datenversion.