Pushrank-Crawler

Identität des Crawlers

Betreiber

TECHINS8

Einstufung

Signierter Agent (kundengesteuertes SEO-Audit)

User-Agent

Mozilla/5.0 (compatible; Pushrank/1.0)

Zweck

Authentifizierte Pushrank-Kunden starten Audits von Websites, zu deren Analyse sie berechtigt sind. Der Crawler ruft öffentliche Seiten der angegebenen Website ab, um technisches SEO, Inhalte, interne Verlinkung und Indexierbarkeit zu messen. Er ist kein allgemeiner Suchindex.

Crawl-Verhalten

• Liest die robots.txt und filtert gefundene URLs gemäß den geltenden Allow- und Disallow-Regeln.
• Bleibt auf der angegebenen Website und folgt nur URLs derselben Website, die für das angeforderte Audit relevant sind.
• Verwendet eine Verzögerung zwischen Anfragen pro Host, senkt die Anfragerate nach HTTP-429-Antworten und befolgt gültige Retry-After-Anweisungen innerhalb sicherer Grenzen.
• Begrenzt die Anzahl der Seiten und die Dauer jedes Audits.

Web Bot Auth

Direkte Anfragen des Pushrank-Crawlers verwenden HTTP Message Signatures mit einem Ed25519-Schlüssel. Website-Betreiber und Sicherheitsanbieter können die Signaturen anhand des unten stehenden öffentlichen Schlüsselverzeichnisses prüfen.

Öffentliches Schlüsselverzeichnis: https://api.pushrank.io/.well-known/http-message-signatures-directory

Kontakt und Anliegen zum Crawling

Um unerwartetes Crawler-Verhalten zu melden oder Unterstützung anzufordern, wenden Sie sich an contact@peaklab.fr