Pushrank-crawler

Identiteit van de crawler

Beheerder

TECHINS8

Classificatie

Ondertekende agent (SEO-audit in opdracht van klanten)

User-Agent

Mozilla/5.0 (compatible; Pushrank/1.0)

Doel

Geauthenticeerde Pushrank-klanten starten audits van sites die zij mogen analyseren. De crawler haalt openbare pagina's van de opgegeven site op om technische SEO, content, interne links en indexeerbaarheid te meten. Het is geen algemene zoekindex.

Crawlgedrag

• Leest robots.txt en filtert gevonden URL's volgens de geldende Allow- en Disallow-regels.
• Blijft op de opgegeven site en volgt alleen URL's van dezelfde site die relevant zijn voor de gevraagde audit.
• Hanteert een vertraging per host tussen verzoeken, verlaagt de verzoeksnelheid na HTTP 429-antwoorden en respecteert geldige Retry-After-instructies binnen veilige grenzen.
• Beperkt het aantal pagina's en de duur van elke audit.

Web Bot Auth

De directe crawlerverzoeken van Pushrank gebruiken HTTP Message Signatures met een Ed25519-sleutel. Sitebeheerders en beveiligingsproviders kunnen de handtekeningen verifiëren met de openbare sleuteldirectory hieronder.

Openbare sleuteldirectory: https://api.pushrank.io/.well-known/http-message-signatures-directory

Contact en vragen over crawlen

Om onverwacht crawlergedrag te melden of hulp te vragen, neemt u contact op met contact@peaklab.fr