Über den WebToAPI-Crawler

Wer wir sind

WebToAPI verwandelt von Nutzern ausgewählte Elemente einer Webseite in einen JSON-Endpunkt. Unser Crawler ruft ausschließlich Seiten ab, die ein Nutzer ausdrücklich eingerichtet hat — wir folgen keinen Links und entdecken keine Seiten selbstständig.

So erkennen Sie uns

Unsere Anfragen tragen den User-Agent:

• WebToAPI/1.0 (+https://webtoapi.net/en/bot)

Die Anfragen kommen von der Google Cloud Platform, Region us-central1. Da wir auf serverloser Infrastruktur laufen, ist die Quell-IP nicht stabil — bitte identifizieren Sie uns über den User-Agent statt über die Adresse.

Wie wir uns verhalten

• Höchstens eine Anfrage pro Sekunde und Domain.
• Jedes Ergebnis wird 60 Sekunden zwischengespeichert; wiederholte API-Aufrufe führen also nicht zu wiederholten Besuchen.
• Vor dem Erstellen einer API lesen wir robots.txt und lehnen ausgeschlossene Pfade ab.
• Wir umgehen keine Logins, Bezahlschranken, CAPTCHAs oder Bot-Schutzmaßnahmen.
• Wir senden keine Formulare ab und folgen keinen Links über die konfigurierte Seite hinaus.

So sperren Sie uns

Ergänzen Sie Ihre robots.txt um:

• User-agent: WebToAPI
• Disallow: /

Wir lesen robots.txt mindestens einmal täglich neu. Wenn es schneller gehen soll oder Sie Missbrauch melden möchten, schreiben Sie mit der URL an support@webtoapi.net; wir deaktivieren die betroffenen APIs.