Für Website-Betreiber

Der plapperbot-Crawler

Du siehst in deinen Server-Logs die Kennung plapperbot/1.0? Hier steht, was dahintersteckt.

Was macht er?

plapperbot erstellt Chatbots, die Fragen zu einer Website beantworten. Dafür liest der Crawler die öffentlichen Seiten der Website, die ein Kunde bei uns eingegeben hat, in der Regel seine eigene. Gelesen wird nur Text aus dem HTML; Formulare werden nicht abgeschickt, Logins und Warenkörbe werden übersprungen.

Wie oft und wie viel?

  • Einmal, wenn ein Kunde die Website hinzufügt oder neu einlesen lässt, höchstens 50 Seiten pro Chatbot.
  • Optional einmal pro Nacht, wenn der Kunde das automatische Aktualisieren eingeschaltet hat.
  • Höchstens zwei Abrufe gleichzeitig, mit Pause dazwischen. Ein Crawl-delay in deiner robots.txt wird beachtet (bis 2 Sekunden).
  • Antwortet deine Website mit 429 oder 503, wartet der Crawler entsprechend Retry-After; bei wiederholtem 403 oder 429 hört er auf.
  • Dieselbe Domain wird höchstens achtmal pro Stunde eingelesen, egal von wie vielen Kunden.

robots.txt

Der Crawler hält sich an deine robots.txt. Er nutzt die Regeln für plapperbot, sonst die für *.

plapperbot sperren:

User-agent: plapperbot
Disallow: /

plapperbot freigeben, obwohl andere Bots gesperrt sind:

User-agent: plapperbot
Allow: /

Kennung

Mozilla/5.0 (compatible; plapperbot/1.0; +https://www.plapperbot.de/bot)

Die Abrufe kommen von wechselnden Adressen unseres Hosters (Rechenzentrum in der EU). Eine feste IP-Liste gibt es nicht; bitte nutze die Kennung bzw. die robots.txt.

Kontakt

Fragen oder Probleme? Schreib uns an beratung@prodivo.de, wir kümmern uns schnell darum. Anbieter: Prodivo e.K., Haingasse 1b, 61381 Friedrichsdorf.