Ich dachte, bei Hetzner passiert mir das nicht
Ich war naiv. Nachdem bekannt wurde, dass Cloudflare proaktiv KI-Crawler sperrt, dachte ich: Ich bin bei Hetzner, einem nüchternen deutschen Hoster – der wird mir schon Bescheid geben, wenn er an meinen Einstellungen etwas ändert. Schön wäre es gewesen.
Erst ein Vortrag von Juliane Bettinga auf dem SEODAY in Köln öffnete mir die Augen. Sie stellte ihr Tool „KI-Bot-Check" vor. Ich prüfte meine Domains – und sah schwarz: ClaudeBot und GPTBot waren gesperrt. Von mir völlig unbemerkt.
Was Hetzner auf Nachfrage sagte
Die Support-Antwort war ehrlich, aber ernüchternd: Man blockiere User Agents, die nur zum Training von LLMs genutzt werden, wegen negativer Erfahrungen mit der Serverlast. Immerhin: Auf meine Bitte hin wurde die Sperre für meine Domains schnell aufgehoben.
Aber das ist nicht der Punkt. Der Punkt ist: Ich hatte keine Ahnung. Keine Benachrichtigung, kein Hinweis in der Verwaltungsoberfläche, nichts. Meine Domains waren für zwei der wichtigsten KI-Assistenten unsichtbar – und ich wäre es geblieben, hätte ich nicht zufällig von diesem Tool gehört.
Die Willkür dahinter
Was mich noch mehr beschäftigt: Hetzner hat ClaudeBot und GPTBot gesperrt, aber nicht den PerplexityBot – obwohl der deutlich aggressiver crawlt. Das ist keine durchdachte Strategie, das ist Willkür. Und Willkür ist das Letzte, was ich mir bei kritischen Infrastruktureinstellungen wünsche.
Den PerplexityBot loszuwerden ist technisch aufwändiger, weil er keine verlässlichen User-Agent-Strings nutzt – da kommt man oft nur über IP-Sperren weiter, was seinerseits nicht zuverlässig funktioniert. Christian Kunz hat das in seinem SEOcruise-Vortrag schön illustriert.
Ein weiterer Aspekt: Die Frage, ob man seine Website für KI-Training freigeben will, ist eine andere als die, ob KI-Assistenten aktuelle Inhalte abrufen dürfen. Beides läuft über dieselben Bots – aber das Ziel ist ein völlig anderes. Pauschalperren unterscheiden das nicht.
robots.txt nachschauen oder direkt beim Support anfragen. Wer Cloudflare nutzt: unter Security → Bots gibt es eigene Einstellungen für AI Scrapers.Drei Schritte, die du heute noch machen kannst
Erstens: KI-Bot-Check ausführen – stell fest, welche Bots auf deinen Domains tatsächlich zugelassen sind. Zweitens: Hoster fragen – eine kurze Support-Anfrage reicht; bei Hetzner wurde meine Freigabe innerhalb weniger Stunden umgesetzt. Drittens: robots.txt selbst pflegen – wer die Kontrolle über seine Sichtbarkeit behalten will, sollte sie nicht dem Hoster überlassen.
Die eigene robots.txt ist das richtige Werkzeug dafür. Nicht die stille Entscheidung eines Providers, von der du zufällig auf einer Konferenz erfährst.
Dieser Artikel basiert auf meinem LinkedIn-Post vom 14. November 2025.