Die Green Web Foundation hat sich selbst abgeschossen. Über mehrere Tage hinweg feuerten Maschinen eines großen Cloud-Anbieters dauerhaft hunderte Anfragen pro Sekunde auf ihre Datasets-Seite, bis mehrere Systeme ausfielen. Die Reaktion: ein Anti-Scraping-Dienst auf dem CDN, der verdächtige Adressen vor ein CAPTCHA stellt. Eine Entscheidung, die das Team im eigenen Beitrag ausdrücklich als widerwillig bezeichnet. Und ich verstehe genau, warum.
Höflichkeit ist keine Durchsetzung
Die Empfehlungen aus dem Beitrag sind vernünftig. Crawler sollen die Anfragerate begrenzen, Pausen einbauen, einen ehrlichen User-Agent mitschicken, der Betreiber und Zweck benennt, und die robots.txt respektieren. Betreiber wiederum sollen ihren Traffic verstehen und gezielt statt pauschal sperren.
Das Problem: Die robots.txt ist eine Bitte, keine Regel. Sie funktioniert bei Akteuren, die etwas zu verlieren haben. Cloudflare hat im August 2025 dokumentiert, dass Perplexity zunächst mit deklariertem User-Agent crawlt und bei einer Sperre auf einen nicht deklarierten Crawler ausweicht, der sich als Chrome auf macOS ausgibt, dabei IP-Adressen und Netzbereiche wechselt und die robots.txt teilweise gar nicht erst abruft. Perplexity bestreitet das. Belegt oder nicht: Wer sich nicht an eine freiwillige Vereinbarung halten will, muss es nicht.
Wer zumauert, verschwindet
Die naheliegende Antwort wäre, alles zu blockieren, was nach Automat aussieht. Genau davor warne ich in meiner Beratung. Ein Teil dieser Anfragen kommt von Systemen, über die Deine Inhalte gefunden werden. Wer KI-Agenten aussperrt, taucht in ihren Antworten nicht mehr auf. Das ist kein technisches Detail, das ist eine geschäftliche Entscheidung, und sie gehört bewusst getroffen.
Die Green Web Foundation erlebt die andere Seite davon am eigenen Dienst: Ihr Green Web Check ruft die carbon.txt einer Domain ab. Wird diese Anfrage geblockt, zeigt der Check „nicht grün“ an, obwohl der Anbieter verifiziert grün ist. Pauschale Sperren produzieren also falsche Ergebnisse für Dritte.
Warum das auch ohne Ausfall zählt
Ein Server stürzt erst ab, wenn zu viele Anfragen gleichzeitig kommen. Der Ressourcenverbrauch beginnt aber viel früher. Jede einzelne Anfrage kostet Rechenzeit, jedes ausgelieferte Byte kostet Übertragung und Strom, auch wenn die Seite dabei nie langsamer wird. Der Beitrag der Green Web Foundation weist auf einen Punkt hin, der oft untergeht: Moderne Crawler steuern häufig einen echten Browser fern, laden also JavaScript, Stylesheets und Bilder mit. Ein solcher Zugriff ist um ein Vielfaches teurer als das Ausliefern von reinem HTML.
Daraus folgt etwas, das die Diskussion um Sperren fast immer übersieht. Es gibt zwei Stellschrauben, nicht eine: die Zahl der Anfragen und die Kosten pro Anfrage. Bei einer datenbankgetriebenen Seite ist jeder Bot-Zugriff eine Rechenoperation. Bei einer statisch ausgelieferten Seite mit wenigen hundert Kilobyte ist er fast umsonst. Wer seine Seite schlank hält, muss sehr viel seltener zur Sperre greifen.
Blockieren ist eine Antwort auf ein Symptom. Analysieren ist die Antwort auf die Ursache. Wer nicht weiß, wer seine Seite abruft, überlässt die Entscheidung darüber jemandem, der andere Interessen hat als er selbst.
Quellen: The challenge of responsible web crawling and scraping in the AI era · Perplexity soll Webseiten-Blockaden mit getarnten Crawlern umgehen