Website-Crawler als Klimakiller?

Stell dir vor, die Hälfte aller Anfragen auf deiner Website kämen gar nicht von Menschen. Welche Folgen das für die CO₂-Bilanz hat, warum die gängigen Berechnungstools hier komplett blind sind und mit welchen Mitteln Du gute von bösen Crawlern trennst, erkläre ich in dieser Folge.

Der blinde Fleck in jeder CO₂-Bilanz

42,3 Prozent – so hoch ist laut einer Studie, die ich in meinem Buch zitiere, der Anteil automatisierter Bots an allen Webseiten-Zugriffen. Neuere Zahlen sprechen sogar von über 50 Prozent. Kein einziges der gängigen CO₂-Tools – weder der Website Carbon Calculator noch Ecograder – berücksichtigt dieses Datenvolumen. Wer seine Emissionen aus Besucherzahlen ableitet, unterschätzt die tatsächliche Last auf dem Server massiv. Ich nenne das Screenwashing, auch wenn das keine Mehrheitsmeinung ist.

Das Problem setzt sich zusammen: Durch DSGVO-konforme Consent-Banner verlierst du bereits 50 Prozent deiner Tracking-Daten. Dann kommen noch die Bots dazu, die gar nicht erst in deinen Statistiken auftauchen. Das Ergebnis können CO₂-Werte sein, die um den Faktor zehn daneben liegen.

Gute Bots, böse Bots – und was du wirklich steuern kannst

Gute Bots – Googlebot, Bing, KI-Crawler, SEO-Tools wie Sistrix oder Ahrefs – lassen sich beeinflussen. Über die robots.txt kannst du einzelne Verzeichnisse sperren, bestimmte Suchmaschinen komplett ausschließen oder mit Sitemap und Canonical-Tags steuern, was gecrawlt werden soll. Yandex und Baidu schließe ich für analytik.news beispielsweise komplett aus – die brauchen wir bei einer deutschen Seite schlicht nicht.

Böse Bots dagegen ignorieren die robots.txt. Sie scannen nach WordPress-Sicherheitslücken, probieren Standard-Passwörter durch oder betreiben Formular-Spam. Ihr Anteil: laut der genannten Studie zwei Drittel des gesamten Bot-Traffics. IP-Sperren über .htaccess helfen, wenn ein Bot immer dieselbe Adresse nutzt. CDN-Netzwerke wie Cloudflare führen eigene Bot-Blacklists – das ist aus meiner Sicht einer der wenigen echten Vorteile eines CDN für kleinere Seiten.

Tipp

Gegen Formular-Spam setze ich auf Honeypot-Felder: versteckte Formularfelder, die kein Mensch sieht – Bots aber ausfüllen. Seit Jahren zuverlässig, ohne Google reCAPTCHA und ohne DSGVO-Risiko. Für WordPress gibt es fertige Plugins dafür.

So misst du deinen Bot-Traffic – noch heute

Der schnellste Einstieg: Google Search Console → Einstellungen → Crawling-Statistiken. Dort siehst du, wie viel Datenvolumen der Googlebot in den letzten drei Monaten auf deiner Domain erzeugt hat. Bei analytik.news waren das 1,2 Gigabyte bei 350.804 Anfragen – und das ist nur einer von vielen Crawlern. Mit dem Faktor 360 Gramm CO₂ pro Gigabyte lässt sich das direkt einordnen.

Wer tiefer einsteigen will, kommt an den Server-Logfiles nicht vorbei. Der Screaming Frog Log File Analyzer oder AWStats helfen bei der Auswertung, manche Hoster wie Hetzner bieten auch AWStats direkt im Account an. CDN-Netzwerke wie Cloudflare protokollieren zudem den gesamten Transfer inklusive geblockter Zugriffe – ein nützlicher Ausgangspunkt für eine vollständige Bilanz.

Achtung

Der Screaming Frog hat in einer aktuellen Version eine CO₂-Funktion eingebaut – bewertet aber jede Datei einzeln, nicht die Seite als Ganzes. Das Ergebnis: Nahezu alle Assets bekommen ein A+, obwohl die Gesamtseite ein F verdient hätte. Diesen Werten würde ich vorerst nicht vertrauen.