Neun von zehn Besuchern sind Maschinen
Wenn ich mir die Logfiles von Domains anschaue, die ich betreue, sehe ich regelmäßig dasselbe Bild: Bots machen über 90 Prozent aller Abrufe aus. Menschen sind auf manchen Websites inzwischen eine kleine Minderheit. Bezahlt wird der Betrieb trotzdem so, als wären sie die eigentliche Zielgruppe.
Was das für Einrichtungen bedeutet, die ihre Bestände bewusst offen ins Netz stellen, beschreibt ein neues Whitepaper der University of Edinburgh. „Re:Commons: Renewing the Digital Commons for Cultural Heritage“ entstand im europäischen Projekt ekip, gemeinsam mit der University of Glasgow, und erschien am 22. Oktober 2026. Die Museums Association hat es vergangene Woche aufgegriffen.
Was die Bots kosten
Seit 2022, verstärkt seit 2024, erleben Museen, Bibliotheken und Archive massiven Bot-Verkehr von KI-Unternehmen, die Daten für das Training ihrer Modelle einsammeln. Laut Whitepaper ist diese Last in manchen Fällen mit einem Cyberangriff vergleichbar. Die Kosten fallen an mehreren Stellen an: Server und Hosting müssen mehr leisten, und IT-Personal verbringt Zeit mit Abwehr statt mit der eigentlichen Arbeit. Für Häuser mit schrumpfenden öffentlichen Budgets geht das direkt vom Kernauftrag ab.
Dazu kommt ein Paradox, auf das das Papier hinweist. Gleichzeitig verlieren die Einrichtungen echte Besucher, weil Menschen ihre Fragen an KI-Werkzeuge wie ChatGPT richten, statt die Sammlung selbst aufzurufen. Die Maschinen holen sich die Inhalte, die Menschen bleiben weg, und die Rechnung bleibt beim Betreiber.
Abwehr macht das Netz kleiner
Die naheliegende Reaktion ist die Firewall. Wer Bots aussperrt, spart Last. Auf die robots.txt kann man sich dabei kaum verlassen, denn viele KI-Crawler halten sich laut GLAM-E Lab nicht daran. Das Whitepaper warnt aber vor einer Nebenwirkung der harten Abwehr: Sie schafft neue Einhegungen, im Englischen „Enclosures“. Offene Sammlungen verschwinden hinter Schutzmechanismen und werden damit auch für Wissenschaft, Webarchive und ein weltweites Publikum schwerer erreichbar. Genau die Offenheit, die die Einrichtungen schützen wollen, geht so verloren.
Ich verstehe beide Seiten. Auf analytik.news blocke ich die Crawler von Google, OpenAI und Anthropic bewusst nicht, weil ich in Suchmaschinen und KI-Antworten sichtbar bleiben will. Diese Abwägung kann ich mir leisten. Ein Archiv, dessen Server bei jedem Crawler-Schwarm in die Knie geht, kann das nicht.
Das eigentliche Problem ist die Wiederholung
Hier liegt für mich der Kern, und er hat mit Suffizienz zu tun. Die Inhalte einer Sammlung ändern sich selten. Ein Gemälde von 1650 bekommt kein Update. Trotzdem holt sich jeder KI-Anbieter sein eigenes Exemplar, und oft nicht nur einmal: Laut GLAM-E Lab kommen die Bots in Schwärmen und kehren wieder. Dieselben Daten werden also immer wieder übertragen, verarbeitet und gespeichert, für jedes Unternehmen einzeln.
Das ist keine Frage der Effizienz. Kein schnellerer Server löst ein Problem, das darin besteht, dass dieselbe Arbeit zigfach getan wird. Die suffiziente Antwort lautet: einmal bereitstellen, mehrfach nutzen. Ein gepflegter Gesamtdownload einer offenen Sammlung kostet die Einrichtung einmal Bandbreite statt dauerhaft Rechenleistung für unzählige Einzelabrufe.
Das Whitepaper denkt in eine ähnliche Richtung. Sein Grundsatz: Die Inhalte dürfen frei bleiben, aber wer die Infrastruktur im industriellen Maßstab nutzt, soll zu ihrem Erhalt beitragen. Empfohlen werden unter anderem technische Standards, mit denen Einrichtungen maschinenlesbar festlegen können, was sie erlauben, eine Abgabe oder Kostenerstattung durch große KI-Anbieter, öffentliche Förderung und gemeinwohlorientierte KI-Modelle.
Fazit
Die Debatte über KI-Crawler dreht sich meist ums Urheberrecht. Das Whitepaper erinnert daran, dass es auch um Server, Hosting und Arbeitszeit geht, und dass diese Kosten bei denen landen, die Wissen offen teilen. Abschotten löst das nicht, es verschiebt nur den Schaden.
Die nachhaltigste Anfrage ist die, die nicht zum hundertsten Mal gestellt wird.
Quellen: Re:Commons: Renewing the Digital Commons for Cultural Heritage (Caitlin McDonald, Morgan Currie u. a., University of Edinburgh und University of Glasgow, 22. Oktober 2026) Sector warned of ‚acute threat’ posed by AI scraping bots (Museums Association, 10. November 2026) Are AI Bots Knocking Cultural Heritage Offline? (GLAM-E Lab, Michael Weinberg, Juni 2025)
