KI-Scraping: Offene Sammlungen bezahlen die Rechnung der KI-Konzerne

Neun von zehn Besuchern sind Maschinen

Wenn ich mir die Logfiles von Domains anschaue, die ich betreue, sehe ich regelmäßig dasselbe Bild: Bots machen über 90 Prozent aller Abrufe aus. Menschen sind auf manchen Websites inzwischen eine kleine Minderheit. Bezahlt wird der Betrieb trotzdem so, als wären sie die eigentliche Zielgruppe.

Was das für Einrichtungen bedeutet, die ihre Bestände bewusst offen ins Netz stellen, beschreibt ein neues Whitepaper der University of Edinburgh. „Re:Commons: Renewing the Digital Commons for Cultural Heritage“ entstand im europäischen Projekt ekip, gemeinsam mit der University of Glasgow, und erschien am 22. Oktober 2026. Die Museums Association hat es vergangene Woche aufgegriffen.

Was die Bots kosten

Seit 2022, verstärkt seit 2024, erleben Museen, Bibliotheken und Archive massiven Bot-Verkehr von KI-Unternehmen, die Daten für das Training ihrer Modelle einsammeln. Laut Whitepaper ist diese Last in manchen Fällen mit einem Cyberangriff vergleichbar. Die Kosten fallen an mehreren Stellen an: Server und Hosting müssen mehr leisten, und IT-Personal verbringt Zeit mit Abwehr statt mit der eigentlichen Arbeit. Für Häuser mit schrumpfenden öffentlichen Budgets geht das direkt vom Kernauftrag ab.

Dazu kommt ein Paradox, auf das das Papier hinweist. Gleichzeitig verlieren die Einrichtungen echte Besucher, weil Menschen ihre Fragen an KI-Werkzeuge wie ChatGPT richten, statt die Sammlung selbst aufzurufen. Die Maschinen holen sich die Inhalte, die Menschen bleiben weg, und die Rechnung bleibt beim Betreiber.

Info
Das Whitepaper beruht auf Interviews und Workshops mit 115 Fachleuten aus dem Kulturerbe-Bereich, nicht auf einer repräsentativen Befragung von Einrichtungen. Konkrete Kostenzahlen nennt die Zusammenfassung nicht. Einen ähnlichen Befund lieferte bereits 2025 eine Umfrage des GLAM-E Lab: Von 43 Einrichtungen mit Online-Sammlungen hatten 39 einen deutlichen Anstieg des Verkehrs bemerkt, die meisten führten ihn ganz oder teilweise auf KI-Crawler zurück.

Abwehr macht das Netz kleiner

Die naheliegende Reaktion ist die Firewall. Wer Bots aussperrt, spart Last. Auf die robots.txt kann man sich dabei kaum verlassen, denn viele KI-Crawler halten sich laut GLAM-E Lab nicht daran. Das Whitepaper warnt aber vor einer Nebenwirkung der harten Abwehr: Sie schafft neue Einhegungen, im Englischen „Enclosures“. Offene Sammlungen verschwinden hinter Schutzmechanismen und werden damit auch für Wissenschaft, Webarchive und ein weltweites Publikum schwerer erreichbar. Genau die Offenheit, die die Einrichtungen schützen wollen, geht so verloren.

Ich verstehe beide Seiten. Auf analytik.news blocke ich die Crawler von Google, OpenAI und Anthropic bewusst nicht, weil ich in Suchmaschinen und KI-Antworten sichtbar bleiben will. Diese Abwägung kann ich mir leisten. Ein Archiv, dessen Server bei jedem Crawler-Schwarm in die Knie geht, kann das nicht.

Das eigentliche Problem ist die Wiederholung

Hier liegt für mich der Kern, und er hat mit Suffizienz zu tun. Die Inhalte einer Sammlung ändern sich selten. Ein Gemälde von 1650 bekommt kein Update. Trotzdem holt sich jeder KI-Anbieter sein eigenes Exemplar, und oft nicht nur einmal: Laut GLAM-E Lab kommen die Bots in Schwärmen und kehren wieder. Dieselben Daten werden also immer wieder übertragen, verarbeitet und gespeichert, für jedes Unternehmen einzeln.

Das ist keine Frage der Effizienz. Kein schnellerer Server löst ein Problem, das darin besteht, dass dieselbe Arbeit zigfach getan wird. Die suffiziente Antwort lautet: einmal bereitstellen, mehrfach nutzen. Ein gepflegter Gesamtdownload einer offenen Sammlung kostet die Einrichtung einmal Bandbreite statt dauerhaft Rechenleistung für unzählige Einzelabrufe.

Das Whitepaper denkt in eine ähnliche Richtung. Sein Grundsatz: Die Inhalte dürfen frei bleiben, aber wer die Infrastruktur im industriellen Maßstab nutzt, soll zu ihrem Erhalt beitragen. Empfohlen werden unter anderem technische Standards, mit denen Einrichtungen maschinenlesbar festlegen können, was sie erlauben, eine Abgabe oder Kostenerstattung durch große KI-Anbieter, öffentliche Förderung und gemeinwohlorientierte KI-Modelle.

Tipp
Schau in Deine Logfiles, bevor Du entscheidest. Wie hoch ist der Bot-Anteil wirklich, und welche Crawler kommen wie oft? Statt alles zu sperren, kannst Du die Abrufe einzelner Crawler drosseln (Rate Limiting) und Webarchive ausdrücklich zulassen. Wenn Du offene Daten anbietest, stelle sie zusätzlich als Gesamtpaket zum Download bereit. Das ist für alle Seiten günstiger als tausend Einzelabrufe.

Fazit

Die Debatte über KI-Crawler dreht sich meist ums Urheberrecht. Das Whitepaper erinnert daran, dass es auch um Server, Hosting und Arbeitszeit geht, und dass diese Kosten bei denen landen, die Wissen offen teilen. Abschotten löst das nicht, es verschiebt nur den Schaden.

Die nachhaltigste Anfrage ist die, die nicht zum hundertsten Mal gestellt wird.

Quellen: Re:Commons: Renewing the Digital Commons for Cultural Heritage (Caitlin McDonald, Morgan Currie u. a., University of Edinburgh und University of Glasgow, 22. Oktober 2026) Sector warned of ‚acute threat’ posed by AI scraping bots (Museums Association, 10. November 2026) Are AI Bots Knocking Cultural Heritage Offline? (GLAM-E Lab, Michael Weinberg, Juni 2025)