Glossar
KI-Crawler:
Programme, die Websites für KI lesen.
Nicht jeder Besuch auf Ihrer Website kommt von einem Menschen. Neben Suchmaschinen lesen auch Programme von KI-Anbietern mit. Wer entscheidet, was sie dürfen?
Kurz gesagtKI-Crawler sind automatische Programme, die Webseiten abrufen, um Inhalte für das Training von Modellen oder für Antworten in KI-Diensten zu nutzen. Betreiber können den Zugriff über die robots.txt steuern. Die Einhaltung beruht auf Freiwilligkeit. Sperren und Freigaben haben Folgen für Sichtbarkeit und Kontrolle.
Was KI-Crawler sind
Ein Crawler ist ein Programm, das Webseiten abruft, Links folgt und Inhalte speichert. Suchmaschinen setzen sie seit langem ein. Mit generativer KI sind weitere hinzugekommen. Die einen sammeln Inhalte, die später zum Training von Modellen verwendet werden. Andere rufen Seiten ab, wenn ein Nutzer in einem KI-Dienst eine Frage stellt, damit die Antwort auf aktuellen Quellen beruht. Wieder andere bedienen die Zusammenfassungen in der Suche.
Für Betreiber von Websites stellt sich damit eine neue Frage: Möchte ich, dass meine Inhalte in diese Verwendungen einfließen? Die Antwort kann je Zweck unterschiedlich ausfallen. Wer sichtbar sein will, wenn Nutzer Fragen stellen, möchte vermutlich gelesen werden. Wer nicht möchte, dass seine Inhalte für das Training von Modellen verwendet werden, wird anders entscheiden.
Die Anbieter benennen ihre Crawler mit eigenen Kennungen, den sogenannten User-Agents. Die aktuellen Bezeichnungen und deren Zweck stehen in den Dokumentationen der Anbieter und ändern sich. Prüfen Sie sie dort, statt sich auf alte Listen zu verlassen.
Für die Praxis genügt es zunächst, die Kennungen zu kennen, die in Ihren Serverprotokollen auftauchen, und zu entscheiden, wie Sie damit umgehen.
Zur Einordnung zwei Belege: OpenAI unterscheidet drei Zugriffsarten, nämlich OAI-SearchBot für die Suche in ChatGPT, GPTBot für das Training und ChatGPT-User für Zugriffe auf Anfrage einzelner Nutzer; die Einstellungen sind voneinander unabhängig, und für ChatGPT-User können robots.txt-Regeln laut OpenAI unter Umständen nicht greifen (Quelle: OpenAI: Overview of OpenAI Crawlers, abgerufen am 22. Oktober 2026). Der Internetstandard RFC 9309 hält fest, dass diese Regeln keine Zugriffsberechtigung sind und kein Ersatz für Sicherheitsmaßnahmen (Quelle: RFC 9309: Robots Exclusion Protocol, September 2022, abgerufen am 22. Oktober 2026).
Zugriff steuern: die robots.txt
Die Datei robots.txt liegt im Hauptverzeichnis einer Website und teilt Crawlern mit, welche Bereiche sie lesen dürfen. Für jeden Crawler lässt sich Zugriff erlauben oder untersagen, ganz oder für einzelne Verzeichnisse. Unsere Website erlaubt in der robots.txt allen Crawlern den Zugriff und verweist auf die Sitemap.
Wichtig: Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Crawler halten sich daran, es gibt aber keine Durchsetzung. Wer Inhalte tatsächlich schützen muss, etwa hinter einer Anmeldung, braucht technische Zugangskontrollen. Öffentlich abrufbare Seiten sind grundsätzlich lesbar.
Ändern Sie die robots.txt mit Bedacht und halten Sie fest, wann und warum. Eine falsch gesetzte Regel kann nicht nur KI-Dienste, sondern auch Suchmaschinen aussperren.
Entscheidungshilfe: freigeben oder sperren?
| Ziel | Neigung | Zu bedenken |
|---|---|---|
| In KI-Antworten vorkommen | Freigeben | Keine Garantie auf Nennung, aber ohne Zugriff keine Chance |
| Training ausschließen | Gezielt sperren, soweit der Anbieter getrennte Kennungen anbietet | Wirkung beruht auf Freiwilligkeit; Folgen für Sichtbarkeit prüfen |
| Vertrauliche Bereiche schützen | Technische Zugangskontrolle | robots.txt reicht nicht |
| Serverlast senken | Zugriffe begrenzen | Zu strenge Regeln können Suchmaschinen aussperren |
Eine pauschale Empfehlung gibt es nicht. Entscheidend ist, dass Sie die Wahl bewusst treffen und dokumentieren. Prüfen Sie nach Änderungen, ob die klassische Suche weiterhin funktioniert.
Fragen Sie sich vor der Entscheidung, welchen Nutzen Sie sich von Sichtbarkeit in KI-Diensten versprechen und welche Inhalte Sie nicht weitergegeben sehen möchten. Beides darf je nach Bereich Ihrer Website unterschiedlich ausfallen.
Rechtliches und Risiken
- Urheberrecht und Nutzung für Training: Wie weit Inhalte für das Training verwendet werden dürfen, ist eine rechtliche Frage, die wir hier nicht beantworten. Klären Sie sie bei Bedarf mit Ihrer Rechtsberatung.
- Unbeabsichtigte Sperre: Eine falsche Zeile in der robots.txt kann dazu führen, dass Suchmaschinen Ihre Seiten nicht mehr lesen. Testen Sie Änderungen.
- Veraltete Listen: Anbieter ändern Kennungen. Eine Sperre für einen Namen, der nicht mehr verwendet wird, wirkt nicht.
- Vertrauliche Inhalte: Was öffentlich ist, ist lesbar. Legen Sie Vertrauliches nicht ungeschützt ab.
Serverprotokolle lesen: wer ruft Ihre Seiten ab?
Wer wissen will, ob KI-Crawler seine Seiten besuchen, findet die Antwort in den Zugriffsprotokollen des Webservers. Jeder Abruf enthält die Kennung des Programms, die angeforderte Adresse und den Zeitpunkt. Filtert man die Einträge nach den Kennungen der Anbieter, erhält man ein Bild davon, welche Seiten wie oft gelesen werden.
Die Auswertung zeigt zweierlei. Erstens sieht man, ob Ihre wichtigsten Seiten überhaupt abgerufen werden. Werden sie nicht, liegt das Problem vor der Frage nach der Sichtbarkeit: Dann fehlt Zugänglichkeit, ein Link oder eine Sitemap. Zweitens erkennt man auffällige Muster, etwa Programme, die in kurzer Zeit sehr viele Seiten abrufen und den Server belasten. Dagegen helfen Begrenzungen auf Serverebene.
Bedenken Sie, dass sich Programme als etwas ausgeben können, was sie nicht sind. Die Kennung allein beweist nichts. Anbieter veröffentlichen teils Adressbereiche, mit denen sich ihre Crawler überprüfen lassen. Für die Alltagsbeobachtung genügt die Kennung, für Sperrentscheidungen mit Folgen sollten Sie genauer hinsehen.
So gehen wir vor
- Ziel klärenWo möchten Sie vorkommen, wo nicht?
- Kennungen prüfenWir lesen die aktuellen Angaben der Anbieter und halten Datum und Quelle fest.
- Regeln schreibenDie robots.txt wird entsprechend angepasst und getestet.
- BeobachtenWir prüfen die Zugriffe in den Serverprotokollen und die Sichtbarkeit in der klassischen Suche.
Die Entscheidung gehört zu den Grundlagen von GEO. Ergänzend sind llms.txt und strukturierte Daten relevant. Unterstützung bietet die KI-Beratung.
Weitere Fragen aus der Praxis
Was kostet es, KI-Crawler zu steuern?
Die Anpassung der robots.txt ist mit geringem Aufwand verbunden. Aufwendiger sind die Entscheidung, welche Zwecke Sie zulassen wollen, und die laufende Beobachtung. Beides lässt sich im Rahmen einer Durchsicht Ihrer Website erledigen.
Sehen KI-Dienste Inhalte hinter einer Anmeldung?
Crawler greifen auf öffentlich erreichbare Seiten zu. Inhalte hinter einer funktionierenden Zugangskontrolle sind ihnen nicht zugänglich. Prüfen Sie, ob Bereiche, die geschützt sein sollen, tatsächlich eine Anmeldung verlangen.
Häufige Fragen
Halten sich alle Crawler an die robots.txt?
Nein. Seriöse Betreiber tun es, eine technische Durchsetzung gibt es nicht. Für schützenswerte Inhalte brauchen Sie Zugangskontrollen.
Verliere ich bei einer Sperre meine Sichtbarkeit in der Suche?
Das hängt davon ab, welche Crawler Sie sperren. Die Kennungen der klassischen Suche und der KI-Funktionen sind teils getrennt, teils nicht. Prüfen Sie die Angaben der Anbieter und testen Sie Änderungen.
Wie erkenne ich KI-Crawler in meinen Statistiken?
An den User-Agent-Kennungen in den Serverprotokollen. Die Bezeichnungen finden Sie in den Dokumentationen der Anbieter. Aktuelle Namen bitte dort nachlesen.
Soll ich Crawler zulassen?
Wenn Sie in KI-Antworten vorkommen möchten, ja. Wenn Sie das Training ausschließen wollen, kommt eine gezielte Sperre in Betracht. Treffen Sie die Entscheidung bewusst und dokumentieren Sie sie.
Wie oft sollte ich die robots.txt überprüfen?
Mindestens bei jeder größeren Änderung an der Website und in einem festen Rhythmus, etwa vierteljährlich. Prüfen Sie dabei auch die aktuellen Kennungen der Anbieter, denn sie ändern sich.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.