robots.txt Generator: Crawler steuern, KI-Crawler einzeln schalten

Mit diesem kostenlosen robots.txt Generator erstellen Sie die Datei, mit der Ihre Website Suchmaschinen und KI-Crawlern sagt, was sie abrufen dürfen. Sie sperren Bereiche, tragen die Sitemap ein und schalten 21 KI-Crawler einzeln, jeden mit Quelle des Anbieters. Danach prüfen Sie für jede Adresse, ob ein bestimmter Crawler sie lesen darf. Darunter erkläre ich, warum ich gute Bots nicht aussperre und wo Cloudflare Ihre Datei überstimmt.

Direkt zum Generator

robots.txt Generator mit KI-Crawler-Schaltern

Was ist eine robots.txt und wofür brauchen Sie sie?

Die robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, etwa unter ihre-domain.de/robots.txt. Crawler von Suchmaschinen und KI-Anbietern lesen sie, bevor sie Seiten abrufen. Sie legt fest, welche Bereiche ein Crawler besuchen darf und wo Ihre Sitemap liegt. Die Datei gilt nur für ihren Host: Eine Subdomain braucht eine eigene.

Ohne robots.txt dürfen Crawler alles abrufen. Pflicht ist die Datei also nicht. Sinnvoll wird sie, sobald Sie Bereiche wie die interne Suche oder den Warenkorb aus dem Crawling nehmen oder KI-Crawler gezielt steuern wollen. Die robots.txt ist eine Bitte, keine Zugangssperre. Seriöse Crawler wie der Googlebot halten sich daran, andere nicht.

robots.txt erstellen in vier Schritten

Mit dem Generator oben entsteht Ihre robots.txt-Datei so:

1. Tragen Sie die Bereiche ein, die kein Crawler abrufen soll, und die Adresse Ihrer Sitemap. Die Vorlagen ergänzen gängige Pfade für WordPress und WooCommerce.
2. Entscheiden Sie für jeden KI-Crawler, ob er Ihre Inhalte lesen darf. Die Schnellwahl setzt alle Schalter einer Gruppe auf einmal.
3. Prüfen Sie mit der Adressprüfung ein paar wichtige Seiten. Das Werkzeug zeigt, welche Gruppe und welche Regel entscheidet.
4. Speichern Sie die Datei als UTF-8 im Stammverzeichnis und kontrollieren Sie sie im robots.txt-Bericht der Google Search Console.

Haben Sie schon eine robots.txt, fügen Sie sie unter „Bestehende robots.txt übernehmen“ ein. Gruppen für Crawler, die das Werkzeug nicht kennt, bleiben unverändert erhalten.

Training, Suche, Abruf: welche KI-Crawler es gibt

KI-Anbieter schicken für verschiedene Zwecke verschiedene Crawler. Deshalb ordnet der Generator sie in drei Gruppen.

Training: GPTBot von OpenAI, ClaudeBot von Anthropic oder CCBot von Common Crawl sammeln Inhalte für künftige Modelle. Google-Extended und Applebot-Extended sind keine eigenen Crawler, sondern Steuerzeichen. Wer sie sperrt, bleibt in der Google-Suche, laut Google ohne Folgen für das Ranking.

KI-Suche: OAI-SearchBot, Claude-SearchBot und PerplexityBot bauen den Index, aus dem KI-Antworten ihre Quellen ziehen. Sperren Sie OAI-SearchBot, erscheinen Ihre Seiten laut OpenAI nicht mehr in den Suchantworten von ChatGPT.

Abruf auf Anfrage: ChatGPT-User oder Perplexity-User holen eine Seite, wenn jemand im Chat danach fragt. Perplexity schreibt, dass dieser Abruf robots.txt in der Regel nicht beachtet.

Warum ich gute Bots nicht aussperre

Training und Sichtbarkeit sind zwei getrennte Schalter. Viele sperren das Training, um ihre Inhalte zu schützen, und lassen die KI-Suche offen. Ich halte das oft für den teureren Fehler: Ein Modell, das Ihre Marke aus dem Training nicht kennt, fragt bei einer Suche auch nicht gezielt nach ihr. Auf litzki-systems.com erlaube ich deshalb das Training ausdrücklich, mit ai-train=yes und den großen KI-Crawlern namentlich in der robots.txt.

Wie es ohne bewusste Entscheidung schiefgeht, beschreibt Stephen Burns ↗, Web Intelligence Lead der Common Crawl Foundation, am Beispiel des Kinderkrankenhauses in Los Angeles ↗. Eine Standardeinstellung des Dienstleisters sperrte KI-Crawler und CCBot. Eltern, die in ChatGPT oder Gemini nach einer Klinik suchten, fanden das Krankenhaus nicht.

Der Trend geht in diese Richtung. Die Studie Consent in Crisis ↗ zählte für 2023 bis 2024: Innerhalb eines Jahres wurden rund 5 Prozent der Tokens im Trainingskorpus C4 vollständig gesperrt, bei den aktiv gepflegten Quellen mindestens 28 Prozent. Das trifft auch Forschung, Bibliotheken und Archive. Wer nur die Serverlast senken will, kann drosseln statt sperren: CCBot und die Crawler von Anthropic beachten Crawl-delay.

Wenn Cloudflare anders entscheidet als Ihre robots.txt

Ihre robots.txt kann alles erlauben, und trotzdem kommt ein Crawler nicht durch. Cloudflare sperrt KI-Crawler am Netzwerkrand, unabhängig von der Datei. Seit dem 15.09.2026 sperrt Cloudflare bei neuen Domains Training und Agenten standardmäßig auf Seiten mit Werbung. Mit „Bot Preference Sync“ setzt Cloudflare zusätzlich eigene Zeilen vor Ihre robots.txt.

Ich habe das am 27.08.2026 an den 1.000 meistbesuchten Websites der Tranco-Liste gemessen, mit einem benannten Prüf-Bot. Von den Domains hinter Cloudflare wiesen 22,8 Prozent ↗ ihn beim ersten Kontakt ab (28 von 123), bei allen anderen Anbietern 4,7 Prozent (27 von 572). Läuft Ihre Website über Cloudflare, setzen Sie im Generator den Haken dafür und gleichen Sie Dashboard und Datei ab.

robots.txt prüfen: die fünf häufigsten Fehler

1. Eine eigene Gruppe hebelt die Regeln für alle aus. Jeder Crawler folgt nur der Gruppe, die ihn am genauesten nennt. Steht GPTBot in einer eigenen Gruppe mit „Allow: /“, gelten Ihre Sperren unter „User-agent: *“ für ihn nicht mehr.
2. Disallow ist kein noindex. Google kann eine gesperrte Seite trotzdem indexieren, wenn andere Seiten auf sie verlinken. Gegen die Aufnahme in den Index hilft das Meta-Tag noindex, und dafür muss die Seite abrufbar bleiben.
3. Groß- und Kleinschreibung: /Intern/ sperrt nicht /intern/.
4. Gesperrte CSS- und JavaScript-Dateien: Google kann die Seite dann schlechter darstellen und verstehen.
5. Ein „Disallow: /“ von der Testumgebung geht mit live und sperrt die ganze Website.

Die Adressprüfung im Generator rechnet nach denselben Regeln wie Google und zeigt die entscheidende Zeile. So finden Sie Fehler, bevor Suchmaschinen sie finden.

Häufige Fragen

Ist der robots.txt Generator kostenlos?

Ja, ohne Anmeldung. Das Werkzeug läuft vollständig in Ihrem Browser, sendet nichts an einen Server und setzt keine Cookies. Eine bestehende robots.txt fügen Sie per Kopieren ein, weil das Werkzeug keine fremden Seiten abruft.

Wie ändere ich die robots.txt in WordPress oder Shopify?

WordPress erzeugt eine robots.txt selbst, solange keine Datei im Stammverzeichnis liegt. Laden Sie die Datei aus dem Generator per FTP oder Dateimanager hoch, oder nutzen Sie den Dateieditor Ihres SEO-Plugins. In Shopify ändern Sie die Datei über das Theme-Template robots.txt.liquid, das die erzeugte Fassung ganz ersetzt.

Wie lange dauert es, bis Änderungen wirken?

Google speichert die robots.txt in der Regel bis zu 24 Stunden. OpenAI nennt für die Suche rund 24 Stunden, DuckDuckGo für DuckAssistBot 72 Stunden. Über den robots.txt-Bericht der Search Console fordern Sie bei Google einen neuen Abruf an.

Beachten alle KI-Crawler die robots.txt?

Nein. Die großen Anbieter sagen es für ihre Trainings- und Such-Crawler zu. Abrufe im Auftrag einer Person beachten die Datei laut OpenAI, Perplexity, Meta und Amazon unter Umständen nicht. Wer Zugriffe wirklich verhindern will, braucht Regeln auf dem Server oder in der Firewall.

robots.txt, Cloudflare und KI-Sichtbarkeit in einem Durchgang

Ich prüfe robots.txt, Firewall und Server-Logs Ihrer Website zusammen und zeige, welche Crawler tatsächlich durchkommen. Das gehört zu Technischem SEO und GEO. Das Erstgespräch dauert dreißig Minuten und ist kostenlos und unverbindlich. Alle Erkenntnisse bekommen Sie anschließend schriftlich.

Erstgespräch buchen ↗ Lieber schreiben