KI-Crawler und robots.txt: Welche Sie hereinlassen sollten
Viele Websites sperren KI-Crawler aus, ohne es zu wissen (Theme, Sicherheits-Plugin, Firewall des Hosters). Die Folge: ChatGPT oder Perplexity können Ihre Seiten nicht lesen und empfehlen Sie seltener. Hier sehen Sie, welcher Crawler was tut.
Vom PickableAI-Team · Aktualisiert am 30. September 2026 · 2 Min. Lesezeit
Zwei Arten von Crawlern
Wichtig ist der Unterschied:
- Such-Crawler lesen Ihre Website, um die Fragen von Nutzern in Echtzeit zu beantworten. Wer sie sperrt, verschwindet aus diesen Antworten.
- Trainings-Crawler sammeln Texte, um künftige Modelle zu trainieren. Sie zu sperren ist eine legitime Entscheidung: Genannt werden Sie über die Suche trotzdem.
Die Crawler im Überblick
| Crawler | Anbieter | Aufgabe | Empfehlung |
|---|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT-Suche | Zulassen |
ChatGPT-User | OpenAI | Ruft eine Seite auf, wenn ein Nutzer danach fragt | Zulassen |
GPTBot | OpenAI | Training der Modelle | Ihre Entscheidung |
PerplexityBot | Perplexity | Suchindex | Zulassen |
Perplexity-User | Perplexity | Aufruf auf Anfrage eines Nutzers | Zulassen |
Claude-SearchBot | Anthropic | Claude-Suche | Zulassen |
Claude-User | Anthropic | Aufruf auf Anfrage eines Nutzers | Zulassen |
ClaudeBot | Anthropic | Training | Ihre Entscheidung |
Googlebot | Google-Suche und KI-Antworten von Google | Zulassen | |
Google-Extended | Nutzung durch Gemini (außerhalb der Google-Suche) | Ihre Entscheidung | |
Bingbot | Microsoft | Bing und Copilot (und Dienste, die auf Bing aufbauen) | Zulassen |
Applebot / Applebot-Extended | Apple | Siri-Suche / Training | Zulassen / Ihre Entscheidung |
CCBot | Common Crawl | Offenes Archiv, mit dem Modelle trainiert werden | Ihre Entscheidung |
Die empfohlene robots.txt
Für ein lokales Unternehmen, das empfohlen werden will, ist es am einfachsten, alles zuzulassen:
User-agent: *, dann Allow: / und dazu eine Zeile Sitemap: mit der Adresse Ihrer Sitemap.
Wenn Sie das Training ablehnen, in den Antworten aber sichtbar bleiben möchten, fügen Sie getrennte Blöcke User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot mit Disallow: / hinzu. Sperren Sie niemals OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot oder Bingbot, wenn Sie genannt werden wollen.
Unsichtbare Sperren
Nicht nur die robots.txt kann Crawler aussperren:
- Firewalls und Bot-Schutz (Cloudflare, Sicherheits-Plugins für WordPress): Manche sperren KI-Crawler standardmäßig aus. Sehen Sie in den Einstellungen für „KI-Bots“ bei Ihrem Hoster oder bei Cloudflare nach.
- Websites, die per JavaScript aufgebaut werden: KI-Crawler führen JavaScript in der Regel nicht aus. Steht Ihr Text nicht im HTML, das der Server ausliefert, sehen sie eine leere Seite.
- Ein vergessenes noindex-Tag nach einem Relaunch.
Unser Tool Ihre Website aus Sicht der KI prüft diese drei Punkte und Ihre robots.txt in 20 Sekunden.
Ratgeber nach Branche
- So wird Ihr Restaurant von ChatGPT, Gemini und Perplexity empfohlen
- So wird Ihre Autowerkstatt von ChatGPT, Gemini und Perplexity empfohlen
- So wird Ihre Zahnarztpraxis von ChatGPT, Gemini und Perplexity empfohlen
- So wird Ihr Friseursalon von ChatGPT, Gemini und Perplexity empfohlen
- So wird Ihr Hotel von ChatGPT, Gemini und Perplexity empfohlen
Tools vergleichen
Empfiehlt die KI Sie?
Die kostenlose Analyse stellt den KI-Assistenten die Fragen Ihrer Kunden („beste {Branche} in {Stadt}“) und zeigt Ihren Platz, oder wer an Ihrer Stelle genannt wird.
Mein Unternehmen prüfen