Der Generator · 1 Minute

Wer darf rein? KI-Crawler im Griff

GPTBot, ClaudeBot, PerplexityBot — entscheide pro Crawler, ob er deine Website lesen darf, und erhalte die fertigen robots.txt-Regeln. Warum das wichtig ist

Meine ehrliche Empfehlung: alle reinlassen.Immer mehr Kunden fragen zuerst ChatGPT & Co. — ausgesperrte Crawler heisst, dort nicht vorzukommen. Blockieren ist dann sinnvoll, wenn du bewusst nicht willst, dass deine Inhalte in KI-Training landen — das ist ein legitimer Entscheid, er kostet dich aber Sichtbarkeit. Beides geht nicht.

Diese Crawler dürfen auf meine Website:

Haken weg = Crawler wird in der robots.txt ausgesperrt.

GPTBotOpenAI — füttert ChatGPT (Training)OAI-SearchBotOpenAI — die ChatGPT-SucheClaudeBotAnthropic — füttert ClaudePerplexityBotPerplexity — KI-SuchmaschineGoogle-ExtendedGoogle — Gemini-Training (NICHT die normale Google-Suche)Applebot-ExtendedApple — Apple IntelligenceMeta-ExternalAgentMeta — Meta AICCBotCommon Crawl — offener Datensatz, füttert viele KIsBytespiderByteDance/TikTok — bekannt als aggressiver Crawler

Für deine robots.txt

aktualisiert beim Klicken

Kostenlos, ohne Anmeldung — alles bleibt in deinem Browser.

Und jetzt? In zwei Schritten aktiv

An deine bestehende robots.txt anhängen — die Datei liegt im Hauptverzeichnis deiner Website (deinefirma.ch/robots.txt). Nicht ersetzen: Bestehende Einträge (z.B. die Sitemap-Zeile) sollen bleiben.
Prüfen mit dem Website-Schnell-Check — die Bot-Matrix zeigt dir pro Crawler, ob deine Regeln greifen.