KI-Crawler blockieren oder reinlassen? Die ehrliche Abwägung für dein KMU

Deine Website hat einen Türsteher: die Datei robots.txt. Seit dreissig Jahren sagt sie Suchmaschinen, wo sie hindürfen. Neu stehen andere Gäste vor der Tür: GPTBot (ChatGPT), ClaudeBot (Claude), PerplexityBot und ein halbes Dutzend weitere KI-Crawler. Und du entscheidest, ob sie reinkommen.

Die Frage klingt technisch, ist aber eine Geschäftsentscheidung — und sie hat, anders als viele Ratgeber behaupten, keine für alle richtige Antwort. Hier ist die ehrliche Abwägung.

Was auf dem Spiel steht

Lässt du die Crawler rein, können KI-Systeme deine Inhalte lesen, verstehen und wiedergeben. Fragt jemand ChatGPT nach «gutem Plattenleger in der Region», kannst du in der Antwort vorkommen — darum geht es bei GEO. Der Preis: Deine öffentlichen Inhalte können auch in KI-Trainingsdaten landen.

Sperrst du die Crawler aus, fliessen deine Texte nicht in Training und KI-Antworten ein. Der Preis: Für die wachsende Zahl von Menschen, die zuerst die KI fragen, existierst du nicht. Die KI empfiehlt dann — deine Konkurrenz.

Beides ist legitim. Beides gleichzeitig geht nicht. Wer dir «Schutz vor KI ohne Sichtbarkeitsverlust» verspricht, verkauft dir etwas.

Wer da eigentlich anklopft

Die wichtigsten Namen, kurz eingeordnet:

• GPTBot & OAI-SearchBot (OpenAI): Training bzw. die ChatGPT-Suche
• ClaudeBot (Anthropic): füttert Claude
• PerplexityBot: die KI-Suchmaschine Perplexity
• Google-Extended: steuert nur das Gemini-Training — nicht die normale Google-Suche. Der häufigste Irrtum: Wer Google-Extended sperrt, verschwindet nicht aus Google.
• CCBot (Common Crawl): offener Datensatz, aus dem viele KIs lernen
• Bytespider (TikTok/ByteDance): bekannt als besonders rücksichtsloser Vielfrass

Meine Empfehlung für KMU: reinlassen

Für einen typischen Schweizer KMU-Betrieb ist die Rechnung nüchtern: Deine Website enthält Marketing-Inhalte, die gelesen werden sollen — Angebot, Referenzen, Kontakt. Das ist kein schützenswertes Geschäftsgeheimnis, sondern deine Auslage. Je mehr Systeme sie verstehen, desto öfter wirst du empfohlen. Der Trainings-«Verlust» ist bei öffentlichen Werbetexten klein, der Sichtbarkeits-Gewinn real.

Anders sieht es aus, wenn dein Inhalt dein Produkt ist — Fachverlage, kostenpflichtige Ratgeber, einzigartige Datenbanken. Dann ist Blockieren (mindestens der Trainings-Crawler wie GPTBot und CCBot, bei offener Suche via OAI-SearchBot) ein vertretbarer Entscheid. Nur: Triff ihn bewusst, nicht per Zufall.

Der häufigste Unfall: gesperrt, ohne es zu wissen

In meinem Website-Check taucht es regelmässig auf: Websites, die sämtliche KI-Crawler aussperren — und der Inhaber weiss nichts davon. Meist war es ein Sicherheits-Plugin, eine Agentur-Voreinstellung «aus Datenschutzgründen» oder eine kopierte robots.txt. Das Resultat ist ein unsichtbarer Betrieb, der sich wundert, warum ihn ChatGPT nicht kennt.

Darum, egal wie du entscheidest: Prüf den Ist-Zustand. Der Check zeigt dir in der Bot-Matrix für jeden einzelnen Crawler, ob er rein darf.

So setzt du deinen Entscheid um

1. Regeln erstellen: Mein robots.txt-Generator listet die neun wichtigsten KI-Crawler mit Klartext-Beschreibung — Haken setzen oder entfernen, fertige Regeln kopieren.
2. Anhängen statt ersetzen: Die Regeln kommen zusätzlich in deine bestehende robots.txt (im Hauptverzeichnis der Website). Bestehende Einträge wie die Sitemap-Zeile bleiben.
3. Verifizieren: Nochmals durch den Website-Schnell-Check — die Bot-Matrix zeigt dir schwarz auf weiss, ob deine Regeln greifen.

Und falls du beim Prüfen merkst, dass bei deiner Website grundsätzlicheres im Argen liegt: Meld dich — den Türsteher richtig einstellen ist Minutensache, wenn man weiss, wo der Eingang ist.