Was dieses Tool kann
Dieser Generator erstellt eine robots.txt – die kleine Textdatei im Hauptverzeichnis jeder Website, die Crawlern wie Googlebot und Bingbot mitteilt, welche Bereiche sie besuchen dürfen. Sie legen fest, ob die Website gecrawlt werden darf, geben die Ordner oder URL-Muster an, die gesperrt werden sollen, ergänzen Ausnahmen und tragen die Adresse Ihrer XML-Sitemap ein, damit Suchmaschinen alle Ihre Seiten finden.
Vorlagen für WordPress und Onlineshops füllen gängige Regeln aus, etwa das Sperren des Admin-Bereichs bei weiterhin erreichbarer admin-ajax.php oder das Ausschließen von Warenkorb-, Checkout- und Filter-URLs vom Crawling. Ein optionaler Schalter ergänzt Regeln für Crawler, mit denen KI-Unternehmen Trainingsdaten sammeln oder KI-Suchen betreiben, etwa GPTBot, ClaudeBot, Google-Extended und CCBot.
Die Datei wird in Ihrem Browser erstellt und lässt sich kopieren oder als robots.txt herunterladen – bereit zum Hochladen.
Wann es sich lohnt
Neue Websites
Veröffentlichen Sie vom ersten Tag an eine saubere robots.txt mit Ihrer Sitemap, damit Suchmaschinen Ihre Seiten schneller entdecken.
WordPress und Onlineshops
Verhindern Sie, dass Admin-, Warenkorb-, Checkout- und Filterseiten Crawl-Budget verschwenden.
Staging- und Testumgebungen
Sperren Sie eine Entwicklungskopie vollständig, damit sie nicht mit Ihrer Live-Website konkurriert.
KI-Crawler aussperren
Teilen Sie KI-Crawlern, die sich an die robots.txt halten, mit, dass sie Ihre Inhalte nicht verwenden sollen.
Tipps für das beste Ergebnis
- Sperren Sie niemals Ihre CSS- und JavaScript-Ordner; Google braucht sie, um Ihre Seiten zu rendern und zu verstehen.
- Pfade unterscheiden Groß- und Kleinschreibung und gelten ab dem Anfang: „/admin“ sperrt auch „/administrator“. Beenden Sie Ordner mit einem Schrägstrich.
- Verwenden Sie * als Platzhalter und $ für das Ende einer URL, zum Beispiel „/*.pdf$“, um alle PDF-Dateien zu sperren.
- Die robots.txt ist öffentlich. Führen Sie darin keine geheimen Ordner auf – schützen Sie diese stattdessen mit einem Passwort.
- Prüfen Sie die Datei nach dem Hochladen in der Google Search Console unter Einstellungen › robots.txt.
So funktioniert das Tool
Der Generator schreibt eine Gruppe für alle Crawler (User-agent: *) mit Allow- und Disallow-Zeilen im Format des Robots Exclusion Protocol (RFC 9309), an das sich Google, Bing und andere große Suchmaschinen halten. Pfade ohne führenden Schrägstrich erhalten automatisch einen.
Wenn Sie KI-Crawler sperren, listet eine zweite Gruppe deren User-Agents mit „Disallow: /“ auf. Crawler verwenden die spezifischste Gruppe, die zu ihrem Namen passt – Suchmaschinen bleiben also unberührt. Sitemap-Zeilen werden am Ende angefügt und können auf mehrere Sitemaps verweisen.
Crawl-delay wird nur aufgenommen, wenn Sie einen Wert eingeben; Google ignoriert die Angabe, Bing und einige andere Crawler beachten sie jedoch.