Robots.txt erstellen und testen

Eine robots.txt ohne Syntaxfehler erstellen

Die Datei robots.txt liegt im Stammverzeichnis einer Website (https://www.example.com/robots.txt) und teilt Crawlern mit, welche Bereiche sie besuchen dürfen. Mit diesem Generator können Sie eine robots.txt erstellen, ohne die Syntax auswendig zu kennen: Er schreibt die Datei aus Regelgruppen, weist auf typische Fehler hin und enthält einen Tester. Sie geben eine Adresse und einen Crawler ein, und er antwortet „Erlaubt“ oder „Gesperrt“, samt der entscheidenden Regel. Es wird nichts übertragen, alles läuft in Ihrem Browser.

So funktioniert es

1. Beginnen Sie mit einer Vorlage: „Alles erlauben“, „Alles sperren“, „Admin-Ordner sperren“ oder „Aufgelistete KI-Crawler sperren“. Oder fügen Sie Ihre aktuelle Datei unter „Bestehende robots.txt importieren“ ein und klicken auf „Importieren“.
2. Füllen Sie in jeder Gruppe „User-agent“ aus: * für alle Crawler oder den technischen Namen eines bestimmten Crawlers. Die Liste „Beispiel hinzufügen…“ enthält gängige Namen, die Sie in der Dokumentation des jeweiligen Crawlers prüfen sollten.
3. Fügen Sie mit „+ Regel hinzufügen“ Regeln hinzu: Disallow oder Allow wählen und einen Pfad eingeben, der mit / beginnt. Optional setzen Sie einen „Crawl-delay“ und tragen unten die vollständige Adresse Ihrer Sitemap ein.
4. Lesen Sie „Zu prüfen“, testen Sie einige Adressen im „URL-Tester“ und klicken Sie dann auf „robots.txt herunterladen“ oder „Kopieren“.

Syntax und Vorrang der Regeln

Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, danach folgen ihre Regeln. Ein Crawler befolgt genau eine Gruppe: die mit seinem Namen (Groß- und Kleinschreibung egal), sonst die Gruppe *. Steht sein Name in zwei Gruppen, werden deren Regeln zusammengeführt. Innerhalb der gewählten Gruppe spielt die Reihenfolge laut RFC 9309 keine Rolle: Es gewinnt die passende Regel mit dem längsten Pfad, und bei gleicher Länge gewinnt Allow.

Beispiel für einen Onlineshop:

• User-agent: *
• Disallow: /warenkorb/
• Allow: /warenkorb/hilfe
• Disallow: /*.pdf$

Ohne $ vergleicht eine Regel den Anfang der Adresse: Disallow: /blog sperrt auch /blogger. Kodierte Zeichen werden normalisiert verglichen: /%61dmin entspricht /admin, %2F aber nicht /.

Sitemap, Crawling und Deindexierung

Die Zeile Sitemap nennt die vollständige Adresse Ihrer XML-Sitemap; sie gehört zu keiner Gruppe und darf mehrfach vorkommen. Wichtig: Disallow verhindert das Crawlen, nicht die Indexierung. Eine gesperrte Seite kann ohne Beschreibung in den Ergebnissen bleiben, wenn andere Websites auf sie verlinken. Um sie zu entfernen, lassen Sie sie crawlbar und setzen das Meta-Tag robots mit noindex. Ein Schutz ist die Datei ebenfalls nicht: Sie ist öffentlich, und bösartige Bots ignorieren sie.

KI-Crawler und häufige Fehler

Manche Dienste für künstliche Intelligenz durchsuchen das Web mit eigenen Crawlern unter einem veröffentlichten technischen Namen. Sie können sie wie jeden anderen Crawler erlauben oder sperren; die passende Vorlage legt eine Gruppe mit den Namen aus der Beispielliste und Disallow: / an. Diese Namen ändern sich, prüfen Sie die Datei daher ab und zu. Typische Fehler sind ein vergessenes Disallow: / aus der Testumgebung, ein Pfad ohne führendes /, eine Zeile ohne Doppelpunkt und eine Datei außerhalb des Stammverzeichnisses. Die ersten drei meldet der Generator.

Häufige Fragen

Wird Crawl-delay beachtet?

Nicht überall. Die Anweisung gehört nicht zum Standard: Manche Crawler halten sich daran, andere ignorieren sie und bieten stattdessen eine Einstellung der Crawling-Frequenz in ihren Webmaster-Tools an.

Sperrt ein leeres „Disallow:“ etwas?

Nein. Eine Regel Disallow: ohne Pfad passt auf keine Adresse. So schreibt man klassisch „alles erlaubt“, und genau das setzt die Vorlage „Alles erlauben“.

Braucht jede Subdomain eine eigene robots.txt?

Ja. Die Datei gilt nur für den Host, das Protokoll und den Port, unter denen sie ausgeliefert wird: shop.example.com und www.example.com brauchen jeweils eine eigene.