Eine robots.txt für Contao erstellen

Zwei Dutzend Zeilen Text entscheiden mit darüber, was von einer Website im Netz sichtbar wird: Die robots.txt liegt im Stammverzeichnis, jeder Suchmaschinen-Crawler liest sie beim ersten Besuch – und hält sich (im Idealfall) an das, was dort steht. Die Datei basiert auf dem Robots Exclusion Standard und regelt, welche Bereiche einer Website durchsucht werden dürfen und welche tabu sind.

Bei Contao-Websites gehört eine sauber aufgesetzte robots.txt zum Pflichtprogramm: Sie hält Systemverzeichnisse aus dem Index, beugt Duplicate Content vor – und ist seit dem Aufstieg der KI-Suche auch eine strategische Stellschraube. Als Contao-Agentur richten wir die Datei bei jedem Projekt mit ein; dieser Beitrag zeigt, worauf es dabei ankommt.

Unscheinbar, aber vielseitig – die robots.txt übernimmt gleich mehrere Aufgaben auf einmal:

• Sie steuert, welche Inhalte Suchmaschinen-Crawler durchsuchen dürfen.
• Sie hält sensible Verzeichnisse fern (bei Contao etwa /contao/, /vendor/ oder /system/).
• Sie beugt Duplicate Content durch URL-Parameter vor.
• Sie verweist auf die Sitemap der Website.
• Sie entlastet den Server, indem unnötige Crawls unterbleiben.

Gerade bei Contao gilt: Verwaltungs- und Systemordner haben im Suchindex nichts verloren – und mit zwei Zeilen bleiben sie draußen.

Eine robots.txt ist eine einfache Textdatei mit festen Regeln:

• Dateiname: robots.txt (alles klein geschrieben)
• Kodierung: UTF-8 ohne BOM
• Ablage: direkt im Root-Verzeichnis (z. B. https://www.domain.tld/robots.txt)
• Syntax: Jeder Eintrag besteht aus User-agent (Bot) und Disallow/Allow

Beispiel für eine sehr einfache Variante:

Das bedeutet: Alle Bots dürfen alles crawlen.

Gerade der letzte Punkt ist wichtig: Contao erstellt automatisch eine Sitemap.xml, die in der robots.txt referenziert werden sollte, damit Suchmaschinen die gesamte Seitenstruktur effizient erfassen.

Viele Probleme entstehen durch kleine Unachtsamkeiten. Diese Fehler gilt es zu vermeiden:

• Falsche Benennung – nur „robots.txt“ (klein, exakt so).
• Falscher Speicherort – ausschließlich im Root-Verzeichnis.
• Syntaxfehler – vergessene Doppelpunkte oder fehlerhafte Bot-Namen.
• Leere Datei – nur eine leere Datei bringt nichts.
• Groß-/Kleinschreibung – Verzeichnisse müssen exakt angegeben werden.
• UTF-8 mit BOM – immer UTF-8 ohne BOM speichern (z. B. mit Notepad++).

Ein typisches Problem, das viele Betreiber von Contao-Webseiten schon erlebt haben: Trotz scheinbar korrekter Angaben zeigt ein robots.txt-Check sofort in der ersten Zeile einen Fehler an:

• User-agent:...

Ursache ist meist die Speicherung im UTF-8-Format mit sogenanntem Byte Order Mark (BOM). Damit die Datei einwandfrei funktioniert, sollte sie im Standard-Format UTF-8 ohne BOM abgespeichert werden. Das lässt sich unkompliziert mit Notepad++ erledigen, indem dort die Option ‚Kodierung in UTF-8 ohne BOM‘ gewählt wird.

Google bietet im Search Console-Tool die Möglichkeit, die robots.txt zu testen. Zusätzlich können Online-Validatoren wie der Robots.txt Checker von technicalseo.com genutzt werden.

Eine regelmäßige Überprüfung ist wichtig, da schon ein kleiner Syntaxfehler dazu führen kann, dass komplette Bereiche versehentlich gesperrt werden.

Kurz gesagt: Wer KI-Crawler aussperrt, schützt seine Inhalte vor der Verwertung – und verschwindet zugleich aus den Antworten von ChatGPT, Perplexity und Co. Für die meisten Mittelständler überwiegt der Sichtbarkeitsgewinn deutlich. Verlage, Kursanbieter und alle, die mit Inhalten selbst Geld verdienen, rechnen anders.

Die wichtigsten KI-Crawler

# Sichtbarkeit in KI-Antworten gewünscht – Zugriff erlauben
User-agent: GPTBot            # OpenAI, für Training und Antworten
Allow: /

User-agent: OAI-SearchBot     # OpenAI, ausschließlich für Suche/Antworten
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended   # steuert Gemini/AI Overviews separat
Allow: /

# Sensible Bereiche bleiben trotzdem außen vor
User-agent: *
Disallow: /kundenportal/
Disallow: /admin/
Disallow: /*?suche=

Sitemap: https://www.beispiel.de/sitemap.xml

Wer den umgekehrten Weg gehen will, ersetzt Allow: / durch Disallow: / – jeweils gezielt pro Bot. Wichtig ist, beides nicht zu vermischen: Eine Sperre für GPTBot bei gleichzeitiger Freigabe für OAI-SearchBot bedeutet „nicht trainieren, aber zitieren" – für viele Unternehmen genau der richtige Kompromiss.

Was die robots.txt nicht kann

• Sie ist eine Bitte, keine Sperre. Wohlerzogene Crawler halten sich daran, andere ignorieren sie. Wirksamer Schutz entsteht erst über Zugriffsbeschränkungen auf dem Server.
• Sie verhindert keine Indexierung. Eine gesperrte Seite kann trotzdem im Index landen, wenn andere darauf verlinken – dafür ist noindex zuständig, das aber nur greift, wenn die Seite nicht in der robots.txt gesperrt ist.
• Sie schützt keine Geheimnisse. Was in der robots.txt steht, ist öffentlich lesbar – eine Liste sensibler Pfade ist damit eher eine Einladung.

In Contao pflegen

Contao erzeugt die robots.txt bei aktivierter Sitemap automatisch aus den Seiteneinstellungen. Wer eigene Regeln braucht, legt eine statische Datei im Verzeichnis public/ ab – sie hat Vorrang. Nach Änderungen lohnt der Prüfblick in der Search Console: Sie zeigt, welche Fassung Google tatsächlich sieht.

Die robots.txt ist die vielleicht am meisten unterschätzte Datei im ganzen Projekt: schnell geschrieben, schnell kaputt – und mit erstaunlicher Hebelwirkung in beide Richtungen. Richtig aufgesetzt hält sie Systempfade aus dem Index, führt Crawler zur Sitemap und entscheidet neuerdings mit, ob ein Unternehmen in KI-Antworten stattfindet oder nicht.

Der Aufwand für die korrekte Fassung liegt bei Minuten. Der Schaden einer falschen – ein versehentliches Disallow an der falschen Stelle – kann Monate an Sichtbarkeit kosten. Ein regelmäßiger Prüfblick in die Search Console gehört deshalb genauso dazu wie die Datei selbst.