Technik & Performance · Kurz erklärt
Was ist die robots.txt?
Auch: Robots Exclusion Protocol · REP
Kurzantwort
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern vorgibt, welche Bereiche sie abrufen dürfen. Sie verhindert das Crawling, aber nicht zuverlässig die Indexierung – dafür ist noindex zuständig. Zunehmend steuert sie auch KI-Crawler wie GPTBot oder ClaudeBot.
Kurz-Fakten
- Liegt immer unter /robots.txt – die erste Adresse, die ein seriöser Bot abruft.
- Direktiven: User-agent, Disallow, Allow sowie der Verweis auf die Sitemap.
- 2022 wurde das Robots Exclusion Protocol als RFC 9309 zum offiziellen Internet-Standard.
- Achtung: Eine per robots.txt gesperrte Seite kann trotzdem (ohne Inhalt) im Index landen.
Bedeutung für SEO
Die robots.txt ist Türsteher, nicht Tresor: Sie lenkt Crawler, schützt aber keine Inhalte. Ihre neue Bedeutung liegt in der KI-Steuerung – hier entscheidet sich, wer die eigenen Inhalte für Antworten nutzen darf.
Verwandte Begriffe
Stand: Juli 2026 · Geprüft von SEO NW