Suchmaschinen & SERP · Kurz erklärt
Was ist Crawling?
Auch: Web-Crawling · Spidering
Kurzantwort
Beim Crawling durchsuchen Programme wie der Googlebot das Web, folgen Links und rufen Seiteninhalte ab. Es ist der erste Schritt der Kette Crawling → Indexierung → Ranking. Was nicht gecrawlt wird, kann auch nicht in der Suche erscheinen.
Kurz-Fakten
- Googles wichtigster Crawler heißt Googlebot und crawlt Mobile-First.
- Die robots.txt steuert, welche Bereiche Crawler abrufen dürfen.
- Jede Website hat ein begrenztes Crawl-Budget – relevant vor allem für große Projekte.
- Auch KI-Systeme crawlen: GPTBot (OpenAI), ClaudeBot (Anthropic) oder PerplexityBot.
Bedeutung für SEO
Crawlbarkeit ist die Eintrittskarte in den Index: Interne Verlinkung, Sitemap und saubere Statuscodes entscheiden, wie effizient Suchmaschinen eine Website erfassen. Technische SEO beginnt genau hier.
Verwandte Begriffe
Stand: Juli 2026 · Geprüft von SEO NW