Glossar/SEO/robots.txt

robots.txt

Die robots.txt liegt unter /robots.txt und gibt Suchmaschinen-Crawlern Regeln, welche URL-Pfade sie abrufen dürfen. Sie steuert Crawl-Zugriff, nicht zwingend Indexierung: Gesperrte Seiten können trotzdem in den Index rutschen, wenn externe Links darauf zeigen. Sie ist ein zentrales Werkzeug der technischen SEO und relevant für Crawl Budget.

So funktioniert robots.txt richtig

Du definierst User-agent (z. B. * oder Googlebot) und Disallow-/Allow-Pfade. Für Staging-Umgebungen blockierst du den kompletten Host oder nutzt zusätzlich noindex auf Seiten. Öffentliche Assets wie CSS oder JS solltest du nicht pauschal sperren, sonst leidet Rendering. Verweise auf deine XML-Sitemap am Dateiende. Für KI-Crawler ergänzen viele Teams separate Regeln neben GPTBot und llms.txt. Nach Änderungen in der Search Console auf Crawl-Fehler prüfen. robots.txt ersetzt keinen Canonical Tag bei Dubletten. Versioniere robots.txt in Git und teste mit offiziellen Tester-Tools nach jedem Deploy. Achte auf Groß-Kleinschreibung und Trailing Slashes in Pfaden. Kommuniziere Änderungen an SEO und Entwicklung gleichzeitig.

Disallow ist kein Löschknopf

Teams disallowen veraltete Kampagnen-URLs und wundern sich über Snippets in der SERP. Besser: 410/404 oder noindex auf der Seite plus interne Links entfernen. robots.txt nur dort, wo du Crawl-Kosten sparen willst, nicht als verstecktes Archiv. Wenn ihr Facetten-URLs disallowt, stelle sicher, dass keine internen Links mehr dorthin zeigen, sonst verschwendet ihr Crawl-Budget.

Technische SEO-Checks inklusive robots und Sitemap: SEO-Agentur.

Verwandte Themen

Das könnte dich auch interessieren