Die robots.txt liegt unter /robots.txt und gibt Suchmaschinen-Crawlern Regeln, welche URL-Pfade sie abrufen dürfen. Sie steuert Crawl-Zugriff, nicht zwingend Indexierung: Gesperrte Seiten können trotzdem in den Index rutschen, wenn externe Links darauf zeigen. Sie ist ein zentrales Werkzeug der technischen SEO und relevant für Crawl Budget.
Du definierst User-agent (z. B. * oder Googlebot) und Disallow-/Allow-Pfade. Für Staging-Umgebungen blockierst du den kompletten Host oder nutzt zusätzlich noindex auf Seiten. Öffentliche Assets wie CSS oder JS solltest du nicht pauschal sperren, sonst leidet Rendering. Verweise auf deine XML-Sitemap am Dateiende. Für KI-Crawler ergänzen viele Teams separate Regeln neben GPTBot und llms.txt. Nach Änderungen in der Search Console auf Crawl-Fehler prüfen. robots.txt ersetzt keinen Canonical Tag bei Dubletten. Versioniere robots.txt in Git und teste mit offiziellen Tester-Tools nach jedem Deploy. Achte auf Groß-Kleinschreibung und Trailing Slashes in Pfaden. Kommuniziere Änderungen an SEO und Entwicklung gleichzeitig.
Teams disallowen veraltete Kampagnen-URLs und wundern sich über Snippets in der SERP. Besser: 410/404 oder noindex auf der Seite plus interne Links entfernen. robots.txt nur dort, wo du Crawl-Kosten sparen willst, nicht als verstecktes Archiv. Wenn ihr Facetten-URLs disallowt, stelle sicher, dass keine internen Links mehr dorthin zeigen, sonst verschwendet ihr Crawl-Budget.
Technische SEO-Checks inklusive robots und Sitemap: SEO-Agentur.
Technisches SEO umfasst alles, was Sichtbarkeit ohne neuen Fließtext verbessert: Crawlbarkeit, Indexierung, Geschwindigkeit, strukturierte Daten und fehlerfreie Weiterleitungen. Es ist das Fundament, bevor Onpage-SEO und Content maximal wirken. Ohne solides Technical SEO verpuffen selbst starke Keywords.
Eine XML-Sitemap ist eine Datei (oft /sitemap.xml), in der du URLs meldest, die Suchmaschinen indexieren sollen. Sie ergänzt internes Linking und robots.txt, ersetzt aber keine Qualität der Seiten. Für große Sites nutzt du Sitemap-Indexe mit Segmenten für News, Bilder oder mehrsprachige hreflang-Varianten.
Eine 301-Weiterleitung ist ein permanenter HTTP-Redirect vom Server. Browser und Crawler landen auf der Ziel-URL; Suchmaschinen behandeln sie als dauerhaften Umzug und übernehmen in der Regel weitgehend Link-Signale. Sie ist Standard bei Relaunch, Domain-Wechsel und URL-Vereinheitlichung neben Canonical Tags.