DACH-Anwendungsfall: Testen vor dem Produktions-Deployment
Dieses Tool prueft, ob ein URL-Pfad von einem gegebenen robots.txt-Inhalt fuer einen bestimmten User-Agent erlaubt oder gesperrt ist. Fuegen Sie robots.txt eines Live-Sites, eines Staging-Entwurfs oder einer generierten Datei ein und geben Sie den zu pruefenden Pfad ein.
Ein haeufiger Fehler in DACH-Agenturen: Eine Staging-Umgebung wird versehentlich als Produktionssite online gestellt, ohne die robots.txt zu pruefen. Das Disallow: / der Staging-Umgebung sperrt Googlebot von der gesamten Site, bis jemand den Rankingeinbruch bemerkt. Dieser Test dauert zehn Sekunden und verhindert wochenlange Sichtbarkeitsverluste.
Googles offizieller robots.txt-Tester befindet sich in der Google Search Console (Legacy-Bereich), benoetigt aber verifizierten Zugang zur Property. Dieses Tool funktioniert ohne Anmeldung mit beliebigem robots.txt-Inhalt.
Unterschied: robots.txt Disallow vs. noindex
| Mechanismus | Was er steuert | Seite noch im Index? |
|---|---|---|
| Disallow (robots.txt) | Verhindert, dass Googlebot die URL besucht | Ja, wenn externe Sites darauf verlinken |
| meta noindex | Googlebot besucht, indexiert aber nicht | Nein, wird nach naechstem Crawl entfernt |
| Beide kombiniert | Googlebot kann noindex nicht lesen | Ja, Disallow blockiert das Lesen von noindex |
Eine URL gleichzeitig mit Disallow zu sperren und mit noindex zu versehen ist kontraproduktiv: Googlebot kann das noindex-Tag nicht lesen, wenn der Zugriff gesperrt ist. Disallow entfernen und nur noindex verwenden.
Regelabgleich und Sonderfaelle
Die meisten Crawler verwenden die Regel des laengsten uebereinstimmenden Pfads: der spezifischste Eintrag gewinnt. Fuer Googlebot ueberschreibt ein Allow: /admin/public/ ein breiteres Disallow: /admin/. Platzhalter (* in Pfaden, $ am URL-Ende) werden von Google und Bing unterstuetzt. Pruefe auch, dass der Sitemap-Pfad nicht versehentlich gesperrt ist, ein blockierter Sitemap verlangsamt die URL-Entdeckung erheblich.
Workflow
Nach dem Testen hier: robots.txt mit dem robots.txt-Generator erstellen oder bearbeiten, dann den HTTP-Response-Header von /robots.txt mit dem Weiterleitungs-Checker pruefen, um sicherzustellen, dass die Datei mit Status 200 geliefert wird, nicht ueber eine Weiterleitungskette.