Über den robots.txt-Tester

Die robots.txt-Datei steuert, welche URLs Suchmaschinen-Crawler besuchen dürfen. Regeln werden von der spezifischsten zur allgemeinsten abgeglichen. Eine übereinstimmende Allow-Regel gewinnt immer über Disallow bei gleicher Pfadlänge. Das Platzhalterzeichen * entspricht einer beliebigen Zeichenkette. Das Sperren einer URL in robots.txt verhindert nicht ihr Erscheinen in den Suchergebnissen, wenn andere Seiten auf sie verlinken – verwenden Sie dafür noindex in den Meta-Tags der Seite.