So verwenden Sie den robots.txt Generator

Klicken Sie auf + Gruppe hinzufügen, um einen Block für einen bestimmten Crawler zu erstellen.
Legen Sie den User-Agent fest (* für alle Crawler oder einen spezifischen Bot-Namen wie Googlebot).
Fügen Sie Disallow- oder Allow-Regeln für bestimmte Pfade hinzu.
Fügen Sie optional eine Sitemap-URL und einen Crawl-Delay hinzu.
Klicken Sie auf Generieren, dann kopieren oder laden Sie die Datei herunter.

Bekannte Bot-Namen