Comment utiliser le générateur robots.txt

Cliquez sur + Ajouter un groupe pour créer un bloc dédié à un crawler spécifique.
Définissez le User-agent (utilisez * pour tous les crawlers, ou un nom de bot précis comme Googlebot).
Ajoutez des règles Disallow ou Allow pour les chemins concernés.
Ajoutez optionnellement l'URL du sitemap et un crawl-delay.
Cliquez sur Générer, puis copiez ou téléchargez le fichier.

Noms de bots courants