Générateur de robots.txt

Ce que fait l’outil

Le générateur de robots.txt écrit le fichier robots.txt qui indique aux robots les parties de votre site qu’ils peuvent télécharger. Choisissez les user-agents du groupe principal, listez les chemins à interdire et les exceptions autorisées, ajoutez si besoin un crawl-delay et une ou plusieurs URL de sitemap : le fichier se met à jour au fil de la saisie.

Les préréglages couvrent les cas courants en un clic : Tout autoriser, Tout bloquer (pratique pour un site de préproduction) et une base pour WordPress. Un réglage distinct bloque les robots d’IA soit pour l’entraînement uniquement, soit entièrement, y compris la recherche IA et les agents des assistants, et vous pouvez bloquer par son nom n’importe quel autre robot, comme les robots SEO. Les chemins, les user-agents et les URL de sitemap sont vérifiés : une barre oblique initiale oubliée ou un sitemap relatif est signalé au lieu de produire en silence un fichier défectueux.

Mode d’emploi

1. Partez d’un préréglage ou gardez la valeur par défaut, qui autorise tout.
2. Dans Chemins interdits, listez les dossiers ou motifs à tenir à l’écart des robots, séparés par des virgules, par exemple /admin/, /cart/, /*?sort=. Utilisez Chemins autorisés pour les exceptions à l’intérieur.
3. Ajoutez l’URL de votre sitemap pour que les moteurs la trouvent sans soumission séparée.
4. Choisissez le traitement des robots d’IA et ajoutez d’autres robots à bloquer.
5. Téléchargez le fichier sous le nom robots.txt et placez-le à la racine du domaine, pour qu’il soit servi à https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.

Exemple

Interdire /admin/ avec une exception pour /admin/public/, ajouter un sitemap et bloquer les robots d’entraînement d’IA donne :

# All crawlers
User-agent: *
Disallow: /admin/
Allow: /admin/public/

# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

(Le groupe IA est abrégé ici ; l’outil liste tous les robots.) Plusieurs lignes User-agent suivies de règles forment un groupe qui s’applique à chacun d’eux, et un robot ne suit que le groupe le plus spécifique qui le nomme.

Conseils

• * correspond à n’importe quelle suite de caractères et $ ancre la fin de l’URL : /*.pdf$ bloque donc tous les PDF.
• Quand Allow et Disallow correspondent tous deux, Google applique la règle la plus longue (la plus spécifique).
• Ne bloquez pas les CSS et JavaScript nécessaires à l’affichage des pages, sinon les moteurs risquent de mal les évaluer.
• Testez vos modifications avec le rapport robots.txt de Google Search Console avant de vous y fier.