Robots.txt et robots des IA : le fichier à copier.

Trois familles de robots, trois décisions

Les éditeurs d’IA séparent leurs robots selon ce qu’ils font de vos pages. Les robots de recherche indexent votre site pour le citer dans les réponses : ce sont eux qui comptent pour être recommandé. Les robots d’entraînement collectent des textes pour les futurs modèles : les bloquer ne vous retire d’aucune réponse. Les robots à la demande ouvrent une page parce qu’un utilisateur l’a demandé dans une conversation ; plusieurs éditeurs préviennent que le robots.txt peut alors ne pas s’appliquer. C’est en mélangeant ces trois familles que l’on se rend invisible. Pour la vue d’ensemble sur la façon d’apparaître dans ChatGPT, voyez notre guide pour être référencé sur ChatGPT.

Le cas de Google mérite une ligne de plus. Google-Extended n’est pas un robot à part : c’est un mot-clé qui règle l’usage des pages déjà lues par les robots de Google. D’après sa documentation, il couvre l’entraînement des modèles Gemini, mais aussi l’ancrage des réponses de l’application Gemini dans l’index de Google. Le bloquer peut donc vous retirer des réponses de l’application Gemini, sans rien changer à Google Search. Les Aperçus IA et le mode IA de la recherche Google, eux, dépendent de Googlebot : pour en sortir, Google prévoit d’autres réglages, abordés dans notre article sur les Aperçus IA de Google.

Le fichier robots.txt à copier

Pour une entreprise qui veut être recommandée par les IA, le réglage le plus courant est simple : laisser passer tous les robots de recherche et à la demande, refuser les robots d’entraînement si vous ne voulez pas que vos textes nourrissent les modèles. Voici le fichier correspondant. Remplacez l’adresse du sitemap par la vôtre, et gardez au-dessus ou en dessous les règles que votre site contient déjà.

# Recherche : laisser passer, pour être cité dans les réponses
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# Entraînement des modèles : refuser
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Tous les autres robots, dont Googlebot : comme d’habitude
User-agent: *
Allow: /

Sitemap: https://www.votre-site.fr/sitemap.xml

Ce fichier ne mentionne pas Google-Extended exprès : le bloquer refuserait l’entraînement de Gemini, mais vous retirerait aussi des réponses ancrées de l’application Gemini. Si l’entraînement vous gêne plus que cette présence, ajoutez un groupe « User-agent: Google-Extended » suivi de « Disallow: / ». À l’inverse, si vous acceptez que vos textes servent à l’entraînement, supprimez simplement les deux groupes de la partie « Entraînement » : tout est alors autorisé.

Les erreurs qui rendent un site invisible

• La règle universelle : « User-agent: * » suivi de « Disallow: / » interdit tout à tous les robots qui n’ont pas leur propre groupe, robots des IA compris. Elle traîne souvent sur des sites passés par une préproduction.
• Un blocage hors du robots.txt : un pare-feu ou une protection anti-robots peut refuser les robots des IA même si le robots.txt les autorise. Perplexity prévient par exemple que le mode Bot Fight de Cloudflare ne se contourne pas avec des règles personnalisées. Vérifiez les réglages de votre hébergeur et de votre CDN.
• Le blocage par adresse IP : Anthropic le déconseille, car il empêche aussi ses robots de lire votre robots.txt. Les éditeurs publient leurs plages d’adresses, mais le robots.txt reste le bon outil.
• Un sous-domaine oublié : le robots.txt vaut pour un seul domaine. Un blog sur blog.votre-site.fr a besoin du sien, comme le rappelle Anthropic.
• Un texte affiché en JavaScript : un robot autorisé ne voit pas ce qu’il ne peut pas lire. Le test se fait dans le code source de la page, comme expliqué dans pourquoi ChatGPT ne recommande pas mon entreprise.

Vérifier que vos réglages sont pris en compte

Ouvrez votre-site.fr/robots.txt dans un navigateur : c’est le fichier que lisent les robots, quel que soit l’outil qui l’a produit. Relisez chaque groupe en partant du haut. OpenAI et Perplexity indiquent tous deux qu’un changement met jusqu’à 24 heures à être pris en compte. Ensuite, les journaux de votre hébergeur montrent les passages de chaque robot par son nom : un robot de recherche qui ne passe plus depuis votre modification est le signe d’une règle trop large. Enfin, posez à ChatGPT, Perplexity et Claude les questions de vos clients, quelques jours plus tard, pour voir si vos pages réapparaissent dans les sources.