Il est préférable de distinguer d'abord les trois utilisations possibles, puis de discuter de la question de l'ouverture ou de la fermeture.
La première catégorie est celle des bots d'entraînement : ils collectent du contenu pour l'entraînement des modèles, comme GPTBot ou ClaudeBot. Leur fonction est de bloquer l'accès à du contenu qui ne devrait pas être utilisé pour l'entraînement futur, mais ils ne peuvent pas empêcher l'utilisation de données déjà utilisées ou la réutilisation par des tiers. La deuxième catégorie est celle des bots d'indexation de recherche : ils établissent des index et des liens vers des sources pour la recherche par IA, comme OAI-SearchBot ou PerplexityBot. Bloquer ces bots équivaut à empêcher l'accès à ces sources via la plateforme. La troisième catégorie est celle des bots d'agents utilisateurs : ils permettent aux utilisateurs d'accéder à des URL spécifiques en temps réel, comme ChatGPT-User ou Perplexity-User. Selon la documentation officielle de Perplexity, ces demandes sont considérées comme des actions de l'utilisateur et ne sont généralement pas soumises aux restrictions de robots.txt. Il existe également deux exceptions : Google-Extended et Applebot-Extended ne sont pas des robots indépendants, mais plutôt des codes de contrôle dans le fichier robots.txt, qui permettent de contrôler l'utilisation du contenu pour l'entraînement de Gemini et de modèles d'Apple respectivement. En réalité, Googlebot et Applebot sont ceux qui effectuent les extractions.
Principaux outils de scraping d'IA
En se basant sur les documents officiels de chaque plateforme (en utilisant les définitions fournies par les documents officiels, qui peuvent être modifiées en fonction des politiques de la plateforme) :
Principales implications des robots et des outils de blocage d'IA| Nom | Appartenance | Catégorie | Les principales conséquences des mesures de confinement : |
|---|
| GPTBot | OpenAI | Formation | Ce contenu ne doit pas être utilisé pour l'entraînement des modèles ; il n'affecte pas les résultats de recherche de ChatGPT. |
| OAI-SearchBot | OpenAI | Index de recherche | Supprimer les liens vers les sources utilisées par ChatGPT lors de la recherche. |
| ChatGPT-User | OpenAI | En-tête User-Agent | L'utilisateur a été refusé lors de la tentative de lecture. |
| ClaudeBot | Anthropic | Formation | Ce contenu ne doit pas être utilisé pour entraîner Claude. |
| PerplexityBot | Perplexity | Index de recherche | Identifier les sources de perplexité |
| Google-Extended | Google | Code de contrôle de l'entraînement | Ne pas utiliser pour l'entraînement de Gemini ; n'affecte pas la recherche Google ni la vue d'ensemble de l'IA. |
| Applebot-Extended | Apple | Code de contrôle de l'entraînement | Ne pas utiliser pour l'entraînement des modèles Apple. |
| Amazonbot | Amazon | Index / Assistant | L'utilisation de services tels qu'Alexa est soumise à certaines restrictions. |
| CCBot | Common Crawl | Ensemble de données publiques | Quitter Common Crawl (source de données utilisée pour l'entraînement de nombreux modèles) |
Cadre de décision : identifier le modèle économique sous-jacent du contenu.
L'axe de jugement est : « Qu'obtenez-vous et que perdez-vous lorsque le contenu est lu par l'IA ? » Le contenu de marketing (descriptions de services, études de cas, articles) a pour objectif d'être facilement accessible, avec un risque de référencement faible et une approche "utilisateur-centrée". Les contenus de formation sont axés sur la position de la marque. Les contenus payants et les bases de données originales sont considérés comme des produits en soi. Le blocage des contenus de formation est une précaution raisonnable, tandis que pour les contenus de recherche, il faut évaluer si la valeur de redirection est supérieure à la divulgation du contenu. Médias et publications : les négociations de licence sont essentielles. Le blocage est souvent un élément de négociation. Principes communs : il s'agit de décisions politiques réversibles, et non de décisions techniques ponctuelles. Il faut d'abord choisir une position, puis la revoir chaque trimestre.
Les choix proposés sur ce site sont basés sur une approche de transparence totale, pour les raisons suivantes :
Le fichier robots.txt de ce site est ouvert à GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended et Amazonbot. La raison est simple : nous sommes une plateforme de services B2B, et notre objectif principal est de permettre aux clients potentiels de nous trouver et d'évaluer notre crédibilité. Les plateformes d'IA utilisent notre contenu pour répondre aux questions des utilisateurs, ce qui est bénéfique pour nous, et non une perte. De plus, il est important de préciser que les pages que nous souhaitons ne pas être indexées (comme les brouillons ou les pages personnelles) sont contrôlées via la directive "noindex" au niveau de la page, et non via le fichier robots.txt. Les différences entre ces deux mécanismes sont expliquées dans la section suivante.
Détails pratiques et erreurs courantes
Première erreur courante : considérer le fichier `robots.txt` comme un outil de confidentialité. Le fichier `robots.txt` ne bloque que les robots respectant les règles, et non l'accès aux contenus. Pour protéger les informations sensibles, il est nécessaire d'utiliser des mécanismes d'authentification et de contrôle d'accès. Deuxième erreur : confondre le blocage des robots et l'indexation. Le fichier `robots.txt` bloque les robots ; pour éviter d'être indexé, il faut utiliser l'attribut `noindex`. Cependant, les pages bloquées par le fichier `robots.txt` ne sont même pas accessibles par Google, ce qui empêche également la lecture de l'attribut `noindex`. Troisième erreur : bloquer la mauvaise cible. Bloquer Google-Extended n'affecte pas les résultats de recherche, mais bloquer Googlebot peut entraîner sa suppression des résultats de recherche. Il est donc nécessaire de vérifier à la fois le fichier `robots.txt` et les rapports Google Search Console (GSC). Quatrième erreur : blocage incorrect par un pare-feu. Les règles du pare-feu peuvent bloquer les robots tout en autorisant leur accès, ce qui nécessite de vérifier l'accès réel à l'aide des journaux du serveur et des listes d'adresses IP officielles.
