まず、それぞれの用途を区別し、その後、開放または制限について議論する。
第一種はトレーニング型：コンテンツを収集し、モデルのトレーニングに使用します（例：GPTBot、ClaudeBot）。これは、「特定のコンテンツが将来のトレーニングデータに含まれないようにする」という意味ですが、過去に行われたトレーニングや、第三者の再利用については制御できません。 第二種は検索インデックス型：AIによる検索のためのインデックスとソースへのリンクを構築します（例：OAI-SearchBot、PerplexityBot）。これは、そのプラットフォームでの検索結果が見えない状態にするという意味です。 第三種はユーザーエージェント型：ユーザーが対話中に特定のURLの読み取りを要求した場合の即時取得（例：ChatGPT-User、Perplexity-User）。Perplexityの公式説明によると、この種の要求はユーザーの行動であり、robots.txtによる制御は通常適用されません。ただし、サーバー側での制御のみが可能です。 さらに、Google-ExtendedとApplebot-Extendedは、独立したスクレイピングではなく、robots.txt内の制御代号であり、それぞれGeminiのトレーニングに使用できるコンテンツの制御と、Appleのモデルトレーニングに使用できるコンテンツの制御を行います。実際には、GooglebotとApplebotがコンテンツを取得しています。