公式文書で確認できる3種類の爬虫類
OpenAIは、異なる用途を持つ3種類のユーザーエージェントを公開しています。運営側は、これらを個別に制御できます。; OAI-SearchBot:ウェブサイトをChatGPTの検索結果に表示させるためのインデックス作成に使用します。; ChatGPT-User:ユーザーが対話中にウェブページの読み取りを要求する際に使用されます。; GPTBot:モデルの学習に使用するデータの収集に使用されます。 これらのエージェントは、robots.txtで個別に制御できます。GPTBotをブロックしても、ChatGPTの検索結果からウェブサイトが表示されなくなるわけではありません。検索結果に表示させたいウェブサイトは、少なくともOAI-SearchBotへのアクセスを許可する必要があります。
| User agent | 用途 | ChatGPT で引用元を検索したい場合 |
|---|---|---|
| OAI-SearchBot | 検索インデックスの作成と、関連リンクの表示 | 必ず実行 |
| ChatGPT-User | ユーザーがページを読み取ることを要求した場合、その要求を即座に処理する。 | 推奨は、この件を保留することです。 |
| GPTBot | モデルの学習に必要なデータ収集 | 利用コンテンツの利用許諾ポリシーに基づいて、ご自身で決定してください。 |