官方文件能确认的三个爬虫
OpenAI 公开了三个用途不同的 user agent,站方可以分开控制:OAI-SearchBot 用来建立搜索索引、让网站出现在 ChatGPT 搜索结果的连结中;ChatGPT-User 是使用者在对话中要求读取网页时的即时代理;GPTBot 则用于模型训练资料的收集。三者在 robots.txt 各自独立——封了 GPTBot 不等于退出 ChatGPT 搜索,想要搜索能见度的网站至少要放行 OAI-SearchBot。
| User agent | 用途 | 想被 ChatGPT 搜索引用时 |
|---|---|---|
| OAI-SearchBot | 建立搜索索引与呈现连结 | 必须放行 |
| ChatGPT-User | 使用者要求时即时读取页面 | 建议放行 |
| GPTBot | 收集模型训练资料 | 依内容授权政策自行决定 |