官方文件能確認的三個爬蟲
OpenAI 公開了三個用途不同的 user agent,站方可以分開控制:OAI-SearchBot 用來建立搜尋索引、讓網站出現在 ChatGPT 搜尋結果的連結中;ChatGPT-User 是使用者在對話中要求讀取網頁時的即時代理;GPTBot 則用於模型訓練資料的收集。三者在 robots.txt 各自獨立——封了 GPTBot 不等於退出 ChatGPT 搜尋,想要搜尋能見度的網站至少要放行 OAI-SearchBot。
| User agent | 用途 | 想被 ChatGPT 搜尋引用時 |
|---|---|---|
| OAI-SearchBot | 建立搜尋索引與呈現連結 | 必須放行 |
| ChatGPT-User | 使用者要求時即時讀取頁面 | 建議放行 |
| GPTBot | 收集模型訓練資料 | 依內容授權政策自行決定 |