PerplexityBot と Perplexity-User は異なるものです。
Perplexity 側では、PerplexityBot と Perplexity-User を別々に扱っています。PerplexityBot は検索インデックスの構築とウェブサイトへのリンクの表示に用いられ、基礎モデルのトレーニングには使用されません。一方、Perplexity-User は、ユーザーからの質問に応じて、そのページをリアルタイムで取得します。PerplexityBot は robots.txt に準拠しますが、Perplexity-User はユーザーからのリクエストであるため、公式サイトでは、通常 robots.txt の制御を受けないことが説明されています。また、ウェブサイトが WAF (Web Application Firewall) を使用している場合、公式サイトで公開されている user agent と IP 範囲の両方を照合し、単に名前だけでアクセスを許可してしまうことによる偽造されたスクレイピングを防ぐ必要があります。
| User agent | 用途 | 観覧者への注意 |
|---|---|---|
| PerplexityBot | 検索インデックスを作成し、検索結果にリンクを表示する。 | robots.txt でのクロール許可、WAF で公式 IP の検証 |
| Perplexity-User | ユーザーからの問題に関するページへのアクセス | インデックスとウェブサイトのコンテンツを別々に管理し、ウェブサイトのセキュリティポリシーに基づいて、アクセスを制御します。 |