チャットGPTで有名なOpenAIは最近、新しいWebクローラーGPTBotを公開しました。 OpenAIはGPTボットを使用してWebをクロールし、そのAI機能（ChatGPTなど）に知識を習得し、質問（またはプロンプト）に対するAI生成回答を提供します。
GPTボットが自分のサイトをクロールできないようにしたい場合は、robots.txtファイルにGPTBotをブロックするコードを追加して、GPTボットが自分のサイトにアクセスできないようにブロックできます。
オープンAIウェブクローラー「GPTボット」をブロックする
ユーザーエージェント
GPTBotのユーザーエージェントトークンは「GPTBot」です。 完全なユーザーエージェント文字列は「Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)」です。
Robots.txtでGPTBotをブロックする
robots.txt を使用すると、GPTBot が自分のサイトの全部または一部へのアクセスをブロックできます。 私のサイトのrobots.txtにGPTBotがアクセスできないようにしたい場合は、次のコードを使用できます。
User-agent: GPTBot
Disallow: /GPTBotがサイトの一部にのみアクセスできるようにする場合は、次のGPTBotトークンをサイトのrobots.txtファイルに追加できます。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/robots.txtファイルの詳細については、次の記事を参照してください。
GPTBotの詳細については GPTBotドキュメント（英語）を参照できます。
GPTボットが使用するIPアドレス
OpenAIも GPTボットが使用するIP範囲を発表しました。 時間が経つにつれて、IPアドレスが追加されるようです。 2023年8月11日現在のIP範囲：
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28Google Gemini Botをブロックする
GoogleのGemini、Vertex AIが自分のサイトにアクセスできないようにしたい場合は、Google-Extendedをブロックするようにrobots.txtファイルにコードを追加できます。
最後に、
OpenAIがコンテンツを何らかの形で使用したくない場合は、GPTボットがサイトをクロールすることを禁止できます。 上記の方法は、GoogleBot（GoogleBot）、BingBot（BingBot）、または他のWebクローラをブロックするために使用するのと同じ方法です。
GPTボット WordPress サイトにアクセスするかどうかはわかりませんが、私はrobots.txtファイルにGPTボットをブロックするコードを追加しました。
コメントを残す