Google Gemini、Vertex AIクローラーボットをブロックする

チャットGPT、Googleジェミナイなど、ジェネリックAIが自分のブログコンテンツにアクセスできないように、関連するボットをrobots.txtでブロックできます。

ChatGPTボットをブロックする方法については、このブログで取り上げたことがあります。 GoogleのGemini、Vertext AIなども自分のサイトにアクセスできないようにブロックできます。

チャットGPTのGPTBotをブロックする方法は、次の記事で確認できます。

オープンAIウェブクローラー「GPTボット」をブロックする

2023年9月、グーグルはジェミナイ（旧名称バード、バード）と頂点AIサイトのコンテンツへのアクセスを制御できる新しい「独立した製品トークン」であるGoogle-Extendedを発表しました。

今日、Webパブリッシャーが運営するサイトがBardとVertext AI生成型API（これらの製品に基づく将来生成型モデルを含む）の改善に役立つかどうかを管理できるようにする新しいGoogle-Extendedを発表します。サイトのコンテンツへのアクセス（アクセス）を制御するGoogle-Extendedを使用すると、ウェブサイト管理者は、これらのAIモデルが時間の経過とともにより正確で機能をさらに向上させるのに役立つかどうかを選択できます。
出典：Googleブログ記事 An update on web publisher controls

Google-Extendedを完全にブロックするには、robots.txtファイルに次の行を追加します。

User-agent: Google-Extended
Disallow: /

上記のコードの有用性について議論があるようです。上記のコードを追加すると、Googleトラフィックに悪影響を及ぼすという意見もあります（参照).

上記のコードを追加する代わりに、GPTボットをブロックする次のコードのみを追加することも検討できます。

User-agent: GPTBot
Disallow: /

robots.txtファイルを変更するには、FTPにアクセスできる必要があります。

💡FTP/SFTPの使い方

WordPressを使用している場合、ランクMath SEO などのSEOプラグインでrobots.txtファイルを編集することもできます。

Webサーバーにrobots.txtファイルをアップロードすると、次の図に示すように「robots.txtファイルを書き込めません」という警告が表示され、robots.txtファイルを編集できなくなります。

（Rank Math SEOでは.htaccessファイルも編集可能です。）

この場合、FTPにアクセスしてrobots.txtファイルを直接編集できます。

また、 WP Robots Txtなどのプラグインを使用してFTPに接続せずにrobots.txtファイルを WordPress 通知板で修正することも可能です。しかし、この機能のためにプラグインをあえてインストールする必要はないようです。

ちなみに、ティーストーリーブログの場合、ユーザーはrobots.txtファイルにアクセスできないため、変更することはできません。ティーストーリーサイトのrobots.txtファイルを確認するには、ティーストーリー-サイト-アドレス/robots.txtにアクセスします。現在、Tistory robots.txtファイルは次の項目で構成されています。

User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search

User-agent: bingbot
Crawl-delay: 20