Google Gemini、Vertex AIクローラーボットをブロックする

Last Updated:2024年04月15日| , | コメントを残す

チャットGPT、Googleジェミナイなど、ジェネリックAIが自分のブログコンテンツにアクセスできないように、関連するボットをrobots.txtでブロックできます。

ChatGPTボットをブロックする方法については、このブログで取り上げたことがあります。 GoogleのGemini、Vertext AIなども自分のサイトにアクセスできないようにブロックできます。

Google Gemini、Vertex AIクローラーボットをブロックする

チャットGPTのGPTBotをブロックする方法は、次の記事で確認できます。

2023年9月、グーグルはジェミナイ(旧名称バード、バード)と 頂点AIサイトのコンテンツへのアクセスを制御できる新しい「独立した製品トークン」であるGoogle-Extendedを発表しました。

今日、Webパブリッシャーが運営するサイトがBardとVertext AI生成型API(これらの製品に基づく将来生成型モデルを含む)の改善に役立つかどうかを管理できるようにする新しいGoogle-Extendedを発表します。サイトのコンテンツへのアクセス(アクセス)を制御するGoogle-Extendedを使用すると、ウェブサイト管理者は、これらのAIモデルが時間の経過とともにより正確で機能をさらに向上させるのに役立つかどうかを選択できます。

出典:Googleブログ記事 An update on web publisher controls

Google-Extendedを完全にブロックするには、robots.txtファイルに次の行を追加します。

User-agent: Google-Extended
Disallow: /

上記のコードの有用性について議論があるようです。上記のコードを追加すると、Googleトラフィックに悪影響を及ぼすという意見もあります(参照).

上記のコードを追加する代わりに、GPTボットをブロックする次のコードのみを追加することも検討できます。

User-agent: GPTBot
Disallow: /

robots.txtファイルを変更するには、FTPにアクセスできる必要があります。

WordPressを使用している場合、 ランクMath SEO などのSEOプラグインでrobots.txtファイルを編集することもできます。

WordPress robots.txtファイルを編集する

Webサーバーにrobots.txtファイルをアップロードすると、次の図に示すように「robots.txtファイルを書き込めません」という警告が表示され、robots.txtファイルを編集できなくなります。

Google Gemini、Vertex AIクローラーボットをブロックする2

(Rank Math SEOでは.htaccessファイルも編集可能です。)

この場合、FTPにアクセスしてrobots.txtファイルを直接編集できます。

また、 WP Robots Txtなどのプラグインを使用してFTPに接続せずにrobots.txtファイルを WordPress 通知板で修正することも可能です。しかし、この機能のためにプラグインをあえてインストールする必要はないようです。

ちなみに、ティーストーリーブログの場合、ユーザーはrobots.txtファイルにアクセスできないため、変更することはできません。ティーストーリーサイトのrobots.txtファイルを確認するには、ティーストーリー-サイト-アドレス/robots.txtにアクセスします。現在、Tistory robots.txtファイルは次の項目で構成されています。

User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search

User-agent: bingbot
Crawl-delay: 20

参照


コメントを残す

コメント

割引ニュース
DiviレイアウトAI発売記念割引!
AIで画像、テキスト、コーディング、フルページレイアウトを生成可能
ベストセラー WordPress テーマDivi
0
仕事
0
시간
0
0
期間限定
You This Coupon Code in Checkout
Click the code to Copy