WordPressをインストールすると、robots.txtファイルが動的に生成されます。 robots.txtファイルの内容を変更したい場合は、FTPにアクセスしてrobots.txtファイルを手動で作成できます。別の方法として、Yoast SEO、Rank MathなどのSEOプラグインが提供するrobots.txt編集機能を使用したり、Virtual Robots.txtやWP Robots Txtなどのrobots.txt専用プラグインをインストールすることもできます。
robots.txtファイルとは何ですか？
robots.txtの ファイルはウェブサイトのルートディレクトリにあるテキストファイルで、検索エンジンクローラなどの自動化されたボットにサイト内でクロールが許可または制限されるページとディレクトリを指定する役割を果たします。
このファイルはGoogle、Bing、 Naver など、検索エンジンが不要なページをクロールしてサーバーに過負荷を与えるのを防ぎ、重要なページがより効率的にインデックスできるようにクロール領域を管理するSEO戦略の基盤になるため、非常に重要です。
主な機能：
- Webクローラ（検索エンジンボット）がアクセス可能なパスとアクセス不可のパスを指定する
- サーバートラフィックの過負荷を防ぐ（不要なクロール制限）
- 特定のファイル、フォルダ、またはページのクロールを許可/ブロックする
- User-agentによるクロールルールの適用（クローラによるアプローチの制御）
- サイトマップの位置情報などの追加情報を提供
- 画像、動画、リソースファイルなどの検索エンジンインデックスを除外可能
- クロール速度の遅れ（一部のクローラーサポート）とトラフィック管理
参考までに robots.txtファイル内のクロール速度遅延に関連するコードは、最近Googleなどの主要検索エンジンでは正式にサポートされなくなりました。実際にほとんど無視する傾向なので、クロール速度管理は各検索エンジンの管理ツールを活用するのが適しています。
WordPressのデフォルトのrobots.txtファイル
WordPressをインストールすると、デフォルトで次のようなrobots.txtファイルが動的に生成されます。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml各行の意味は次のとおりです。
1. User-agent: *
- 意味：すべての検索エンジンクローラー（GoogleBot、BingBotなど）を対象に以下のルールを適用することを意味します。
- *はワイルドカードで、特定のボット名ではなくすべてのボットに対応します。
2. Disallow: /wp-admin/
- 意味: クローラが /wp-admin/ ディレクトリ(WordPress 管理者ページ領域）を閲覧したり索引付けしたりしないようにブロックします。
- 理由：管理者領域は検索エンジンにさらされる必要はなく、セキュリティで保護するのが一般的です。
3. Allow: /wp-admin/admin-ajax.php
- 意味：/wp-admin/はブロックしましたが、その中のadmin-ajax.phpファイルはクローラがアクセスできるようにします。
- 理由： WordPressadmin-ajax.phpは、一部の機能（動的コンテンツのロード、非同期要求など）に不可欠であるため、検索エンジンがアクセス可能である限り、サイトの機能を正常に認識できます。
4. Sitemap: https://example.com/wp-sitemap.xml
- 意味：サイトマップファイルの場所を検索エンジンに伝えます。
- サイトマップは、クローラがサイトのページ構造を理解し、より効率的にインデックスを作成できるようにします。
この robots.txt 設定は WordPress 管理領域はブロックしながら、必要なAJAXファイルのみを許可し、検索エンジンがサイトマップを通じて効率的にページをインデックスできるようにする標準的な構成です。
ちなみに、私はGPTボットをブロックし、しばらく前にすべてのGPTボットを許可するようにディレクティブを追加しました。チャットGPTを含むAIがサイトにアクセスできるようにしたい場合は、次のコードをrobots.txtファイルに追加できます。
# GPT 및 AI 크롤러 허용
User-agent: GPTBot
Allow: /
User-agent: CCBot
Allow: /
User-agent: AnthropicBot
Allow: /
User-agent: Google-Extended
Allow: /まれですが、GPT検索でユーザーが流入することもあります。
GPTボットが自分のサイトのコンテンツをクロールしないようにディレクティブを追加しても、一部のAIはrobots.txtファイルの指示を無視し、無差別にコンテンツをドラッグして問題になりました。
WordPressで robots.txt ファイルを編集する
robots.txt ファイルを編集する場合は、いくつかの方法で robots.txt ファイルを作成して内容を変更できます。
rootディレクトリにrobots.txtファイルをアップロードする
robots.txtファイルを作成してサイトのルートフォルダにアップロードできます。最も一般的な方法と言えます。
FTPに接続してrobots.txtファイルを作成/アップロードする
FTP / SFTPにアクセスして、ルートディレクトリにrobots.txtファイルを作成したり、コンピュータから事前に作成したrobots.txtファイルをアップロードしたりできます。
FTP/SFTPに接続するには、FTP/SFTPログイン情報が必要です。 Webホスティングに応じて適切な方法でFTPに接続してください。
Cafe24を利用する場合は、FTP情報を入力してFTPに接続し、wwwフォルダに移動してルートディレクトリに移動できます。 （ニューマネージド WordPress ホスティングではFTPに接続するとすぐにwwwフォルダに移動するようです。）
FTP情報がわからない場合は、Webホスティング会社に連絡してヘルプを入手できます。
FileZillaクライアントを使用している場合は、FTPサーバーにアクセスしてルートフォルダに移動し、右クリックしてコンテキストメニューを表示します。コンテキストメニューから 新しいファイルを作成するをクリックしてファイルを作成できます。
ファイル名を robots.txt と指定すると、ファイルが生成されます。
robots.txtファイルをクリックして右クリックし、 表示/編集を選択すると、ファイルを編集できます。
別の方法で、コンピュータからrobots.txtファイルを事前に作成してアップロードすることもできます。
File Managerプラグインを使用する
FTPに接続できない場合 WordPress [管理]ページでサーバーにアクセスできるようにFile Managerプラグインを使用できます。
この方法は個人的には推奨されませんが、FTPという用語に乗り物酔いを感じる場合は考慮できます。詳しくは、次の記事を参照してください。
いくつかのファイルマネージャプラグインがあります。お気に入りのものを選択してインストールしてみてください。
プラグインを使用してRobots.txtファイルを編集する
WordPressYoast SEO、Rank MathなどのSEOプラグインを無料または有料で使用できます。 Yoast SEOの場合 WordPressには無料版がありますが、Shoppy Piでは有料のバーボンのみが提供されます。 Shopify 向け Yoast SEOは月19ドル（VATを除く）です。😄
Rank Math、Yoast SEOなどのSEOプラグインを使用すると、より細かいSEO設定が可能です。特にSEOプラグインを使用すると、SEOの書き込みに役立つヒントを提供することができます。
Yoast SEOまたはRank Mathを使用すると、robots.txtファイル編集機能が提供されます。
Yoast SEOプラグインからrobots.txtファイルを生成する
Yoast SEOがインストールされている場合 Yoast SEO » ツール » ファイルエディタをクリックすると、 robots.txtの セクションで robots.txtファイルを作成する ボタンを押してrobots.txtファイルを作成できます。このツールでは、.htaccessファイルの編集も可能です。
Rank MathプラグインのRobots.txtファイル編集機能を使用する
Rank Mathは無料版でYoast SEOのいくつかの有料機能を提供しているので、無料版でもより洗練されたSEOプラグインをしたい場合はまともな選択かもしれません。
ランクマットSEOを使用する場合 Rank Math SEO » 一般設定 » Robots.txt 編集でrobots.txtファイルを編集できます。
「robots.txtファイルを書き込めません」と「Robots.txtファイルがルートフォルダにあるためコンテンツがロックされています」というエラーメッセージが表示された場合、rootディレクトリにrobots.txtファイルが既に存在します。
この場合...
- FTPに接続してrobots.txtファイルを直接編集するか、
- サーバーに存在するrobost.xtファイルを削除し、Rank Math内でロボットファイルを編集します。
仮想Robots.txtプラグインの使用
他の方法で WP Robots Txtなどの仮想Robots.txtファイルプラグインを使用できます。 SEOプラグインがインストールされておらず、FTPにアクセスできない、または接続するのが難しい場合は、このプラグインを使用できます。
Robots.txtファイルのトラブルシューティング
robots.txtファイルを上記の方法で作成しましたが、検索エンジンで正しく認識されない、または接続できない問題が発生することがあります。
キャッシュプラグインがインストールされている場合は、サイトマップ、robots.txtファイルなどに対してキャッシュ除外要求を行うことをお勧めします。グーグルによくさらされてキャッシュの問題のために流入が急減するケースも時々発生します。
クラウドウェイズまたはLiteSpeed Cache、WP Rocketなどのキャッシュプラグインを使用する場合は、次の記事を参照してキャッシュ除外設定を試してください。
ケミクラウドをご利用の場合は、次の記事を参考にサイトマップやフィード URL、robots.txt ファイルなどに対してキャッシュ除外設定をしてください。
WordPress サイトにクラウドフレアを適用すると、robots.txtファイルがリダイレクトされる問題が発生する可能性があります。
さらに、キャッシュのためにrobots.txtファイルの内容が更新できない場合は、FTPからrobots.txtファイルを削除してからrobots.txtファイルを再作成すると問題が解決することもあります。
付録: 組織の robots.txt ファイルの問題
ティーストーリーの場合、ロボットファイルへのアクセス権はありません。記事からrobots.txtファイルをアップロードする方法に関する記事が検索されますが、実際には機能しません。全ティストーリーのロボットファイルは次のような内容になっています。
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search
User-agent: bingbot
Crawl-delay: 20Bingbotのcrawl-delayディレクティブはまだ有効ではありませんが、上記の設定はBingbotが一度クロール操作を実行した後、次の要求まで約20秒待機するように指示することで、毎秒約0.05回（1分に3回）程度の非常に遅い速度クロールに該当します。これは、サーバーへの負荷を最小限に抑え、トラフィックを大幅に削減する目的に適した非常に低いクロール頻度です。
Bing Webmasterツールのクロール制御ページからBingBotのクロール速度を制御できます。 （Googleボットのクロール速度制限ツールは2024年1月8日からサポートが中止されました。）
ティーストーリーはGoogle AdSenseのアンカー広告とモバイルフロント広告を禁止しながら AdSense 収益が大幅に減少しました。このため WordPressやブログスポット（グーグルブログ）などに引っ越すユーザーが増えています。
コメントを残す