robots.txtファイルには、検索エンジンのボットがアクセスできるWebページとアクセスできないWebページの手順が含まれています。このファイルはGoogle、 Naver などの検索エンジンのWebクローラーと最も密接な関連があります。
Cafe24を使用する WordPress サイトについて Naver サーチアドバイザーでrobots.txtエラーが発生した場合、Cafe2がデフォルトでインストールするNinjaFirewall（WP Edition）セキュリティプラグインが原因である可能性があります。
WordPressでrobots.txtエラーが発生した場合
robots.txtファイルはいくつかの方法で生成できます。
- robotst.txtファイルを作成して WordPressがインストールされているルートディレクトリにアップロードするか、
- Rank Math SEOなどのSEOプラグインを使用している場合は、SEOプラグインからrobots.txtファイルが自動的に生成されます。
- WP Robots Txtのようなプラグインを使用することができます。
私はrobots.txtファイルを直接作成してサーバーにアップロードしました。 Rank Math SEOプラグインを使用している場合は、robots.txtファイルを作成しなくてもプラグインによって自動的に生成されます。
ランクマットが設置されている場合 Rank Math SEO » 一般設定 » Robots.txt 編集でrobots.txtファイルを編集できます。
デフォルトでは、robots.txtファイルには次の内容が含まれています。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlrobots.txtファイルに直接書き込む内容を追加して編集できます。 robots.txtファイルを使用すると、特定のURLがインデックスされないようにブロックしたり、チャットGPTボットなどの不要なボットへのアクセスをブロックしたりできます。
robots.txtファイルが無効な場合、Googleの "robots.txtが無効です「ドキュメントを参照してエラーを解決できます。
検索エンジンがrobots.txtファイルにアクセスできない場合
検索エンジンがrobots.txtファイルにアクセスできないなどのエラーが発生した場合、Webファイアウォールまたはセキュリティプラグインが問題の原因である可能性があります。
Naver サーチアドバイザーの シンプルチェック セクションで robots.txtの 項目について」Naver 検索ロボットがサイトにアクセスして情報を収集できます「診断結果を表示する必要があります。
Cafe24の マネージド WordPress ホスティングご利用の場合、収益化に有利なテーマとプラグインが自動的にインストールされる場合があります。 GeneratePress テーマがデフォルトでインストールされ、Disable XML-RPC-API、EWWW Image Optimizer、Head & Footer Codeなどを含むさまざまなプラグインがインストールされます。
NinjaFirewallプラグもインストールされますが、このプラグインが最近更新され、robots.txtファイルが Naver サーチアドバイザーでブロックされる問題が発生し、サイトが遅くなる現象が発生すると Naver カフェを介して教えてくれました。
robots.txtファイルに問題がある場合は、セキュリティプラグイン（ファイアウォールプラグイン）を無効にして問題が解決するかどうかを確認してください。
NinjaFirewallプラグインこの問題が発生した場合は、Wordfenceなどの他のセキュリティプラグインに置き換えることを検討してください。
また、 Cafe24から robots.txt?ckattempt=1, robots.txt?ckattempt=2 などのエラーが発生した場合 Cafe24のWebファイアウォールが原因である可能性があります。 Cafe24のWebファイアウォールとスパムシールドを無効にした後に問題が再発していることを確認してください。
クラウドウェイズでサイトマップ、robots.txtファイルなどがキャッシュされないように例外を設定する
WordPress サイトが クラウドウェイズでホストされている場合は、アプリケーション管理ページでVarnish例外設定を行い、サイトマップ（sitemap.xmlまたはsitemap_index.xml）、ads.txt、robots.txt、フィードなどがキャッシュされないように例外設定を行うことができます。
サイトマップが更新されない場合でも、このアクションを実行して問題を解決できます。 Breeze Cacheプラグインを使用している場合は、Breeze内で特定のURLがキャッシュされないように設定することもできます。私はBreeze内で設定し、クラウドウェイズのアプリケーション設定でも例外設定をしました。
詳しくは、「クラウドウェイで AdSense ads.txtファイルが見つからない問題が発生した場合「Varnish設定で例外を設定する」のセクションを参照してください。
WP Rocketなどの他のキャッシュプラグインを使用している場合は、そのキャッシュプラグインでキャッシュ除外設定を行うことができます。
複数のアクションでrobots.txtの問題が解決しない場合は、ウェブホスティング会社に連絡して問題を相談してください。サーバーのファイアウォールなどによって robots.txt アクセスがブロックされる場合があります。
コメントを残す