Googleのウェブマスターツールでrobots.txtファイルを検出することができない問題

0

数日前から、Googleウェブマスターツールでrobots.txtファイルを正しく検出できない問題が発生することを発見した。

問題の発端は、いくつかのブログでブロックされたリソースが多い文を見て、Googleウェブマスターツールで ブロックされたリソースレポートを確認して修正した後に発生しました。

現在、このブログで259ページにブロックされたリソースがあると表示されます。

詳しくみると、問題の原因は、robots.txtファイルに追加して、次の行のためでした。

Disallow: /wp-content/plugins/

特定のプラグイン(例えば、bbPress)フォルダ内のリソースが正しくロードされず、Googleでブロックされたリソースがあるページとして認識しました。

だからrobots.txtファイルを変更した後、再提出した。 しかし、この時から、Googleでrobots.txtファイルを正しく認識できず、特に新たに上がってきた文が時間にGoogleでクロールされていない問題まで重なりました。

robots.txtファイルは、Googleウェブマスターツールで クロール> robots.txtテスターをクリックしてテストすることができます。 私はHTTP 403エラーが発生しました。

この問題を検出してみるとサーバーでGoogleのボットをブロックすることと関連したように見えました。 しかし、このブログがホスティングされている BluehostでGoogleのボットをブロックしていないので、プラグインが疑わなりました。

現在、このブログに iThemesセキュリティという WordPressセキュリティプラグインがインストールされています。 このプラグインは、ログインを一定回数以上しようとするIPアドレスをブロックする機能があります。

Banned Users 機能を無効にした後、 robots.txtテスターを実行してみるとrobots.txtを正常に検出しますね。(笑)

このような問題は、珍しいことだがもしかしたら、このような問題が発生した場合、まず、Webホスティング会社と相談してみは、Webホスティングサーバーに問題がない場合は、セキュリティプラグインを無効にした後、問題が解決するかをテストしてみてください。

メモ:

*いくつかの文にアフィリエイトのリンクを含めることができます。この投稿はGTranslateを使用して翻訳されています。

関連記事