Googleのウェブマスターツールでrobots.txtファイルを検出することができない問題

数日前から、Googleウェブマスターツールでrobots.txtファイルを正しく検出できない問題が発生することを発見した。

問題の発端は、いくつかのブログでブロックされたリソースが多い文を見て、Googleウェブマスターツールでブロックされたリソースレポートを確認して修正した後に発生しました。

現在、このブログで259ページにブロックされたリソースがあると表示されます。

詳しくみると、問題の原因は、robots.txtファイルに追加して、次の行のためでした。

Disallow: /wp-content/plugins/

特定のプラグイン（例えば、bbPress）フォルダ内のリソースが正しくロードされず、Googleでブロックされたリソースがあるページとして認識しました。

だからrobots.txtファイルを変更した後、再提出した。しかし、この時から、Googleでrobots.txtファイルを正しく認識できず、特に新たに上がってきた文が時間にGoogleでクロールされていない問題まで重なりました。

robots.txtファイルは、Googleウェブマスターツールで クロール> robots.txtテスターをクリックしてテストすることができます。私はHTTP 403エラーが発生しました。

この問題を検出してみるとサーバーでGoogleのボットをブロックすることと関連したように見えました。しかし、このブログがホスティングされている BluehostでGoogleのボットをブロックしていないので、プラグインが疑わなりました。

現在、このブログに iThemes Securityという WordPressセキュリティプラグインがインストールされています。このプラグインは、ログインを一定回数以上しようとするIPアドレスをブロックする機能があります。

Banned Users 機能を無効にした後、 robots.txtテスターを実行してみるとrobots.txtを正常に検出しますね。（笑）

このような問題は、珍しいことだがもしかしたら、このような問題が発生した場合、まず、Webホスティング会社と相談してみは、Webホスティングサーバーに問題がない場合は、セキュリティプラグインを無効にした後、問題が解決するかをテストしてみてください。

メモ：