Naver カフェ에 WordPress サイトでドメインを変更し、robots.txtファイルを変更しましたが、反映されていない問題について質問があり、この問題について少し詳しく調べました。
robots.txt ファイルの変更が反映されない問題は、デフォルトでキャッシュが原因である可能性があります。キャッシュにはいくつかのキャッシュがあります。各レベルでキャッシュを削除すると、通常は修正が反映されます。ただし、サーバーキャッシュを含むすべてのキャッシュを削除しても問題が解決しないことがあります。
robots.txtファイルの変更が反映されない問題を解決する
robots.txtファイルに問題が発生したサイトはクラウドウェイズでホストされており、WP Rocketキャッシュプラグインがインストールされていました。そして、Sav.comというやや不慣れな企業でドメインが登録されていました。
📍 クラウドウェイズの加入方法(+Cloudways割引クーポン&プロモーションコード)
キャッシュプラグインでrobots.txtファイルをキャッシュしないように設定する
WP Rocketプラグインでrobots.txtファイルをキャッシュしないように設定できます。
設定 » WP Rocket » Advanced Rulesに移動し、 URLをキャッシュしないに下図のように入力します。
ちなみにCloudwaysを利用する場合は、独自のキャッシュプラグインであるBreezeを使用しても十分です。私はBreezeだけを使って設定しました。 Breezeプラグインを使用している場合でも、同様の方法でrobots.txtファイルがキャッシュされないように設定できます。
設定 » Breeze » Advanced Optionsに移動し、 URLをキャッシュしないに以下のように入力します。
robots.txtファイルだけでなく、ads.txtファイル、サイトマップファイル、フィードURLなどを追加することをお勧めします。
サーバーレベルでキャッシュされないように設定する
クラウドウェイズを使用している場合は、個々のアプリケーションでVarnish例外設定を追加してキャッシュされないように設定できます。
Application Settings » Varnish Settingsに行き、 Add New Exclusion ボタンを押すと、サーバーキャッシュ例外ルールを追加できます。
上記のように例外ルールを追加できます。
キャッシュをクリア
WordPress サイトにインストールされているキャッシュプラグインからキャッシュを削除して、問題が解決するかどうかを確認します。
WP Rocketを使用する場合は、上部ツールバーの WP Rocket » Clear Cacheを押してキャッシュを削除できます。
Breezeキャッシュプラグインでは、トップツールバーの Breeze » Purge All Cacheを押してすべてのキャッシュを削除できます。
これらのアクションが解決されない場合は、サイト全体のキャッシュを削除してみてください。
上記のアクションでも解決できない場合：Cloudflareの問題
問題のサイトでは、上記のすべてのアクションでも奇妙にrobots.xtの問題が解決されていません。
この問題についてグーグルしながら「Robots.txt not updating「という WordPress フォーラムの記事で問題を解決するためのヒントを得ました。
クラウドフレア(Cloudflare)に参加してドメインを連携して使用する場合は、クラウドフレアキャッシュを削除して問題が解決するかどうかを確認してください。
他にも、以下の事項を追加でチェックできます。
- ファイルパーミッションの問題
- プラグインのクラッシュの問題
Naver カフェに登場したサイトでは、ドメインが登録されているドメイン登録会社のために問題が発生しました。 Sav.comでは、ドメインのネームサーバーをSav.comに指定すると、クラウドフレアに自動的に連動するようになっていました。ユーザーがクラウドフレアに接続してキャッシュを削除または制御できる必要がありますが、それは不可能でした。
結局、ドメイン登録会社 Cafe24 などの国内企業に機関移転した後、問題が解決しました。 （参考に安く.comや.netドメインを登録/機関移転したい場合 ネームチップ 同じ海外企業を利用できます。ドメイン登録/機関移転後、1年後に別の場所に機関移転すると費用を節約できます。）
組織が移行してドメインのIPアドレスを指定すると、クラウドフレアでドメインがロードされなくなるため、robots.txtキャッシュの問題が自動的に解決されたようです。
クラウドフレアCDNを使用すると、トラフィックを節約でき、特にDDoS攻撃に対して効果的に対応できます。
robots.txt ファイルの役割
robots.txt ファイルは、ウェブサイトの検索エンジン最適化 (SEO) に重要な役割を果たします。このファイルは、検索エンジンのクローラーに、ウェブサイトのどの部分をクロールして索引付けする必要があるか、またはどの部分を無視する必要があるかについての指示を提供します。これにより、ウェブサイトの所有者は、サイトが検索結果にどのように表示されるかを特定の部分に制御し、重要なコンテンツにクローラの注意を集中させることができます。
さらに、robots.txtファイルは、ウェブサイトのパフォーマンスとセキュリティの面でも重要な役割を果たします。不要なページや機密情報を含むページのクロールを防ぐことで、サーバーリソース（トラフィック）を節約し、ウェブサイトの読み込み時間を短縮できます。さらに、管理者ページや個人情報などの重要な領域をクローラーから保護することで、ウェブサイトのセキュリティを強化できます。適切に設定されたrobots.txtファイルは、ウェブサイトの可視性、パフォーマンス、およびセキュリティの向上に貢献できます。
robots.txtファイルは通常サーバーにアクセスしてサイトのルートフォルダにアップロードします。
WordPressまた、副SEOプラグインまたはrobots.txt専用プラグインを使用してrobots.txtファイルを制御することもできます。
例えば、 ランクMath SEOを使用している場合、 Rank Math SEO » 一般設定 » Robots.txt 編集でrobots.txtファイルを編集できます。
物理的なrobots.txtファイルが作成されていると、「robots.txtファイルを書き込めません」という警告が表示されます。この場合...
- FTPに接続してrobots.txtファイルを直接変更するか、
- FTPに接続してrobots.txtファイルを削除し、Rank Math内でこのファイルを編集できます。
質問した当事者です。
クラウドウェイズの方に問い合わせても解決できなかったのに一週間ほど私と個人トークやりとりして別に要請アンドしても持続気にしていただき、今日いよいよ解決になりましたねㅠㅠㅠ ありがとうございました！
コーチングプログラムをご利用いただきありがとうございます。
通常、キャッシュ例外設定を行い、キャッシュを完全に削除すると問題が解決します。
今回の場合、クラウドフレアからキャッシュを削除する必要があり、クルプルにログインできず、キャッシュを削除できない状況であったため、結局ドメインの機関移転をすることになり、このため時間が遅れました。
ドメイン機関の移行は数日かかるため、時間の余裕を持って進む必要があります。