ベストセラー人気 WordPress テーマTop 30 詳細

WordPress Robots.txtファイルの作成と最適化する

Last Updated:2021年10月8日| 14のコメント
  • Naver ブログを共有する
  • Naver バンドに共有する
  • Facebook 共有する
  • Twitter 共有する
  • 카카오스토리공유하기

robots.txtファイルがなくても、検索エンジンでサイトをクロール(Crawl)して索引付け(Indexing)が、このファイルを作成することをお勧め。 Googleのウェブマスターツールでサイトマップファイルを送信していない場合、Googleは、このファイルに入力されているXMLサイトマップファイルを探します。

robots.txtの ファイルは、サイトのルートフォルダに配置されます。 robots.txtの ファイルがない場合、コンピュータで robots.txtの ファイルを一つ作成FTP経由でアップロードすることができます。 (FTPを使用する方法は、こちらを参照してください。)

WordPressで動的に生成されるrobots.txt

WordPressでrobotsファイルが動的に生成されます。 example.com/robots.txtブラウザアドレス欄に入力すると、次のようなコードが出力されます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

wp-sitemap.xmlは WordPress自動的に生成されたサイトマップです。 サイトによっては、上記のコードでは、サイトマップのラインが表示されないことがあります。 また、Yoast SEOやRank Mathのようなプラグインをインストールする場合、サイトマップはSEOプラグインで生成されるサイトマップに置き換えられます。

動的に生成されたロボットのファイルは、robots_txtフックを使用して変更が可能です。 詳細については、 WordPress 開発者向けドキュメントを参照してみてください。

また、Yoast SEOやRank Mathのプレミアムバージョンでは、このファイルを編集することができる機能を提供します。 "WordPress マルチサイトrobots.txtファイルを修正する」の「SEOプラグインでrobots.txtファイルを編集する」を参照してみてください。

しかし、下の説明に基づいて、このファイルを直接作成ルートフォルダにアップロードする場合には、ルートフォルダにアップロードされたファイルが優先的に適用されます。

robots.txtファイルを作成する

robots.txtの ファイルは、次のような形式で記述することができます。

すべての項目のインデックスを許可

User-agent: *
Disallow:

- または -

User-agent: *
Allow: /

すべての項目のインデックスを禁止

User-agent: *
Disallow: /

特定のフォルダのインデックスを禁止

User-agent: *
Disallow: /folder/

Googlebotが特定のファイルを除いたフォルダのインデックスを禁止するように設定

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

より詳しくは、 この記事を参考にしてみてください。

WordPressでrobots.txtファイルを作成する

WordPressでは、次のようにいくつかのフォルダが検索エンジンでインデックス化しないように設定することができます。

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

必要に応じて / WP-管理/ フォルダをブロックすることができます。 私は管理フォルダをブロックするように追加したが、許可したい人もいるようです。 そして / wp-content/plugins /の フォルダの場合は、上記はブロックするように設定したが、Googleでのページのレンダリング(処理)に必要なJavascriptやCSSをプラグインで出力することができるので、 Yoastは、ブロックしないですね。 多くの記事で / wp-content/plugins /の フォルダもブロックすることを推奨しているが許可してもいいようです。

サイトマップは、次のような形式で追加します。

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/post-sitemap.xml

SEOプラグインをインストールした場合、robots.txtファイルを最適化するためのオプションを提供しています。 例えば、 1つのSEOのすべてをインストールした場合、ダッシュボードの左側のサイドバーで All in One SEO> Robots.txt オプションを選択すると、Robots.txtファイルを作成することができ、最適化することができるオプションも提供しています。

Optimize your Robots file  -  Robots.txtファイル最適化する

最適化 を押すと、All in One SEOプラグインで現在のrobots.txtファイルを分析して、変更の推奨事項を提示します。

例:

私は次のように作成しました。

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html

Sitemap: https://www.example.com/sitemap.xml //실제 사이트맵 주소로 교체...

メモ:



14のコメント

コメント

  1. こんにちは。
    いつもクオリティおりすばらしい情報よく見ています! ^^一つお尋ね見たいものセンギョソヨ。
    すべての検索ボットは許可するが Naverボトマンブロックしようとするんです。

    ユーザーエージェント:*
    Disallow:/ wp-admin /
    Disallow:/readme.html

    User-agent:Yeti
    Disallow:/

    このように作成すると、ドゥェルロンジヨ?
    お忙しい時間をいただきありがとうございます。 (__)

    応答
    • こんにちは、シムジョンソン様。

      はい。 そのまま使用すると、なりそうです。

      似たような例として https://stackoverflow.com/questions/56049660/how-to-exclude-all-robots-except-googlebot-and-bingbot-with-both-robots-txt-and 文では、次のようなコードを提示しますね。

      ユーザーエージェント:*
      許可しません:/

      User-agent:Bingbot
      許可しません:

      User-agent:Googlebot
      許可しません:

      コードを作成するときにUser-agentで始まるレコード(record)の順序は重要でないとね。

      検索エンジンで確実に遮断するには、robotsメタタグを使用することが望ましいことがあるようです。 次の記事を参照してください。

      https://www.thewordcracker.com/blog/%EC%82%AC%EC%9D%B4%ED%8A%B8%EA%B0%80-%EA%B2%80%EC%83%89%EC%97%94%EC%A7%84%EC%97%90-%EA%B2%80%EC%83%89%EB%90%98%EC%A7%80-%EC%95%8A%EB%8F%84%EB%A1%9D-%EC%B0%A8%EB%8B%A8%ED%95%98%EA%B8%B0/

      応答
  2. こんにちは。
    robots.txtファイルは、サイトのルートフォルダに配置されます。
    ここでは、ルートフォルダが正確に何であるか知りたいです。

    応答
    • 通常、Webホスティングでftpに接続したとき、public_htmlフォルダ( Bluehost など多数)やwwwフォルダ(例: Cafe24)あるいはhtmlフォルダ(例:ダトホム)がルートフォルダになります。 場合によっては、すぐにルートフォルダに接続されるホストもあります(例えば、ガッビアーノ)。

      サブドメインの場合、サブドメインのDocument Rootフォルダがルートフォルダになります。 サブドメインを指定すると、Document Rootフォルダを指定することになります。 そして Bluehost などのアドオンドメインを追加する場合にも、アドオンドメインを追加するときに指定したDocument Rootフォルダがルートフォルダになります( " Bluehost(Bluehost)で、サブドメインを作成する/アドオンドメインを設定する"参照)。

      応答
  3. 知りたいことがありますが

    robots.txtでAllow部分を以下のようにする理由はありますか?
    Allow:/ wp-content / uploads /

    Allow:/ < - ヨロようにすればトラブル?

    応答
    • 私はいくつかのテストを試み、現在、上記の文で提示したように設定して使用しています。

      一つの例示だけだから参考になるだけ。

      応答
  4. こんにちは、現在Yoastを使用しており
    ユーザーエージェント:*
    Disallow:/ wp-admin /
    Allow:/wp-admin/admin-ajax.php
    このような状態ですが
    Naver ウェブマスターツールでページを所有確認の過程で
    "メタタグを見つけることができないか、 Naver 検索ロボットがサイトサーバーへのアクセスをすることができません。
    ホスティングやサイトサーバーの管理者に確認を要求してください。 "
    というメッセージとともに、認証がされていないんですよ。

    metaタグをheadの間に入力したのにね。
    寀ーはよく登録しておいた状態だ WordPressはうまくいかがないんですよ。

    もしかしたら、この過程を経ましたか?
    WordPressを知っている行こう Naver 検索をすると、ここが頻繁に露出がんですよ。

    応答
    • こんにちは?

      headの間に追加されたメタタグは削除してYoast SEOを使用して、メタタグを設定してみてください。

      次の記事を参考にしてください。

      https://www.thewordcracker.com/basic/%EA%B5%AC%EA%B8%80%EC%9D%B4%EB%82%98-%EB%84%A4%EC%9D%B4%EB%B2%84%EC%97%90-%EA%B2%80%EC%83%89%EB%90%98%EB%8A%94-%EC%82%AC%EC%9D%B4%ED%8A%B8%EC%9D%98-%EC%A0%9C%EB%AA%A9-%EB%B3%80%EA%B2%BD/

      それでもうまくいかないと、プラグインをすべて無効にした後にテストしてみてください。

      使用しているWebホスティングはどこですか?
      場合によっては、Webホスティングの問題であることもあります。
      (Cafe24の場合は、Webファイアウォールを無効にした後、テスト状態みることもあるようです。)

      応答
  5. こんにちは良い文ありがとうございます。 見回すと良い文が多く驚きました。 本当にありがとうございます。

    お尋ね見たいことが一つありますが、私は現在、Yoastを使用しています。 基本robots.txtで

    ユーザーエージェント:*
    Disallow:/ wp-admin /
    Allow:/wp-admin/admin-ajax.php

    このように書かれているが、この場合には、adminを除くすべてのページにクロールを許可することを意味でしょうか?

    ありがとうございますㅠㅠ!

    応答
  6. ちなみに私は、robots.txtファイルを作成し、以下の内容を追加しました。
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /readme.html

    Sitemap: http://www.example.com/sitemap.xml //사이트맵 주소...

    応答
  7. こんにちは? 良い情報よく見ました。
    気になる点がありますが、投稿物の上部に

    1。 robots.txtファイルを作成する
    robots.txtファイルは、次のような形式で記述することができます。
    「すべての項目のインデックスを許可」
    User-agent:* Disallow:
    또는
    ユーザーエージェント:*許可:/
    「すべての項目のインデックス禁止」

    でDisallowとAllowのハングル説明が互いに入れ替わっことないですか? Allowができるように、Disallowが不可だが、ミスが私のようです。 先生文を見てrobots.txtを修正しているが発見して文余すです。 良い文章ありがとうございます:)

    応答
    • こんにちは?
      早朝なのに私のブログを訪問してくださってコメントを残しましたね。
      上記の内容は、適合、ちょうど広告バナーので混同にされていますね。

      User-agent: *
      Disallow: /

      - >この場合は、サーバー上のすべてのrobots除く

      User-agent: *
      Disallow:

      - >この場合、すべてのrobots前面アクセスを許可する

      もっと詳しく http://www.robotstxt.org/robotstxt.html 文を参照してみてください。

      応答