WordPress Robots.txtファイルの作成と最適化する

Last Updated: 2024 年 10 月 23 日 27のコメント
無料電子ブック AdSense ウェビナー

robots.txtファイルがなくても、検索エンジンでサイトをクロール（Crawl）して索引付け（Indexing）が、このファイルを作成することをお勧め。 Googleのウェブマスターツールでサイトマップファイルを送信していない場合、Googleは、このファイルに入力されているXMLサイトマップファイルを探します。

robots.txtの ファイルは、サイトのルートフォルダに配置されます。 robots.txtの ファイルがない場合、コンピュータで robots.txtの 1つのファイルを作成してFTP経由でアップロードできます。

SEOプラグインを使用する場合SEOプラグインによって robots.txtの ファイルを制御できます。このファイルを作成してルートディレクトリにアップロードすると、SEOプラグインで robots.txtの ファイルを変更できなくなる可能性があります。

WordPressで動的に生成されるrobots.txt

WordPressでrobotsファイルが動的に生成されます。 example.com/robots.txtブラウザアドレス欄に入力すると、次のようなコードが出力されます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

wp-sitemap.xmlは WordPress自動的に生成されたサイトマップです。 サイトによっては、上記のコードでは、サイトマップのラインが表示されないことがあります。 また、Yoast SEOやRank Mathのようなプラグインをインストールする場合、サイトマップはSEOプラグインで生成されるサイトマップに置き換えられます。

動的に生成されたロボットのファイルは、robots_txtフックを使用して変更が可能です。 詳細については、 WordPress 開発者向けドキュメントを参照してみてください。

また、Yoast SEOやRank Mathのプレミアムバージョンでは、このファイルを編集する機能を提供します。 」WordPress マルチサイトrobots.txtファイルを修正する「SEOプラグインでrobots.txtファイルを編集する」を参照してください。

しかし、下の説明に基づいて、このファイルを直接作成ルートフォルダにアップロードする場合には、ルートフォルダにアップロードされたファイルが優先的に適用されます。

robots.txtファイルを作成する

robots.txtの ファイルは、次のような形式で記述することができます。 robots.txtの ファイルはサイトのルートフォルダにあり、ファイルを自分で作成した場合はFTPにアクセスできる必要があります。

💡FTP/SFTP接続方法

すべての項目のインデックスを許可

User-agent: *
Disallow:

- または -

User-agent: *
Allow: /

すべての項目のインデックスを禁止

User-agent: *
Disallow: /

特定のフォルダのインデックスを禁止

User-agent: *
Disallow: /folder/

Googlebotが特定のファイルを除いたフォルダのインデックスを禁止するように設定

User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html

より詳しくは、 この記事を参考にしてみてください。

WordPressでrobots.txtファイルを作成する

WordPressでは、次のようにいくつかのフォルダが検索エンジンでインデックス化しないように設定することができます。

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

必要に応じて / WP-管理/ フォルダをブロックすることができます。 私は管理フォルダをブロックするように追加したが、許可したい人もいるようです。 そして / WP-コンテンツ/plugins/ フォルダの場合は、上記はブロックするように設定したが、Googleでのページのレンダリング（処理）に必要なJavascriptやCSSをプラグインで出力することができるので、 Yoastは、ブロックしないですね。 多くの記事で / WP-コンテンツ/plugins/ フォルダもブロックすることを推奨しているが許可してもいいようです。

サイトマップは、次のような形式で追加します。

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/post-sitemap.xml

SEOプラグインをインストールした場合、robots.txtファイルを最適化するためのオプションを提供しています。 例えば、 All in One SEOをインストールした場合、ダッシュボードの左側のサイドバーで All in One SEO> Robots.txt オプションを選択すると、Robots.txtファイルを作成することができ、最適化することができるオプションも提供しています。

Optimize your Robots file - Robots.txtファイル最適化する

計算環境の最適化を押すと、All in One SEOプラグインで現在のrobots.txtファイルを分析して、変更の推奨事項を提示します。

例：

私は次のように作成しました。

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html

Sitemap: https://www.example.com/sitemap.xml //실제 사이트맵 주소로 교체...

メモ：

27のコメント

コメント

  1. こんにちは。

    私 Naver サーチアドバイザーに

    サイトマップ： https://블로그 アドレス/sitemap.xml
    サイトマップ： https://블로그 住所/news-sitemap.xml
    ユーザーエージェント：*
    Disallow：/ wp-admin /
    Allow：/wp-admin/admin-ajax.php

    サイトマップ： https://블로그 アドレス/sitemap_index.xml

    このように編む Sitemap: https://블로그 住所/news-sitemap.xml
    これは正しいですか？

    なぜnews-sitemap.xmlと言うのか分からないのですか？もしかしたらこんなものだから Naver 暴露に邪魔になりますか？他のブログは Naverに露出がよくなるのに。有毒このブログのみ、すべての投稿は公開されません。

    もう一度robots.txtを再設定する方法はありますか？

    ありがとうございます。

    応答

    • こんにちは、ワードマン様。

      サイトマップアドレスは実際のサイトマップアドレスを入力してください。

      Rank math、Yoast SEOの場合、/sitemap_index.xmlはサイトマップURLです。
      AIO SEOは/sitemap.xmlがサイトマップURLです。

      実際のサイトアドレス/sitemap.xmlを入力すると、正しいサイトマップアドレスを確認できます。
      たとえば、Rank Mathサイトマップを使用している場合は、サイトアドレス/sitemap.xmlを入力して/sitemap_index.xmlに移動します。

      例： https://www.thewordcracker.com/sitemap.xml リンクをクリックすると、 https://www.thewordcracker.com/sitemap_index.xml リンクに変わります。

      応答

      • 確認してみる

        1 https:// 블로그 /sitemap-1.xml 2024-06-08T14:17:01Z
        2 https:// 블로그 /image-sitemap-index-1.xml 2024-06-08T03:51:56Z

        こうして画面に出てくるのに問題ないですか？

      • jetpackプラグインでサイトマップをオフにする

        ランクマスサイトマップがありますね。

        https:// 블로그주소 /post-sitemap1.xml
        2024-06-09 11:09 +00:00
        https:// 블로그주소 /post-sitemap2.xml
        2024-06-09 10:54 +00:00
        https://블로그주소 /page-sitemap.xml
        2018-09-08 23:41 +00:00

        私はpostサイトマップが2つですが、これは正しいですか？

        ありがとうございます

      • 私はRank Math SEOを使います。

        Googleは露出が活発にうまくいっています。
        Naverには文半分の程度だけ露出になる状態です。
        もしサイトマップ2つが原因でしょうか？

      • ランクマスのサイトマップ機能を使用する場合、サイトマップアドレスは/sitemap_index.xmlです。
        ランクマツ有料版を使用している場合は、おそらくニュースサイトマップもサポートしているようです。そのような場合は、追加で指定することができます。

        私のブログでは、robots.txtに複数のサイトマップを指定しています。

        Sitemap: https://www.thewordcracker.com/sitemap_index.xml
        Sitemap: https://www.thewordcracker.com/simple/sitemap_index.xml
        Sitemap: https://www.thewordcracker.com/simple/jp/sitemap.xml
        Sitemap: https://ja.thewordcracker.com/sitemap_index.xml
        Sitemap: https://www.thewordcracker.com/forum/sitemap_index.xml
        Sitemap: https://www.thewordcracker.com/en-us/sitemap_index.xml

  2. ルートフォルダにアップロードするときは、テキストエディタでその内容を入力し、txtファイルを作成してアップロードする必要がありますか？

    応答

    • PCで作成した後にアップロードしても、rootフォルダにrobots.txtファイルを作成して内容を追加してもかまいません。

      応答

  3. こんにちは。 文を本当に丁寧によく書かれましたね。 とても素敵です〜
    私 WordPressやったばかりです。 だから読んでみると、私はよく理解していないので、自分自身を見てみましょう。
    私は私を書いてGoogleサーチコンソールにインデックスを要求しました。
    「ページ公開ステータス：ページインデックスを作成できません：robots.txtによってブロックされています」と出てきます。
    この場合、 WordPressでrobots.txtファイルを作成するには、何が本質的に入る必要があります解決ですか？ お忙しいですが返信お願いします。

    応答

    • https://www.thewordcracker.com/?p=56307 文を参考にしてください。 WordPressでデフォルトでrobots.txtファイルを作成するので、そのまま使用しても、直接robots.txtファイルを作成して細かく調整しても構いません。 Rank MathなどのSEOプラグインでrobots.txtファイルを変更することも可能です。 「robots.txtによってブロックされています」と出てきたら、通常は無視してください。 ほとんどはインデックスにしてはいけないURLかもしれません。

      応答

  4. こんにちは。
    いつもクオリティおりすばらしい情報よく見ています！ ^^一つお尋ね見たいものセンギョソヨ。
    すべての検索ボットは許可するが Naverボトマンブロックしようとするんです。

    ユーザーエージェント：*
    Disallow：/ wp-admin /
    Disallow：/readme.html

    User-agent：Yeti
    Disallow：/

    このように作成すると、ドゥェルロンジヨ？
    お忙しい時間をいただきありがとうございます。 （__）

    応答

  5. こんにちは。
    robots.txtファイルは、サイトのルートフォルダに配置されます。
    ここでは、ルートフォルダが正確に何であるか知りたいです。

    応答

    • 通常、Webホスティングでftpに接続したとき、public_htmlフォルダ（Bluehost など多数）やwwwフォルダ（例： Cafe24）あるいはhtmlフォルダ（例：ダトホム）がルートフォルダになります。 場合によっては、すぐにルートフォルダに接続されるホストもあります（例えば、ガッビアーノ）。

      サブドメインの場合、サブドメインのDocument Rootフォルダがルートフォルダになります。 サブドメインを指定すると、Document Rootフォルダを指定することになります。 そして Bluehost などでアドオンドメインを追加しても、アドオンドメインを追加したときに指定したDocument Rootフォルダがルートフォルダになります（「Bluehost(Bluehost）で、サブドメインを作成する/アドオンドメインを設定する"参照）。

      応答

    • 私はいくつかのテストを試み、現在、上記の文で提示したように設定して使用しています。

      一つの例示だけだから参考になるだけ。

      応答

  8. こんにちは、現在Yoastを使用しており
    ユーザーエージェント：*
    Disallow：/ wp-admin /
    Allow：/wp-admin/admin-ajax.php
    このような状態ですが
    Naver ウェブマスターツールでページを所有確認の過程で
    「メタタグが見つからないか、 Naver 検索ロボットがサイトサーバーへのアクセスをすることができません。
    ホスティングまたはサイトサーバー管理者に確認してください。
    というメッセージとともに、認証がされていないんですよ。

    metaタグをheadの間に入力したのにね。
    寀ーはよく登録しておいた状態だ WordPressはうまくいかがないんですよ。

    もしかしたら、この過程を経ましたか？
    WordPressを知っている行こう Naver 検索をすると、ここが頻繁に露出がんですよ。

    応答

  9. こんにちは良い文ありがとうございます。 見回すと良い文が多く驚きました。 本当にありがとうございます。

    お尋ね見たいことが一つありますが、私は現在、Yoastを使用しています。 基本robots.txtで

    ユーザーエージェント：*
    Disallow：/ wp-admin /
    Allow：/wp-admin/admin-ajax.php

    このように書かれているが、この場合には、adminを除くすべてのページにクロールを許可することを意味でしょうか？

    ありがとうございますㅠㅠ！

    応答

  10. ちなみに私は、robots.txtファイルを作成し、以下の内容を追加しました。
    User-agent: *
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /readme.html

    Sitemap: http://www.example.com/sitemap.xml //사이트맵 주소...

    応答

  11. こんにちは？ 良い情報よく見ました。
    気になる点がありますが、投稿物の上部に

    1。 robots.txtファイルを作成する
    robots.txtファイルは、次のような形式で記述することができます。
    「すべてのアイテムのインデックスを許可」
    User-agent：* Disallow：
    또는
    ユーザーエージェント：*許可：/
    「すべてのアイテムのインデックスを禁止」

    でDisallowとAllowのハングル説明が互いに入れ替わっことないですか？ Allowができるように、Disallowが不可だが、ミスが私のようです。 先生文を見てrobots.txtを修正しているが発見して文余すです。 良い文章ありがとうございます:)

    応答

    • こんにちは？
      早朝なのに私のブログを訪問してくださってコメントを残しましたね。
      上記の内容は、適合、ちょうど広告バナーので混同にされていますね。

      User-agent: *
      Disallow: /
      -->この場合、サーバーからすべてのロボットを除外

      User-agent: *
      Disallow:
      -->この場合、すべてのロボットのフロントアクセスを許可する

      もっと詳しく http://www.robotstxt.org/robotstxt.html 文を参照してみてください。

      応答