サイトが検索エンジンの検索結果に表示されないようにするための正しい方法

サイトが検索エンジンに完全に露出されないようにするために、robots.txtファイルを使用してGoogleは、 Naver、ビングなどの検索エンジンでサイトをインデックスしないようにする場合があります。 この場合、どのような方法検索エンジンの結果にサイトが公開されることがあります。 サイトが検索エンジンの検索結果に表示されないようにするための正しい方法は何でしょうか？

robots.txtファイルを使用して索引がないようにする方法の問題

robots.txtファイルを使用してインデックスを作成しないと、検索エンジンの結果にサイトのコンテンツが公開される可能性があります。 Google Webmastersの「Uncrawled URLs in search results（クロールされていないURLが検索結果に表示される理由）」というビデオでこの問題について説明しています。

上記の画像によると、どのページが表示されないようにする最善の方法のXNUMXつは、「noindex」メタタグを使用することです。

Now if you truly don't want a page to show up, one of the best things that you can do is let us crawl it and then use a "noindex" Meta Tag at the top of the page.

WordPress SEOプラグインの開発会社であるYoastでindexing（インデックス）とlisting（検索結果に露出）は、異なる説明しています。

So、while the most common process goes from Indexing to Listing、a site does not have to be indexed to be listed。 If a link points to a page、domain or wherever、Google follows that link。 If the robots.txtの on that domain prevents indexing of that page by a search engine、it'll still show the URL in the results if it can gather from other variables that it might be worth looking at。

最も一般的なプロセスは、IndexingでListingで行われますが、どのようなサイトがListing（検索結果ページに表示さ）になるため、必ずIndex（インデックス）される必要はありません。 いくつかのリンクは、任意のページ、ドメインなどを指している場合、Googleは、そのリンクをたどっていきます（Follow）。 そのドメインのrobots.txtでページのインデックスを禁止しても、他の要因によって収集することができる場合は、検索結果に該当するURLが表示されることがあります。

出典：https://yoast.com/prevent-site-being-indexed/

したがって、robots.txtファイルを使用してサイトが検索エンジンにインデックスされないようにしても、検索エンジンの検索結果に表示されることがあります。

サイトのコンテンツは、検索エンジンの検索結果に表示されないようにするための正しい方法

メタrobotsタグをページに追加して、ページが検索エンジンの検索結果に表示されないようにする

どのページが検索エンジンの結果に表示されないようにする方法のXNUMXつとしてrobotsメタタグを使用することです。 既定では、次のメタタグをページ上部（ ... 間）に追加すると、そのページはインデックスされません。

<meta name="robots" content="noindex,nofollow">

グーグルだけのサイトが公開されないようにするには、次のメタタグを追加することができます。

<meta name="googlebot" content="noindex, nofollow">

Naverのみ露出されないようにするには、次のようなメタタグを挿入することができます。

<meta name="Yeti" content="noindex, nofollow" />

WordPressでは、チャイルドテーマを使用してheader.phpファイルの適切な場所に適切なコードを追加するか、 ヘッダーとフッターを挿入 同じプラグインを使用してヘッダー部分にメタタグを挿入することができます。

WordPressで、特定のページや記事のインデックスを禁止しようとする場合Yoast SEOやAll in One SEO PackのようなSEOのプラグインを使用すると便利です。

• WordPressで、特定のページ/記事の検索インデックス作成遮断する

X-Robots-Tag HTTPヘッダーを追加する

別の方法として、X-Robots-Tagを使用することができます。 この方法の詳細については、Yoast SEOの Playing with the X-Robots-Tag HTTP header 文を参考にしてください。

WordPressでの設定で、検索エンジンにアクセスをブロックする

WordPress サイトを運営する場合、 WordPress 設定のサイトが検索エンジンにさらされないように設定することができます。 設定>読むから」検索エンジンは、このサイトを検索ブロックする「チェックしてください。

このオプションをチェックすると、次のメタタグがヘッダーに追加されます。

参考までに Naver ブログにも上記と同じrobotsメタタグが追加されます。 このため、 Naver ブログ記事は Naverは、露出されるが、Googleなどの外部の検索エンジンでは、露出がありません。 しかし、いくつかの Naver ブログ記事はGoogleでも検索されます（「Naver ブログと WordPressを同時に作動する"参照）。

したがって WordPress独自の「検索エンジンをブロックするかどうか」機能を使用してサイトが検索エンジンに公開されないようにしても、検索エンジンの検索結果にサイトが公開される可能性があります。 検索エンジンの検索結果に表示されないようにするには、メタタグを追加するのが確実な方法です。

メモ：

• WordPressで画像添付ページは、Googleにさらされないように設定する