サイトが検索エンジンに完全に露出されないようにするために、robots.txtファイルを使用してGoogleは、ネイバー、ビングなどの検索エンジンでサイトをインデックスしないようにする場合があります。 この場合、どのような方法検索エンジンの結果にサイトが公開されることがあります。 サイトが検索エンジンの検索結果に表示されないようにするための正しい方法は何でしょうか？
robots.txtファイルを使用して索引がないようにする方法の問題
robots.txtファイルを使用して索引がないようにする場合は、検索エンジンの検索結果にサイトのコンテンツを公開することができます。 Google Webmastersの「Uncrawled URLs in search results（クロールされていないURLが検索結果に表示されている理由）」と呼ばれる映像で、この問題を説明しています。
上記の映像によると、いくつかのページが表示されないようにするための最良の方法の一つは、「noindex "メタタグを使用するとします。
Now if you truly do not want a page to show up、one of the best things that you can do is let us crawl it and then use a "noindex" Meta Tag at the top of the page。
ワードプレスSEOプラグインの開発会社であるYoastでindexing（インデックス）とlisting（検索結果に露出）は、異なる説明しています。
So、while the most common process goes from Indexing to Listing、a site does not have to be indexed to be listed。 If a link points to a page、domain or wherever、Google follows that link。 If the robots.txtの on that domain prevents indexing of that page by a search engine、it'll still show the URL in the results if it can gather from other variables that it might be worth looking at。
最も一般的なプロセスは、IndexingでListingで行われますが、どのようなサイトがListing（検索結果ページに表示さ）になるため、必ずIndex（インデックス）される必要はありません。 いくつかのリンクは、任意のページ、ドメインなどを指している場合、Googleは、そのリンクをたどっていきます（Follow）。 そのドメインのrobots.txtでページのインデックスを禁止しても、他の要因によって収集することができる場合は、検索結果に該当するURLが表示されることがあります。
出典：https://yoast.com/prevent-site-being-indexed/
したがって、robots.txtファイルを使用してサイトが検索エンジンにインデックスされないようにしても、検索エンジンの検索結果に表示されることがあります。
サイトのコンテンツは、検索エンジンの検索結果に表示されないようにするための正しい方法
メタrobotsタグをページに追加して、ページが検索エンジンの検索結果に表示されないようにする
どのページが検索エンジンの結果に表示されないようにする方法のいずれかrobotsメタタグを使用することです。 基本的には次のメタタグをページの上部（<head> ... </ head>の間）に追加すると、そのページがインデックスされません。
<meta name = "robots" content = "noindex、nofollow">グーグルだけのサイトが公開されないようにするには、次のメタタグを追加することができます。
<meta name = "googlebot" content = "noindex、nofollow">ネイバーのみ露出されないようにするには、次のようなメタタグを挿入することができます。
<meta name = "Yeti" content = "noindex、nofollow" />ワードプレスでは、チャイルドテーマを使用してheader.phpファイルの適切な場所に適切なコードを追加するか、 ヘッダーとフッターを挿入 同じプラグインを使用してヘッダー部分にメタタグを挿入することができます。
ワードプレスでは、特定のページや記事のインデックスを禁止しようとする場合Yoast SEOやAll in One SEO PackのようなSEOのプラグインを使用すると便利です。
X-Robots-Tag HTTPヘッダーを追加する
別の方法として、X-Robots-Tagを使用することができます。 この方法の詳細については、Yoast SEOの Playing with the X-Robots-Tag HTTP header 文を参考にしてください。
ワードプレスでの設定で、検索エンジンにアクセスをブロックする
ワードプレスのサイトを運営する場合、ワードプレスの設定でサイトが検索エンジンにさらされないように設定することができます。 設定>読むで "検索エンジンは、このサイトを検索ブロックする」をチェックします。
このオプションをチェックすると、次のメタタグがヘッダーに追加されます。
<meta name = "robots" content = "noindex、follow" />
参考までに、ネイバーブログにも、上記と同じrobotsメタタグが追加されます。 このため、ネイバーブログ記事は、ネイバーでは露出されるが、Googleなどの外部の検索エンジンでは、露出がありません。 しかし、一部のネイバーブログ記事はGoogleで検索されることもあります（ "ネイバーブログとワードプレスを同時に作動する"参照）。
したがって、ワードプレスで自主的に提供する「検索エンジンブロックするかどうか」の機能を使用して、サイトが検索エンジンにさらされないようにしても、検索エンジンの検索結果にサイトが公開されることがあります。 検索エンジンの検索結果に表示されないようにするには、メタタグを追加することが確実な方法です。
コメントを残す