公開前のサイトやindexしてほしくないページの設定をまとめてみました。

1. robots.txtを設置し、サイト全体のインデックス化をブロック

    User-agent: *
    Disallow: /

2. HTMLヘッダーのmetaタグ

    <html>
      <head>
        <meta name="robots" content="noindex,nofollow" />
      <head>
      <body>
        ・・・
      <body>
    </html>

3.サーバー ディレクトリをパスワードで保護して URL をブロックする

Search Console ヘルプに下記のように記載されてます。
htaccess等のパスワードで保護されたディレクトリはindexされないということですね。

Google 検索の検索結果に表示したくない機密情報や非公開のコンテンツがある場合、非公開の URL の表示をブロックする最も簡単で最も効果的な方法は、サイトサーバー上のパスワードで保護されたディレクトリにそのURLを保存することです。 Googlebot などのウェブクローラはすべて、パスワードで保護されたディレクトリ内のコンテンツにアクセスできません。

サーバー ディレクトリをパスワードで保護してURLをブロックする

4.その他参考サイト

ひとこと

自分で上記の設定をした場合は覚えているんですが、wordpressの「検索エンジンがサイトをインデックスしないようにする」のチェックを外すのを忘れていて、サイトの公開後にクライアントから検索しても表示されませんよって言われることがよくあります…。
皆様もお気を付けください。

次の記事 前の記事