seo最適化 robots.txt - chocotakaの日記

robots.txtはクロール最適化の手段の一つで、検索結果に必要のないページへのクロールを制御し、重要なページのみを認識してもらうようにしてSEOを改善するものであります。

不要なページに対するクローラーのアクセスをブロックすることができる。クローラーを回す必要のあるページに多くのクローラーが回るようになるためサイト全体のSEOが改善されます。

User-Agent:*
Disallow:

どのクローラーの動きを制御するかの指定で、*は全てのクローラーに指示します。例えば、User-Agent:Googlebot-imageだと画像用クローラーのみに指示することができる。

クローラーのアクセスを制御するファイルを指定します。全サイトをブロックするなら/。特定のページをブロックするなら/hogehoge.htmlのようにページを指定します。

robots.txtが必ず必要かどうかというと、これを設定したからといってすごい効果があるというわけではないですが、少なからず設定していないよりは良いので、seo更に向上したいと考えているならやってみる価値はあると思います。