robots.txtとは robots.txtはクロール最適化の手段の一つで、検索結果に必要のないページへのクロールを制御し、重要なページのみを認識してもらうようにしてSEOを改善するものであります。 不要なページに対するクローラーのアクセスをブロックすることがで…