SaaS・ITサービスの比較サイト

【初めてのSEO⑥】robots.txtを設置してクロールを促進しよう!

投稿日:2020年4月15日 /

更新日:2022年12月1日

【初めてのSEO⑥】robots.txtを設置してクロールを促進しよう!
● SEO対策

「クロールの最適化」は実施していますか?SEO施策としてクロールを最適化することにより、クローラビリティを改善し、重要なページに効率よくクロールさせることができます。本記事では、「クロールの最適化」をするためのrobots.txtについてご紹介します。

SEO対策ツール関連のサービスを
無料で資料請求!

SEO対策ツール関連のサービスを
無料で資料請求!
まとめて資料請求する無料

LINE登録で、後からでも簡単に資料請求が可能!

LINE登録はこちら

目次

閉じる

今回は、SEOに大切なクロールの制御に関して、robots.txtの必要性と項目の書き方についてご紹介します。

 

ここでは、

  • robots.txtとは
  • robots.txtの必要性
  • robots.txtの書き方

という流れで解説しています。

 

robots.txtとは

robots.txtとは

まずは「robots.txt」について解説していきます。

robots.txtとは

robots.txtとは、サイトを巡回しているクローラーの動作をコントロールしたい場合に、クローラーに対しての命令を記載するテキストファイルです。

多くの場合、クローラーにサイト内のページ(404ページなど)やディレクトリへの巡回を制限するための命令を記述する際に robots.txtを使用します。

robots.txtの役割

後述しますが、クローラーの巡回を制限するためには、「User-Agent」という項目にてクローラーの種類の指定し、「Disallow」という項目にて、クローラーに巡回させたくないファイルを指定する必要があります。

基本的に、ページが極端に多い大規模サイトでない場合はクロールを特別に制限する必要はありません。

その場合は、下記を記述した「robots.txt」ファイルを、Webサイトのトップディレクトリ直下にアップロードしましょう。

 

User-Agent:* ※すべてのクローラーが対象

Disallow:   ※ブロック対象なし

⇒「すべてのクローラーのサイト内巡回を許可する」という意味の命令(書き方は後述)

クローラーへの命令はほかにも

robots.txtには他にも、画像やCSSをはじめとした不要なファイルへのクロールを制限してリソースを軽減させたり、サイトマップの存在をクローラーへ知らせたりなどといった命令の記述もできます。

robots.txtの効果的な使い方

また不動産のサイトなど、ページがどんどん増えていくような大規模サイトでは、robots.txtによるクロール制限をすることによって、重要なページからクロールさせる「クロールの最適化」を行う方法もあります。

 

robots.txtの必要性

robots.txtの必要性

そもそもなぜ「robots.txt」は必要になるのでしょうか。

重要なページを優先的にGoogleに認識させることができる(クローラビリティ改善)

先ほども少し触れましたが、robots.txtには「重要なページを優先してクローラーに認識してもらう」といった使用方法があります。

ページ数が膨大にあるような大規模なサイトの場合、すべてのページを管理するのは大変な手間となります。

低品質なページ(コンテンツが被っているなど)や、内部リンクによる導線が無い、被リンクが少なくリンク階層が深いといったページが少なからずあるかもしれません。

そうなると、クローラーが効率よくサイト内のWebページを巡回できず、クロールして欲しいページがきちんとクロールされない可能性があります。

そんな時に先ほど述べたような、不要なファイル(ページやディレクトリ、css、画像、javascriptなど)を指定し、「クロールを拒否する」という命令を記載することで、重要なページからクロールさせる「クロール最適化」を行うわけです。

重要なページをうまくクロールさせ、クローラビリティを改善していくことでSEOに繋がっていきます。

 

robots.txtの記載例

robots.txtの記載例

「robots.txt」を記載しなければならないのはご理解いただけたと思います。ではどのように記載していくのかを解説します。

robots.txtの基本的な記載方法

robots.txtの作成は、メモ帳などのテキストエディタで作成します。特別なツールは必要ありません。

記載する項目は主に次の4種類です。

  • 「User-agent」(必須)
  • 「Disallow」
  • 「Allow」
  • 「Sitemap」

必須で記入しなければならないのは「User-agent」のみとなります。

 

項目ごとの記載例

<User-agent>

命令を与える対象として、ユーザーエージェントの名称を記入しましょう。

 

例:クローラーの種類を問わず(例えばGoogle、Yahoo!、Bingなどのクローラー)、サイト内の全てのページ(/)へのクロールをブロックする

User-agent :* ※すべてのクローラーが対象

Disallow : /

 

<Disallow>

クロールをブロックしたいディレクトリやページのURLを記載します。

 

例:特定のページ(/example/sample.html)へのクロールをブロックする

User-Agent:*

Disallow: /example/sample.html

 

<Allow>

クロールを許可するディレクトリやページのURLを記載します。

 

例:ブロックするディレクトリ(/example/)の中から、特定のページ(/example/sample.html)のみクロールを許可する

User-agent:*

Disallow: /example/

Allow: /example/sample.html

 

<Sitemap>

サイトマップ(sitemap.xml)のURLを記載します。サイトマップが複数ある場合には改行することで複数記載することも可能です。

 

例:sitemap.xmlの存在をクローラーに知らせる

User-Agent:*

Disallow:

Sitemap:http://example.com/sitemap.xml

 

まとめ

robots.txtの必要性と項目の書き方

今回は、robots.txtの必要性と項目の書き方について紹介しました。

参考になりましたら幸いです。

 

 

記事執筆:石渡 優

記事編集:田邊 龍司、中條 優

 

初めてのSEOシリーズ:

【初めてのSEO①】SEOでサイト集客!~メリットとデメリット~

【初めてのSEO②】やってはいけない!気を付けるべきSEO対策

【初めてのSEO③】ロングテールキーワードって何?メリット・デメリットを解説

【初めてのSEO④】検索エンジンって何?SEOに欠かせないGoogleの理念

【初めてのSEO⑤】Googleで上位表示するためのモバイルファーストインデックスって?

【初めてのSEO⑥】robots.txtを設置してクロールを促進しよう!

【初めてのSEO⑦】Google Discoverとは?SEOにどう影響する?

【初めてのSEO⑧】Googleのクローラーに巡回申請をしよう

【初めてのSEO⑨】強調スニペットとは?表示の種類や対策を紹介します!

SEO対策ツール関連のサービスを
無料で資料請求!

SEO対策ツール関連のサービスを
無料で資料請求!
まとめて資料請求する無料

SEO対策ツールに関連するサービス

BowNow(バウナウ)

BowNow(バウナウ)

全体評価
4.1
レビュー
9件
無料で使えるマーケティングオートメーション

サービスの特長

  • 厳選したシンプルな設計で、導入後すぐに使いこなせる
  • 今「アツい」リードがわかり、すぐに成果に繋がる
  • フリープラン(完全無料)から始められ、高い費用対効果を実現

Freeasy(フリージー)

Freeasy(フリージー)

全体評価
4.3
レビュー
3件
低価格とスピード、使いやすさに特化したセルフ型アンケートツール

サービスの特長

  • 最安500円から利用可能!9種類の属性情報からの絞り込みも可能
  • グラフカスタムが可能で自由なアウトプットが可能
  • アンケート添削や操作レクチャーなど、安心のサポート体制

SNSキャンペーンツール キャンつく

SEO対策ツール関連のサービスを
まとめて資料請求!
無料で資料請求する
1 件の資料を選択中
すべての資料をリセット 無料で資料をダウンロード
1 資料請求へ 全件削除