クローラーとは、検索エンジンの検索結果に利用するために、ウェブサイトからデータを収集する自動プログラム（またはロボット）のことです。
クローラーが収集したデータは、データベースに蓄積され、検索エンジンの検索結果を生成するために採用されています。
クローラーはHTMLファイルだけでなく、PDFやExcelなどの主要なアプリケーションのファイルも取り込みます。
画像も収集されますが、画像の内容がalt属性や代替テキストなどによるワードで記述されていなければ、クローラーはその内容を認識することができません。
SEOはまずクローラーに認識されることが先決
検索エンジンの結果は、クローラーがウェブサイトを認識するまで表示されないことは言うまでもありません。
クローラーがサイトを認識するまでの時間が長ければ長いほど、結果が表示されるまでの時間が長くなります。
ロボット（クローラー）と人間のユーザーの両方から見てもらえるWebサイトにするためには、ユーザーフレンドリーな方法で最適化する必要があります。
内部対策の一環であるクローラーへの対策について
SEOの内部対策というフレーズはご存知でしょうか？
本記事のクローラーへの対策については数ある内部SEO対策の一部になります。
内部SEO対策についての概要は以下の記事にて詳しく解説しているので一読してみてください。
SEOの内部対策で確認すべき要素をまとめました - TechnicalSEO’s blog
下記はクローラーへの対策についてまとめたものになります。
- クラーラビリティの向上
- インデックス登録の活用
- robots.txtでのコントロール
上記の対策はSEOについてある程度知っている人であれば基本項目ばかりですが、私はクローラーを含む内部SEO（テクニカルSEO）を熟知しているので、その他の方向からアプローチします。
内部SEOは基本的に被リンクやコンテンツ対策などと比べて軽視する人が多い印象ですが、SEOで成果を出すには網羅的な施策が必須です。
個人的にはアフィリエイトブログを運営していて、生活メインになっているようなエキスパートの方は、内部SEOもきっちりやっている方が多いな、という印象です。
詳しい解説は省きますが、概要は以下のとおりです。
- どのリージョンからクローラーがアクセスしたか
- インデックス登録を申請してから実際に来訪するまでの時間
- Googleのキャッシュデータの活用
- site:コマンドとキャッシュの違いについての理解
- サーバーのログ分析
上記を意識して内部SEOをしている方は国内でもかなり少ないように感じています。
最後に
市場に出ている内部SEOの情報で満足している方、内部SEOは外部対策に比べて優先順位が低い、と思っている方は是非一度、私のTwitter宛にDM等をいただければと思います。