クロール効率化

「robots.txt」でロボットの動きをコントロール

「robots.txt」はロボットがサイトに訪れた際、1番最初に必ずアクセスするファイルです。これをルートフォルダに設置することで、以下のような指示が出せます。記述方法は難しくないので、設置していない方はぜひ設置してみてください。

「robots.txt」でできること

• 対象にするロボットの指定
• ロボット専用サイトマップ（sitemap.xml）への誘導指示
• 指定ディレクトリやファイルへのクロール禁止指示

「robots.txt」をルートフォルダへ設置することで、ロボット専用サイトマップ「sitemap.xml」へ誘導でき、かつ、SEO非対象ページへのクロールを禁止することで、ロボットに無駄なく効率的なクロール（リンクジュース配分）をさせることが可能になります。

ロボット専用サイトマップ「sitemap.xml」でクロール ⇒ インデックスを効率化

「sitemap.xml」は「robots.txt」から誘導されたロボットに対して有効となるロボット専用のサイトマップです。Webページはクローラーにインデックスされて初めて検索結果に表示されるようになります。

クローラーは全てのWebページをチェックするとは限りませんので、sitemap.xmlを用いることで、クローラーにWebページの「更新日」「更新頻度」「重要度」などの情報を伝え、効率的なクロール＆インデックスを促します。

sitemap.xmlを自動生成するツール

sitemap.xml Editor

Website Explorer

Flash、Java使用時の注意

ロボットはHTML上部の情報を「重要な情報」と判断するため、ロボットが読み取ることが苦手な「Flash」や「Java」などについては、『HTML論理的構造化のテクニック』を使ってHTMLソース上は下に配置するといいでしょう。

「無料アクセス解析ソフト」や「ページ設置型ツール」の利用禁止

多くの無料アクセス解析ソフトやアクセスカウンタには<a>タグが仕込まれており、リンクジュースを外部に流出させたり、ロボットを別サイトに逃がしてしまう可能性があります。無料ソフトを使用する場合はこれらをチェックしてから判断してください。

ここまで読んでいる方は分かると思いますが、タグに「rel="nofollow"」の記述を足せば問題がクリアできます。

ちなみに「Google Analytics」は<a>タグが含まれていないのでこのような心配はありません。

URLの正規化

URLを直接打ち込んでみて、Webサイトが「wwwあり」「wwwなし」どちらのURLでも表示される場合は正規化（統合）した方が良いです。これは、実際は同じコンテンツなのにURLが違うためにロボットが別ページと認識してしまう可能性があるからです。これによりリンクジュースの分散、インデックスの不都合などが発生し、SEOを阻害してしまいます。

また、TOPページにおいて「index.htmlあり」と「index.htmlなし」のどちらのURLでも表示される場合も同様です。

これらを解決するには「.htaccess」による正規化を行う必要があります。「.htaccess」とは、ApacheなどのWebサーバーで使用できる、Webサーバーの動作をディレクトリ単位で制御するためのファイルです。

このファイルの「301リダイレクト」を使って、どちらかのURLに統合してください。以下のツールを使用すれば簡単に作成できます。

.htaccessを自動生成するツール

.htaccessEditor

リンク切れの解消

リンク切れも検索エンジンからの評価を損なう要因の1つです。定期的にツールを使ってチェックしましょう。特に外部リンクが多いサイトは注意です。

サイト内のリンク切れを発見するツール

dead-link-checker.com

Website Explorer

ページ表示速度

ページ表示速度は検索順位に影響します。さらに、下のような調査結果があります。

ページ表示速度が「1秒」遅いと。。。

• 顧客満足度が16％低下
• ページビューが11％低下
• コンバージョンが7％低下

その他、ページ表示速度の悪化がもたらす怖さについては『Web Shufu』さんの「表示速度の遅さがもたらす7つの怖～いデメリット」が参考になります。

ページ表示速度のチェックは、以下のようなツールを使うのですが、海外のツールに関してはもちろん海外サーバーからアクセスしているので感覚値とだいぶ違うと思います。ただし機能は充実しているので、いくつかのツールを併用しましょう。特に、Googleの「PageSpeed Insights」は、モバイルとPCで分けてページの表示スピードをチェックすることができ、修正すべき点を具体的に指示してくれるので、使いやすいと思います。

ページ表示速度をチェックするツール

PageSpeed Insights

WEBPAGETEST

pingdom

GTmetrix