クロール効率化
クロール効率化
「robots.txt」でロボットの動きをコントロール
「robots.txt」はロボットがサイトに訪れた際、1番最初に必ずアクセスするファイルです。これをルートフォルダに設置することで、以下のような指示が出せます。記述方法は難しくないので、設置していない方はぜひ設置してみてください。
- 「robots.txt」でできること
-
- 対象にするロボットの指定
- ロボット専用サイトマップ(sitemap.xml)への誘導指示
- 指定ディレクトリやファイルへのクロール禁止指示
「robots.txt」をルートフォルダへ設置することで、ロボット専用サイトマップ「sitemap.xml」へ誘導でき、かつ、SEO非対象ページへのクロールを禁止することで、ロボットに無駄なく効率的なクロール(リンクジュース配分)をさせることが可能になります。
ロボット専用サイトマップ「sitemap.xml」でクロール ⇒ インデックスを効率化
「sitemap.xml」は「robots.txt」から誘導されたロボットに対して有効となるロボット専用のサイトマップです。Webページはクローラーにインデックスされて初めて検索結果に表示されるようになります。
クローラーは全てのWebページをチェックするとは限りませんので、sitemap.xmlを用いることで、クローラーにWebページの「更新日」「更新頻度」「重要度」などの情報を伝え、効率的なクロール&インデックスを促します。
- sitemap.xmlを自動生成するツール
- sitemap.xml Editor
- Website Explorer
Flash、Java使用時の注意
ロボットはHTML上部の情報を「重要な情報」と判断するため、ロボットが読み取ることが苦手な「Flash」や「Java」などについては、『HTML論理的構造化のテクニック』を使ってHTMLソース上は下に配置するといいでしょう。
「無料アクセス解析ソフト」や「ページ設置型ツール」の利用禁止
多くの無料アクセス解析ソフトやアクセスカウンタには<a>タグが仕込まれており、リンクジュースを外部に流出させたり、ロボットを別サイトに逃がしてしまう可能性があります。無料ソフトを使用する場合はこれらをチェックしてから判断してください。
ここまで読んでいる方は分かると思いますが、タグに「rel="nofollow"」の記述を足せば問題がクリアできます。
ちなみに「Google Analytics」は<a>タグが含まれていないのでこのような心配はありません。
SEO阻害要因の除去
URLの正規化
URLを直接打ち込んでみて、Webサイトが「wwwあり」「wwwなし」どちらのURLでも表示される場合は正規化(統合)した方が良いです。これは、実際は同じコンテンツなのにURLが違うためにロボットが別ページと認識してしまう可能性があるからです。これによりリンクジュースの分散、インデックスの不都合などが発生し、SEOを阻害してしまいます。
また、TOPページにおいて「index.htmlあり」と「index.htmlなし」のどちらのURLでも表示される場合も同様です。
これらを解決するには「.htaccess」による正規化を行う必要があります。「.htaccess」とは、ApacheなどのWebサーバーで使用できる、Webサーバーの動作をディレクトリ単位で制御するためのファイルです。
このファイルの「301リダイレクト」を使って、どちらかのURLに統合してください。以下のツールを使用すれば簡単に作成できます。
- .htaccessを自動生成するツール
- .htaccessEditor
リンク切れの解消
リンク切れも検索エンジンからの評価を損なう要因の1つです。定期的にツールを使ってチェックしましょう。特に外部リンクが多いサイトは注意です。
- サイト内のリンク切れを発見するツール
- dead-link-checker.com
- Website Explorer
ページ表示速度
ページ表示速度は検索順位に影響します。さらに、下のような調査結果があります。
- ページ表示速度が「1秒」遅いと。。。
-
- 顧客満足度が16%低下
- ページビューが11%低下
- コンバージョンが7%低下
その他、ページ表示速度の悪化がもたらす怖さについては『Web Shufu』さんの「表示速度の遅さがもたらす7つの怖~いデメリット」が参考になります。
ページ表示速度のチェックは、以下のようなツールを使うのですが、海外のツールに関してはもちろん海外サーバーからアクセスしているので感覚値とだいぶ違うと思います。ただし機能は充実しているので、いくつかのツールを併用しましょう。特に、Googleの「PageSpeed Insights」は、モバイルとPCで分けてページの表示スピードをチェックすることができ、修正すべき点を具体的に指示してくれるので、使いやすいと思います。
- ページ表示速度をチェックするツール
- PageSpeed Insights
- WEBPAGETEST
- pingdom
- GTmetrix
この記事の著者
広瀬 信輔(ひろせ・しんすけ)
マーケティング情報サイト『Digital Marketing Lab』の運営者。
1985年、長崎県佐世保市生まれ。西南学院大学 経済学部 国際経済学科 卒業。
2008年、株式会社マクロミルに入社。現在は同企業のオンラインマーケティング部門の責任者として、デジタルマーケティングを推進。
株式会社イノ・コード 取締役 CMOも務める。
2017年、ディーテラー株式会社を創立。メディアプランニング、Web広告運用、SEO対策、Webサイト制作など、デジタルマーケティング領域のコンサルティング及びアウトソーシングサービスを提供。ビジネスメディアでのコラム執筆やイベント出演、大手企業のマーケティングを支援。
著書:『アドテクノロジーの教科書』(版元:翔泳社)
DML監修『2,000円のアクセス解析レポート』

DeeBoard(ディーボード)
Googleアナリティクスのログインすら面倒に感じる方へ。「誰でも普通に使える」アクセス解析レポート。
アクセス解析レポート『DeeBoard(ディーボード)』
DeeBoard for EC
通販サイト専用。商品別、性別、年齢別、デバイス別、曜日別、時間別、地域別の売上分析や、カゴ落ち率も分かる!
ECサイト アクセス解析レポート『DeeBoard for EC』
Sponsors
Digital marketing makes
you a sexy marketer.