グーグルの検索ロボットがクロールする頻度はサイトによって違う

この記事は約2分で読めます。

Googlebotグーグルの検索ロボットは「Googlebot」とか「スパイダー」とか、単に「クローラー」とか呼ばれている。いずれも意味は同じである。「Googlebot」はGoogleの検索結果で表示するためのWEB上の情報を収集する巡回プログラムである。「Googlebot」が収集した情報は、グーグルのアルゴリズムにしたがって検索結果に表示するためのデータベースである「インデックス」を作成する。グーグルの検索結果に載るためのステップは「クロールされる」→「インデックスされる」→「検索結果に表示される」の3ステップである。

「クロールされる」→「インデックスされる」→「検索結果に表示される」の3ステップについてはグーグルウェブマスターツールヘルプの「グーグルの基本」で紹介されている。

クロールについては、グーグルが独自の判断で巡回しており、有料でクロール頻度を増やすことはしないと名言している。

インデックスに載らないことには検索結果に表示されないということなので、まずは「Googlebot」に来てもらわなければならない。
サイトを更新しても更新後の情報が検索結果に載らないとしたら、更新後にまだ「Googlebot」が来ていないのかもしれない。「Googlebot」が来ない限り、サイトを更新しても新しい情報が検索結果に載らない。

つまり、「Googlebot」は頻繁に来てくれたほうがよいということになる。

では、「Googlebot」はどのくらいの頻度でサイトを訪れているのだろうか?
このブログ「中小企業診断士の遠田幹雄です。どもども、ドモドモ(^^)v」では「Googlebot」の巡回は一日あたり平均1772回である。
「Googlebot」の巡回
このブログは毎日更新しているものの、記事は一日1本ペースだから、1772回というのはすごく多い巡回頻度である。ただし、毎日の蓄積でページ数は多い。グーグルにインデックスされているページ数は2800以上ある。
他のサイトもいくつか調べてみたが、記事の更新頻度だけでなく、インデックス数が多いサイトほど巡回頻度が高い傾向があった。
どうやら、インデックス数の多さは「Googlebot」の頻度と相関関係がありそうである。