インターネットを使う時に必ず使うと言ってもいいのが検索エンジンですが、 そのシステムを支えているのがクローラーです。 このサーバにも多種多様なクローラがやってきます。 で、世界最大のGoogleのクローラですが1日平均1500ページを集めに来ていますｗ …