新しいGooglebotが誕生？

Googleが新しいGooglebotを開発したようです。それはGoogle Newsのクローラーです。今までのGooglebotはPCとモバイルと画像検索のクローラーでしたが、それにGoogle News用のクローラーができたようです。

New User Agent of News （英語のサイトです）

robot.txtファイルでユーザーエージェントを指定すれば、News用クローラーが回らなくようにさせるという指定もできますね。当然のことですが。

なので、これからは通常のページでもGoogle Newsに取り上げられることもあるかもしれませんね。