動的に生成されるウェブページの巡回

YSTのクローラーは、「http://www.example.com/example.cgi?page=1」「http://www.example.com/submit.php?date=1」のような、フォームやコンテンツマネージメントシステム、ソフトウエアが生成する動的なリンクも巡回するようにしています。また、フレーム内の巡回もサポートしています。

このため、商品購入ページや申し込みページなどの動的に生成されるウェブページが、巡回されないようにするには、robots.txtを使った巡回拒否の設定が必要となります。

クローラーの巡回頻度の調整

インターネット全体の何十億ものウェブページを巡回するため、YSTは複数のクローラーを使っています。このためお客さまのサーバーに、異なるIPアドレスからYSTのクローラーがアクセスしているという記録が残ることがあります。
複数のクローラーが巡回する際は、1台のサーバーへのリクエスト数を制限しています。しかし、1台のサーバーに複数のIPアドレスが割り当てられていると、複数のサーバーと認識され、リクエスト数が増加する場合があります。

YSTのクローラーのアクセス頻度は、robots.txtに「Crawl-delay: xx」（「xx」には5や10などの数値を指定）という記述をすることで調整できます。

User-agent: Slurp
Crawl-delay: 5
短い間隔でのアクセスを許容する場合には、数値を小さくします。

User-agent: Slurp
Crawl-delay: 0.5
数値を設定する際は、まず0.5～1の値から始め、アクセス頻度を確認しながら、必要に応じて5～10を上限の目安に設定することをおすすめします。

ブログネタ：お金はいくらづつおろす？

ブログネタ：お金はいくらずつおろす？ 参加中

本文はここから

突然のブログネタですが、お金をいくらづつおろすか？ということについて書いてみたいと思います。
お金に関しては、私は浪費癖があるほうだと自認しております。まさに自他共に認められた正真正銘の浪費家であります。

そうすると自然というか必然的に一度におろすお金の金額も、大きいものになります。
と言っても私はセレブでも坊ちゃんでもお金持ちでもない普通の金銭を受給している人間ですので、
セレブな皆様から見れば、まだまだ赤子の手をひねったところ意外と柔らかくて捻れなかったみたいなものだと思います。

さてさて余談が過ぎ、時間的にも、次のＳＥＯ関連記事を書かないといけませんので、本題に入りたいと思います。

私が一度におろす金額は5万～10万です。

そして、往々にして1週間程度で羽ばたいていきます。

給料日前は財布を持ち歩かない人間へと進化します。

給料日前の私にあった人はついていますよ。

なかなか外に出歩くことのない、ツチノコのような人間ですので。