クローキング、レイヤー非表示

クローキングとは

ロボットとユーザーを別々のページに誘導する、スパム最高奥義である。

ロボットには、検索エンジン最適化したページを読み込ませ、ユーザーには売上につながるようなページを見てもらうため。


User-Agentで振り分け

IPアドレスで振り分け


クローキングの方法

この技術は、さほど難しいものではなく、現在でも、携帯電話の振り分けや、ブラウザごとのCSSの読み込みなど、一般に広く行われている。





レイヤー非表示

レイヤーを使って、検索エンジンに読ませる部分を、ユーザーには見せないようにしている。


display:none

<body>
<div style="display: none">
ロボット向けコンテンツ。ユーザーには見えない。
</div>
ユーザー向けコンテンツ。
</body>

position:absolute

<body>
<div style="position: absolute; top:-1000px">
ロボット向けコンテンツ。ユーザーには見えない。
</div>
ユーザー向けコンテンツ。
</body>

absoluteをrelativeに換えても同じ。

見出しタグ

h1～h6要素


h1が最も強力
h1.spam, h2.spam, h3.spam, h4.spam, h5.spam, h6.spam{
font-size: 100%;
font-weight: normal;
line-height:1em;
margin: 0;
}

<h1 class="spam">h1見出し文字なのに、見出しに見えない。</h1>



CSSと強調タグ(strong・em)


strong要素

strong.spam {
font-weight: normal;
}

<strong class="spam">「より強調」なのに、より強調に見えない。</strong>



em要素

em.spam {
font-style: normal;
}

<em class="spam">「強調」なのに、強調に見えない。</em>


b要素

太字なのに、太字に見えない。

b.spam {
font-weight: normal;
}

<b class="spam">太字なのに、太字に見えない。</b>

i要素

斜体なのに、斜体に見えない。

i.spam {
font-style: normal;
}

<i class="spam">斜体なのに、斜体に見えない。</i>

big要素

「大文字」なのに、大文字に見えない。

big.spam {
font-size: 100%;
}

<big class="spam">「大文字」なのに、大文字に見えない。</big>



strong要素とem要素はストリクト

なお、b要素、i要素、big要素はストリクトではない。

noframes(フレーム)とnoscript

フレームスパム

SEO、検索エンジン最適化には不利と言われるフレームの弱点を、逆にメリットにしている。



<noframes>悪用

index.htmlの<noframes>にキーワードを好きなだけ好きなように書き入れ、最高の最適化を行なう。
コンテンツではないので、最適化は何でもあり、やりたい放題。
現にこれで上位表示されているページでは、h1などの見出しを贅沢に使っている。


<frameset>
　
</frameset>
<noframes>
<body>
キーワードを好きなだけ好きなように書き入れる。
</body>
</noframes>



隠しフレーム

<frameset rows="0,100%">
<frame src="top.html" name="topFrame">
<frame src="bottom.html" name="mainFrame">
</frameset>
<noframes>
<body>
キーワードを好きなだけ好きなように書き入れる。
</body>
</noframes>


noscript

JavaScriptをサポートしないブラウザや、JavaScriptを実行しないように設定してるユーザーのために、noscriptは用いられる。アクセシビリティに配慮した代替テキストである。

よくある例としては、ポップアップメニューなどのJavaScriptのナビゲーションを使っている場合で、このままでは次のページに行けないので、サイトマップなどへのリンクを書いておく。


<script type="text/javascript">
<!--
JavaScriptでナビゲーション
// -->
</script>
<noscript>
JavaScriptによるナビゲーションが利用できない方は、<a href="map.html">サイトマップ</a>をご利用ください。
</noscript>

検索エンジンの比較

日本の３大検索エンジンの比較
Google Yahoo! JAPAN MSNサーチ
ページ検索 Google YST MSN Search
ディレクトリ検索 dmoz カテゴリ登録 なし？
有料リスティング AdWords オーバーチュア オーバーチュア
日本語デスクトップ検索 あり なし あり

YSTとはYahoo! Search Technology（ヤフー・サーチ・テクノロジー）の略で、Inktomi（インクトゥミ）＋AltaVista（アルタビスタ）＋AlltheWeb（オールザウェブ）。

検索エンジンのロボット(クローラ、スパイダー)

ロボットの意味

検索エンジンは、カテゴリー型とロボット型に区別され、カテゴリー型の代表は「Yahoo!カテゴリとの一致」に表示されるような「Yahoo!登録サイト」などであり、サイトのオーナーなどが登録を申請する。

これに対して、Googleなどのロボット型検索エンジンでは、申請するのではなく、ロボットが巡回し登録するようになっている。
よって、ロボットが巡回してこない限り、ロボット型検索エンジンに登録もされないし、ページが検索されることもない。

ロボットは、クローラ（Crawler）あるいはスパイダー（Spider）とも言われている。


Googleのロボットは、Googlebot（グーグルボット）と名付けられている。

Yahoo!のロボットは、一般的にはYahoo! Slurp（ヤフースラープ）と言われる。が、それ以外もある。

この新MSN のロボットはMSNBotという。





SEO・SEM辞典

SEO

Search Engine Optimizationの略で、日本語訳は「検索エンジン最適化」。

Googleなどの検索エンジンで、ユーザーがキーワード検索した際に、最初のページ、そして上の方に表示される方が、クリックされやすい、自サイトに誘導しやすいということから、検索エンジンのクセを見抜いて、Webページを検索エンジン用に改造することを、SEOという。


上位表示

SEOによって、検索エンジンの結果画面（SERP）の1ページ目や2ページ目に表示されることをいう。


SEM

Search Engine Marketingの略で、日本語訳は「検索エンジンマーケティング」。

SEOは上位表示によるアクセスアップを担当するが、SEMはさらに売上をあげようとするもの。

業者によっては、単純に、SEOにキーワード連動広告などの活用をプラスしたものを、SEMという場合が多い。


PPC

PPC（Pay Per Click、ペイ・パー・クリック）の略、検索エンジンサイトなどのキーワード検索に連動して表示される広告。有料リスティング広告ともいわれる。Overtureでは、PFP（Pay For Performance、ペイ・フォー・パフォーマンス）と呼ぶらしい。

広告がクリックされる度に課金が発生する。


オーバーチュアのスポンサードサーチ

2002年12月サービス開始（日本）。Yahoo! JAPAN、msn、infoseek、NIKKEI NETなどで採用。


Google AdWords

2002年9月サービス開始（日本）。BIGLOBE、@nifty、AOL、exciteなど。


Google AdSense

AdWordsが検索エンジンサイトに表示される広告であるのに対して、AdSenseは一般サイトにWebページに表示される広告。
「コンテンツターゲット広告配信サービス」と呼ばれている。




PFI

PFIとはPaid For Inclusionの略、検索データベース有料登録プログラムともいわれる。有料インデックスサービスのこと。動的生成ページや新規ページなどが、検索に掛かるにようになる。


Site Match

Yahoo!系列のInktomi、altavista、AlltheWebのPFIサービスをまとめたもの、運営はOverture。小規模サイト（1,000URL未満）向けサービス。

年間の登録料を要し、１ページ、２～10ページ、11ページ以降と細かく課金されている。これにプラスして、クリック課金も支払う必要がある。（Overture - Site Match Pricing ）


Site Match Xchange

Site Matchの大規模サイト（1,000URL以上）向けサービス。

年間の登録料は無料だか、業種別のクリック課金が必要。


他の検索エンジンは批判的

Googleは、検索の公平性が損なわれると槍玉に挙げている。
最近TeomaのAsk Jeevesも、商業性が強まった検索結果は的確度が落ちると、PFIを打ち切る発表をしている。
マイクロソフトも、2004-07-01のMSNリニューアルで、InktomiのインデックスからPFIの部分だけを削除している。

このPFIは、Yahoo!対他の有力検索エンジンという図式になっている。



MSNサーチの特別構文とサーチビルダ

新MSNの検索

キーワード

そのまま、キーワードを入力する。当然、検索順位を見る。もちろん競合サイトも分析するべき。

キーワード site:サイトURI

指定サイト内の、キーワード検索。自サイトの場合、新MSNにインデックスされているページや、順位が確認できる。

site:サイトURI

サイトの各ページが、どれだけインデックスされているかを確認する。http://を付けない。

Link:ページURI

「Link:」は、指定ページにリンクしているページの検索である。http://を付けない。

LinkDomain:

これに対して「LinkDomain:」は、サブドメインを含む指定ドメインの全ページを対象に、リンクしているページの検索となる。

InURL:○○

URIに、○○を含むページの検索である。

つまりアルファベットの場合、URIの中のキーワードもSEO的に有効となったといえるだろう。
逆に、ペナルティを掛けられる時も、リスクを抱え込むことになる。

InAnchor:○○

自ページのアンカータグに○○を含むページ、さらに、他ページから○○のアンカーテキストでリンクされているページの検索である。

当然といえば当然だが、新MSNもアンカーテキストマッチが有効であるとの証拠である。

InTitle:○○

タイトルに、○○を含むページの検索である。

ある意味、タイトル内のキーワードは、それなりに重み付けがされるということになるだろう。

InBody:○○

ページのテキスト、<body>～</body>の間に、○○を含むページの検索である。

これは恐らく、HTMLタグをはずされた素のテキストを検索すると思う。



サーチビルダ

新MSNには、秀逸な「サーチビルダ」が実装されている。

結果レベル調整

下記の画像のように、特に「結果レベル調整」が、新MSNのアルゴリズムをうかがい知るのに有効なのである。