続・ウイルスバスター2011の迷惑メールフィルターがうまく動作しない件について
この
続き
処理レベルがOutlook2010の機能で、判定基準が2011の機能だとようやく分かった。そら独立だわ。以前も書いた ように「使えないソフトは使わない」主義なので、ウイルス対応ソフトは別のソフトに乗り換えた。
たぶん気のせいだと思うのだが、この48時間ほどの間の迷惑メールがめっきり減った気がする。その所為か新しいソフトの処理の妥当性がよく分からない。そのため判別をもっとも厳しいものに変更した。（今のところ、outlook2010で見逃された迷惑メールはこのソフトも見逃す。）また、outlookで連絡先にあるアドレスを信頼するように設定しても、利かない場合があることが判明した。間抜けすぎだろう、outlook。（以前は問題なかったのでウイルスバスターがoutlookの間抜けな処理を回復していたのだろう。）強制的にそのアドレスをセーフリストに組み込む。
今思いついたのだが、ウイルスバスターはoutlookの間抜けな処理を回復するついでに正しい処理も回復していたのかもしれない。要するに outlookの判定基準よりも基準が甘く、且つ処理として優先される場合だ。この場合は処理されない迷惑メールの量はoutlook単独より増加する。 であれば単にウイルスバスターの迷惑メール処理を切るだけで自動処理される迷惑メールは増えるはずだ。（その代わり、迷惑メールに誤判定されるメールが出てくる。）まあ、ここら辺はバーターなのである程度は割り切るしか仕方がない。
新ソフトについての評価を下すにはまだ早いが、個人的にはoutlook2010の迷惑メール機能を使って、誤判定された正常メールを拾い出す方が手間（というよりは、精神的負荷）が少ない気がする。明らかに主観の問題なので人に勧めるようなものでもないが。
処理レベルがOutlook2010の機能で、判定基準が2011の機能だとようやく分かった。そら独立だわ。以前も書いた ように「使えないソフトは使わない」主義なので、ウイルス対応ソフトは別のソフトに乗り換えた。
たぶん気のせいだと思うのだが、この48時間ほどの間の迷惑メールがめっきり減った気がする。その所為か新しいソフトの処理の妥当性がよく分からない。そのため判別をもっとも厳しいものに変更した。（今のところ、outlook2010で見逃された迷惑メールはこのソフトも見逃す。）また、outlookで連絡先にあるアドレスを信頼するように設定しても、利かない場合があることが判明した。間抜けすぎだろう、outlook。（以前は問題なかったのでウイルスバスターがoutlookの間抜けな処理を回復していたのだろう。）強制的にそのアドレスをセーフリストに組み込む。
今思いついたのだが、ウイルスバスターはoutlookの間抜けな処理を回復するついでに正しい処理も回復していたのかもしれない。要するに outlookの判定基準よりも基準が甘く、且つ処理として優先される場合だ。この場合は処理されない迷惑メールの量はoutlook単独より増加する。 であれば単にウイルスバスターの迷惑メール処理を切るだけで自動処理される迷惑メールは増えるはずだ。（その代わり、迷惑メールに誤判定されるメールが出てくる。）まあ、ここら辺はバーターなのである程度は割り切るしか仕方がない。
新ソフトについての評価を下すにはまだ早いが、個人的にはoutlook2010の迷惑メール機能を使って、誤判定された正常メールを拾い出す方が手間（というよりは、精神的負荷）が少ない気がする。明らかに主観の問題なので人に勧めるようなものでもないが。
ウイルスバスター2011の迷惑メールフィルターがうまく動作しない件について
新年明けましておめでとうございます。本年もよろしくお願いします。
新年一発目くらいは明るい話題でいきたいと思ったのですが目についたので。（とは言え別にそれほど暗くもないと思いますよ。）
------では、ここから
ここ とか、いろいろなところでまともに動かない迷惑メール処理に苦労しているようである。まあ、苦労を好きこのんで背負う必要はないが、背負うといろいろ見えてくることもあるのもまた事実である。今日はそんなお話。
通常、迷惑メールフィルターはベイズ推定に基づいて振り分けられている。
要するに中身を単語などに分解して、これがこのくらいの頻度で出てくるようなものは迷惑メールの確率67%とか推定するわけだ。どれほど確率が高ければ迷惑メールと判断するかで、判定基準が高かったり低かったりする。実際には差出人アドレスとか、メールに記述されているURIとかでも判断するのだろうが。
ところが、だ。2011になってから著しく安全メールに判断される迷惑メールが増えた。（一応、判定基準と処理レベルをともに「高」にしているのだが。だいたい、この判定基準と処理レベルの違いは何だ。連動していないので多分別の基準と思うが。たぶんほとんどの人がその違いを理解していないだろう。ヘルプにも出てこないし。翻訳が悪いのか？）
OutLook2010の側でも判断しているだろうから、自分としては2011は「ほとんど機能していないのではないか」とにらんでいる。（仕様として振り分け先を「迷惑メールフォルダ」から「迷惑メール」フォルダに変更したのも怪しい。前者はウイルスバスター2010が独自に作ったフォルダーで後者はoutlookに元々あるフォルダーだ。これでは迷惑メールの振り分け機能がoutlookによるものかウイルスバスターによるものか区別がつかない。要するにウイルスバスターは何もしていなくてもある程度の迷惑メールは振り分けられる。想像するに、2011は迷惑メールフィルター機能を自慢できるものではないのだろう。）
もう少し考えを進めてみよう。迷惑メールフィルターはベイズ推定を元にしていると書いたが、当然推定するためにはデータベースが必要だ。このデータベースの位置が2010と2011で異なると考えたらどうだろう。2010は当然PC上にあるし、2011はインターネット上にあるという仮定だ。この場合、以下の仮定を受け入れれば上記の間抜けな動作は当然のものになる。
仮定：「迷惑メールのデータ分布の個人特性は全体の特性からかなりずれる。」
どういうことかと言えば、たとえばウイルス（最近の言い方ではマルウエア）は誰に対しても普通にウイルスで、「避けたいもの」である。要するに「イヤなものである」という判断は全体と個人の間でほとんどズレは生じない。ところが迷惑メールの場合、そうとは限らないのだ。
たとえば「バイアグラ」という単語を含むメール群を考えよう。この単語はありきたりな迷惑メールに含まれる単語でベイズ推定から、こういう単語を含むメールが普通の人に送られてくる可能性は低いと考えられる。だから、このメール群のほとんど全てのメールは（たぶん）女性や若い男性に送られた場合はおそらく迷惑メールだろう。しかしバイアグラ購入歴のある人にとっては迷惑メールである確率は下がる。（購入歴がある以上、このメール群のうちいくつかは迷惑メールでない可能性がある。だから彼はそれを安全メールに変更する。そしてこの「安全である」という判断は共有される。）
であれば、全体としてこのメール群の迷惑メールである確率は両者の間で収まる。
しかしよく考えて欲しい。この確率は実際には誰の満足も得ない確率だ。（このようなメールをカットしたい人にとっては100%でカットしたいものであるし、そうでない人にとってはこの単語によって安全メールが迷惑メールと判断される可能性が上がる。）要するにここにあるのは、実際の分布は2つの山がある分布であるにもかかわらず無理矢理、正規分布？に収めた事による食い違いだ。（通常多くの推定は、分布則をあらかじめ決めておく。そうしないと判定する基準が作れないから。）
繰り返しになるが「迷惑メールと判断できるデータ特性の個人別要素が大き」ければ大きいほど、全体でまとめた推定は的外れになる。（実分布と仮定された分布からの乖離で）
さて、実際の判定はこれほど単純ではないだろうが、どちらにしてもこれは「迷惑メールの判定データベースをインターネット上に共有する」事から発生する弊害である。この技術的枠組みを変更しない限り、ベイズ推定による振り分けは誰の満足も得ない結果しか出さない。（小手先として、共有データベースで加点して、個人別データベースで修正する事は可能だが、それは実質個人別データベースで処理する事に等しい。またハッシュ値通信だけなら後者の方が実質的には役に立つと思う。その上、リアルタイムで迷惑メールの共通判定データベースを更新する意義と必要性は著しく低い。）
ウイルス対策としてデータベースをインターネット上におく事ができるのは「ウイルスと判断できるデータ特性に個人別特性が少ない」からで、迷惑メールでそれがうまくいかないのはそういうデータ特性でないからだ。
まとめ
何らかの判断をするのにインターネット上の共有データベースを使用するのは最近としては妥当（もしくは流行）であるが、それが妥当であるのは判断基準の個人別特性依存が小さい場合に限る。（大きい場合は誰も得をしないアホな結果に終わる）
まあ、この考察が正しいとすれば、これを迷惑メールに適用したアホは集合知を少しかじって、あまり深く考えたことのない人であろう。（で、マーケット担当が意味のないパズワードをつける。）そういう人には次の孔子の言葉をあげましょう。
「学びて思わざれば、すなわち罔（くら）く。思いて学ばざれば、すなわち殆（あやう）しと。」
2011.1.7追記
昨日、迷惑メール処理が（おそらくは全く）動かない関連で来ていただいた方がいたが、どうもその原因は別記事 の追記にあるようなのでそちらをご覧いただきたい。この記事は「うまく動作しない」件に関する技術的考察ですから。
2011.1.28追記
どうも、かなりの人が迷惑メールの振り分け機能に不満があるようだ。私のとった対処法が次の記事 にあるのでそちらを参考にするといいかもしれない。
新年一発目くらいは明るい話題でいきたいと思ったのですが目についたので。（とは言え別にそれほど暗くもないと思いますよ。）
------では、ここから
ここ とか、いろいろなところでまともに動かない迷惑メール処理に苦労しているようである。まあ、苦労を好きこのんで背負う必要はないが、背負うといろいろ見えてくることもあるのもまた事実である。今日はそんなお話。
通常、迷惑メールフィルターはベイズ推定に基づいて振り分けられている。
要するに中身を単語などに分解して、これがこのくらいの頻度で出てくるようなものは迷惑メールの確率67%とか推定するわけだ。どれほど確率が高ければ迷惑メールと判断するかで、判定基準が高かったり低かったりする。実際には差出人アドレスとか、メールに記述されているURIとかでも判断するのだろうが。
ところが、だ。2011になってから著しく安全メールに判断される迷惑メールが増えた。（一応、判定基準と処理レベルをともに「高」にしているのだが。だいたい、この判定基準と処理レベルの違いは何だ。連動していないので多分別の基準と思うが。たぶんほとんどの人がその違いを理解していないだろう。ヘルプにも出てこないし。翻訳が悪いのか？）
OutLook2010の側でも判断しているだろうから、自分としては2011は「ほとんど機能していないのではないか」とにらんでいる。（仕様として振り分け先を「迷惑メールフォルダ」から「迷惑メール」フォルダに変更したのも怪しい。前者はウイルスバスター2010が独自に作ったフォルダーで後者はoutlookに元々あるフォルダーだ。これでは迷惑メールの振り分け機能がoutlookによるものかウイルスバスターによるものか区別がつかない。要するにウイルスバスターは何もしていなくてもある程度の迷惑メールは振り分けられる。想像するに、2011は迷惑メールフィルター機能を自慢できるものではないのだろう。）
もう少し考えを進めてみよう。迷惑メールフィルターはベイズ推定を元にしていると書いたが、当然推定するためにはデータベースが必要だ。このデータベースの位置が2010と2011で異なると考えたらどうだろう。2010は当然PC上にあるし、2011はインターネット上にあるという仮定だ。この場合、以下の仮定を受け入れれば上記の間抜けな動作は当然のものになる。
仮定：「迷惑メールのデータ分布の個人特性は全体の特性からかなりずれる。」
どういうことかと言えば、たとえばウイルス（最近の言い方ではマルウエア）は誰に対しても普通にウイルスで、「避けたいもの」である。要するに「イヤなものである」という判断は全体と個人の間でほとんどズレは生じない。ところが迷惑メールの場合、そうとは限らないのだ。
たとえば「バイアグラ」という単語を含むメール群を考えよう。この単語はありきたりな迷惑メールに含まれる単語でベイズ推定から、こういう単語を含むメールが普通の人に送られてくる可能性は低いと考えられる。だから、このメール群のほとんど全てのメールは（たぶん）女性や若い男性に送られた場合はおそらく迷惑メールだろう。しかしバイアグラ購入歴のある人にとっては迷惑メールである確率は下がる。（購入歴がある以上、このメール群のうちいくつかは迷惑メールでない可能性がある。だから彼はそれを安全メールに変更する。そしてこの「安全である」という判断は共有される。）
であれば、全体としてこのメール群の迷惑メールである確率は両者の間で収まる。
しかしよく考えて欲しい。この確率は実際には誰の満足も得ない確率だ。（このようなメールをカットしたい人にとっては100%でカットしたいものであるし、そうでない人にとってはこの単語によって安全メールが迷惑メールと判断される可能性が上がる。）要するにここにあるのは、実際の分布は2つの山がある分布であるにもかかわらず無理矢理、正規分布？に収めた事による食い違いだ。（通常多くの推定は、分布則をあらかじめ決めておく。そうしないと判定する基準が作れないから。）
繰り返しになるが「迷惑メールと判断できるデータ特性の個人別要素が大き」ければ大きいほど、全体でまとめた推定は的外れになる。（実分布と仮定された分布からの乖離で）
さて、実際の判定はこれほど単純ではないだろうが、どちらにしてもこれは「迷惑メールの判定データベースをインターネット上に共有する」事から発生する弊害である。この技術的枠組みを変更しない限り、ベイズ推定による振り分けは誰の満足も得ない結果しか出さない。（小手先として、共有データベースで加点して、個人別データベースで修正する事は可能だが、それは実質個人別データベースで処理する事に等しい。またハッシュ値通信だけなら後者の方が実質的には役に立つと思う。その上、リアルタイムで迷惑メールの共通判定データベースを更新する意義と必要性は著しく低い。）
ウイルス対策としてデータベースをインターネット上におく事ができるのは「ウイルスと判断できるデータ特性に個人別特性が少ない」からで、迷惑メールでそれがうまくいかないのはそういうデータ特性でないからだ。
まとめ
何らかの判断をするのにインターネット上の共有データベースを使用するのは最近としては妥当（もしくは流行）であるが、それが妥当であるのは判断基準の個人別特性依存が小さい場合に限る。（大きい場合は誰も得をしないアホな結果に終わる）
まあ、この考察が正しいとすれば、これを迷惑メールに適用したアホは集合知を少しかじって、あまり深く考えたことのない人であろう。（で、マーケット担当が意味のないパズワードをつける。）そういう人には次の孔子の言葉をあげましょう。
「学びて思わざれば、すなわち罔（くら）く。思いて学ばざれば、すなわち殆（あやう）しと。」
2011.1.7追記
昨日、迷惑メール処理が（おそらくは全く）動かない関連で来ていただいた方がいたが、どうもその原因は別記事 の追記にあるようなのでそちらをご覧いただきたい。この記事は「うまく動作しない」件に関する技術的考察ですから。
2011.1.28追記
どうも、かなりの人が迷惑メールの振り分け機能に不満があるようだ。私のとった対処法が次の記事 にあるのでそちらを参考にするといいかもしれない。
今年を振り返って
皆様、いかがお過ごしでしょうか？よい年であったのであれば幸いに思います。来年もよい年でありますように。
このブログも書き始めて1年半以上たちました。読んでくださる方が若干ですが増えているようでうれしい限りです。そこで、この一年を振り返ってみようと思います。
1月：宝くじの話 から始まりました。公平な構造とは何か、という話です。
2月：CentOSからiPhone関連です。最近CenｔOSの話は書かなくなりましたね。運用が特に問題ないせいなのですが。何か問題が発生したらまた書こうと思います。
5月：10億までの素数 、口蹄疫の話 などの記事を書きました。古いハードでは多少の技術ではどうにもならない、というIT技術の進化のすごさをみました。夏に新PCを購入しましたので持ってくればすぐに速度測定はできますが（シンプルなCプログラムなので）「せっかくだから並列化もしたいし……」ということで放ってあります。
6月：首相交代から半年内閣が機能しない予想記事 を書きました。まあ、不幸なことにいろいろなことが起きながら予想通りのようです。来年以降も心配の種は尽きないようです。（尽きることなど無いのでしょうが。）
8月：新PCを購入してSSDの記事 を書きました。今でも結構アクセスがあります。一番多く読まれている記事と思います。やはり速い起動を求めている人が多いことの表れでしょう。
9月：Mac mini購入とiOSのインストールの記事 もアクセスの多い記事の一つです。スマートフォンは今年注目を集めた製品の一つでしょう。Androidも出てきました。ネットにアクセスするのは主にPCという世代はもう古くなりつつあるのかもしれません。
11月：IT Hackという形で記事を3本書きました。（Live Meshを利用したバックアップ , ライブラリの使い方 、Outlook2010での仕分け方 ）結構読まれているので、Hackものの需要は多いと言うことが分かりました。とは言え、専業で書かれている方が多い題材ですから、重複して書くのもどうかと思うので、何か他の人が書いていない（少なくとも自分が見かけていない）Hackがあればまた書いてみようと思います。
12月：WikiLeaksが日本でも騒がれました。「WikiLeaksがギークの思想表現の一形態である 」という記事は他でもその後いくつか見かけました（ワイヤーヘッドという表現の記事も見かけました。）が、自分が一番早かったと自負しております。まあ、影響力はミジンコ程度あるかも疑問ですが。
この一年の流れを俯瞰してみると、IT関連はやはりクラウドでしょう。去年の12月にクラウドに関する記事 を書きましたが、特に意識していなくてもクラウド上のサービスを利用している人はかなり増えたと思います。スマートフォンの普及もこれが後押ししていると思います。（まあ、正確には相互作用でしょうが。）
来年は国内はアナログ停波やらMOVAの巻き取りなどがあります。国外を見れば様々な企業が勃興し、主役の交代が見え隠れしています。そこに参入できる日本企業はあるでしょうか。
政治はまあ、予想の範囲内で混乱しています。芸能人の惚れたはれたレベルの記事しかないメディアに期待しても無駄でしょう。今の内閣は財務省のコントロール下にあるようなので大義名分は財政規律で大連立でしょうか。いつの世でもそうですが、自分の身は基本自分で守るしかないのが一般人です。何とか努力したいものです。
それでは皆様よいお年を。
このブログも書き始めて1年半以上たちました。読んでくださる方が若干ですが増えているようでうれしい限りです。そこで、この一年を振り返ってみようと思います。
1月：宝くじの話 から始まりました。公平な構造とは何か、という話です。
2月：CentOSからiPhone関連です。最近CenｔOSの話は書かなくなりましたね。運用が特に問題ないせいなのですが。何か問題が発生したらまた書こうと思います。
5月：10億までの素数 、口蹄疫の話 などの記事を書きました。古いハードでは多少の技術ではどうにもならない、というIT技術の進化のすごさをみました。夏に新PCを購入しましたので持ってくればすぐに速度測定はできますが（シンプルなCプログラムなので）「せっかくだから並列化もしたいし……」ということで放ってあります。
6月：首相交代から半年内閣が機能しない予想記事 を書きました。まあ、不幸なことにいろいろなことが起きながら予想通りのようです。来年以降も心配の種は尽きないようです。（尽きることなど無いのでしょうが。）
8月：新PCを購入してSSDの記事 を書きました。今でも結構アクセスがあります。一番多く読まれている記事と思います。やはり速い起動を求めている人が多いことの表れでしょう。
9月：Mac mini購入とiOSのインストールの記事 もアクセスの多い記事の一つです。スマートフォンは今年注目を集めた製品の一つでしょう。Androidも出てきました。ネットにアクセスするのは主にPCという世代はもう古くなりつつあるのかもしれません。
11月：IT Hackという形で記事を3本書きました。（Live Meshを利用したバックアップ , ライブラリの使い方 、Outlook2010での仕分け方 ）結構読まれているので、Hackものの需要は多いと言うことが分かりました。とは言え、専業で書かれている方が多い題材ですから、重複して書くのもどうかと思うので、何か他の人が書いていない（少なくとも自分が見かけていない）Hackがあればまた書いてみようと思います。
12月：WikiLeaksが日本でも騒がれました。「WikiLeaksがギークの思想表現の一形態である 」という記事は他でもその後いくつか見かけました（ワイヤーヘッドという表現の記事も見かけました。）が、自分が一番早かったと自負しております。まあ、影響力はミジンコ程度あるかも疑問ですが。
この一年の流れを俯瞰してみると、IT関連はやはりクラウドでしょう。去年の12月にクラウドに関する記事 を書きましたが、特に意識していなくてもクラウド上のサービスを利用している人はかなり増えたと思います。スマートフォンの普及もこれが後押ししていると思います。（まあ、正確には相互作用でしょうが。）
来年は国内はアナログ停波やらMOVAの巻き取りなどがあります。国外を見れば様々な企業が勃興し、主役の交代が見え隠れしています。そこに参入できる日本企業はあるでしょうか。
政治はまあ、予想の範囲内で混乱しています。芸能人の惚れたはれたレベルの記事しかないメディアに期待しても無駄でしょう。今の内閣は財務省のコントロール下にあるようなので大義名分は財政規律で大連立でしょうか。いつの世でもそうですが、自分の身は基本自分で守るしかないのが一般人です。何とか努力したいものです。
それでは皆様よいお年を。