カーネル法

カーネル法と呼ばれる一連の機械学習の分野が急速に発展した背景にはやはり

サポートベクターマシン

と呼ばれる分類アルゴリズムが非常に高い予測精度を示すことが明らかになったことが挙げられます。

このサポートベクターマシン
は７０年代にVapnikらが提案したOptimal Hyperplane Classifier(OHC)を非線形化したもので、なんと

２０年！

もかけて、線形判別から非線形判別に拡張したことになります。

この間、世界では神経回路を数理的に模したニューラルネットワークや遺伝的アルゴリズムが席巻しており、その問題点も指摘し始められた時期にちょうど登場してきたことになります。

数学的にはサポートベクターマシンに類似した形で主成分分析などの他の多変量解析の手法にも大きな影響を与えました。

現在もその発展は続き、応用先に応じて様々な「カーネル」が提案されてきました。

これらの手法を総称して、「カーネル法」と呼ばれるようになりました。

経験損失最小化

色々な指標（性別・年齢など）から詳細に顧客の購買パターンを分析すると、あるルールがあるので、これに沿って、在庫をうまく管理したりして、大きな成功を収めた事例として、コンビニや各種小売業などが有名であることはよく知られています。

しかし、詳細に分析すればするほど、ルールが複雑になり、うまくいかなる場合があります。また、もっと予測が精度よくできれば、利益が最大化できるのではないかと考えたりするものですが、ここで問題になるのは未知の顧客（情報）に対して、最も良い答えを導くには一体どのようにすれば良いかということに尽きると考えられます。

もし、詳細に分析して、ほとんどの顧客の購買パターンをルール化できたと仮定すると、これを機械学習では

経験損失最小化

を行っていると言います。

しかし、「既知の顧客の購買パターンをルール化」することが果たして、未知の顧客に対して有効なのでしょうか？

この辺で諦める

というのも現実的ですが、理論的にはこれを避けることが可能です。

未知の情報に対する正解を最大化することを機械学習では

期待損失最小化

と呼びます。まさしくこれが、「予測」を行う上で重要です。

ここで、未知の情報は当然私達は知らないので、その正解を知る確率を最大化するのは不可能のように思われますが、何となく

経験損失最小化=期待損失最小化

となるような問題にもしなれば、うまくいく気がします。

これが

サポートベクターマシン

と呼ばれる珍妙なアルゴリズムの正当性を示す理論的背景となりました。

知ってることと知らないこと

一般に「既知の事実が説明できること」と「予測」は数学的には全く別の問題として捉えるべきであることが明らかになりつつあります。

分かりにくいので、競馬や野球で例えると

毎週金曜日は大概＊＊＊が勝っている

というルールを発見しても

来週金曜日も＊＊＊が勝つだろう

は言い切れない（常識）。

しかし、どうしてそうなのか。

もちろん、そのルールは有用でしょうが（ギャンブルでは）、普通、信じるには何か根拠が必要だと感じると思います。

未知（あるいは未来）に対して、どの程度の確率でそうなのか、それを理論的に評価するために

統計的学習理論

をVapnikらが提唱しました。(1998年）

ここには一切の妥協を許さない理論的根拠が確立され、今後様々な分野で役立つであろう根拠が書いてあるのですが、数式だらけで、残念ながら、その片鱗すら見えません。

その片鱗を今後示します。

機械学習とは

機械学習とは既知の情報から有用な情報を得たり、未知の情報に対して予測を行うことなど一般を指します。

しかし、これらの問題は非常に難しいので、何らかの仮定を置いたり、あるいは全く置かないという様々な立場があり、非常に興味深いところがあります。

近年

サポートベクターマシン

と呼ばれるアルゴリズムが注目を浴び、一躍機械学習の有用性が認識されるようになってきましたが、これはごく最近のことで、実際は

ほとんど役に立たない

分野だったというのが、内情です。

しかし、この背景には多くの哲学的な側面も含まれ、その魅力は何事にも代えられないものです。

その魅力を伝えることができればと思います。