作ってわかる!アンサンブル学習アルゴリズム入門 | ナナとトモのブログ

ナナとトモのブログ

最近は書評メインですがナナ(ダックスフント)のかわいさを世界に広めるブログです。

大昔の決定木から最近の深層学習まで、機械学習といってもいろいろな

ものが提案されていますが、複数のモデルを組み合わせてさらに性能を

上げる「アンサンブル」という手法があります。

 

深層学習向けに公開されている評価セットでは、各研究グループの手法

ごとの性能値がランキングされていることが多いですが、アンサンブルは

別でランキングされているところを見ると「押さえておかないとなあ」という

気になったので、ちょっと調べてみました。

 

今回読んだ本は、理論的に解説するというより自分でコードを読み書き

することで体得しようというアプローチ。コードの書き方には疑問を感じる

面もありますが、わかりやすく書かれているので読みやすい気がします。

あまり最新の手法は取り上げられていない気がしますが、

・決定木とプルーニング

・バギング

・AdaBoostと勾配ブースティング

といった基本的なところは押さえてあるので、アンサンブル学習といった

考え方は身に着けられるでしょう。ブースティングでは数式も簡単ながら

解説されているので、自分で新たなモデルを考えるきっかけになるかも

しれません。