4-1.カーブフィッティングは何故おきるか?1
4.検証結果の評価方法
テーマ4.の第一回目の話です。
↓ ↓ ↓
システム戦略で検証する度に、検証結果の評価って奴をしなくてはなりません。
その評価をするに当って、とても大切な根本問題を抑えておきましょう。
まず第一回は、
システムトレードで一番やっかいな問題
について考えてみようと思います。
ちょうど 3.優位性のあるルールの作り方
で、単純移動平均線を使ったルールを作っておりますが、
成績を良くする為には、骨格ルール、フィルタールール、共に
(※参照 3-1.システム・ルールを構成する要素(2009.4.10)
どうしても検証という奴が必要になります。
しかし、この検証という奴は、成績向上と同時に、
カーブフィッティングを引き起こすという厄介さを孕んでます。
いきなり数値を並べて説明しても判り難いので、
今日はちょっと例話から入ってみようと思います。
ジャンケン大会がありました。
1000人ぐらいが参加してのトーナメント戦です。
優勝 1
決勝 2
準決勝 4
準々決勝 8
七回戦 16
六回戦 32
五回戦 64
四回戦 128
三回戦 256
二回戦 512
一回戦 1024
ちょうど、10回勝てば優勝ですね。
ベスト16以上は勝率6割をキープです。
ベスト8以上は勝率7割
ベスト4以上は勝率8割
準優勝以上は勝率9割
優勝者は勝率10割
そこで、ジャンケンで勝率6割以上の秘訣を探るために、
ベスト16以上の人たちを集めて、彼らに共通するものを探ろうと思います。
そしたら・・・全員、黒い靴下を履いてました。
つまり、黒い靴下を履けば、ジャンケンで勝率6割のルールが出来るわけです。
・・・・更に、ベスト4以上の人たちの共通項目を調べたら、なんと全員が
眼鏡をかけてました。
黒い靴下を履くという骨格ルールに
眼鏡をかけるというフィルタールールを付け加えると、勝率7割です。
・・・・・(笑
なんか変ですねぇ~、こんな調子で行えば勝率10割のジャンケンルールが
簡単に出来上がってしまいます。
はい、これは思いっ切りカーブフィッティングしています。
・・・というか、こじつけですね^^;
ところで、システムトレードを構築するときに、
こういう罠に陥ってませんか?
ジャンケンというゲームと、服装、装飾品になにか因果関係があれば
そこには理(ことわり)があります。
しかし、どこから見てもありませんよね?
つまり、なんの理(ことわり)の無いものを幾ら抽出しても
まったくシステムになってないわけです。
次回は、もう少しこの話を続けます。
※ちなみに、勝率ナンタラ%とかいって、こういう訳の判らんものを売ってる輩の多いこと…