以前、「こまお」の棋力を測定してみようと試みたことがありました。
そんなことを思いついた動機の1つは、「AobaZero の初期の重み data はそこそこ線形に棋力が上がっているのではないか」という (ほぼ根拠がない) 仮説でした。この仮説が正しければ、初心者・入門者向けの software の棋力は AobaZero という物差しでそこそこ定量的に測れる、という考えです。
しかし、試してみてわかったのですが、そもそも AobaZero の初期の重み data は学習量が増えても必ずしも強くなっているわけではない (一部は弱くなっているようにすら見受けられる) ようでした。
最近見つけたのですが、こまおやその他の将棋 software の棋力を計測しようとした方がいるのですね。
今、時間がないので、link だけ紹介しておきます。