前回の記事では、ボートレースAIによる最初の本番事前判定について紹介しました。
対象となった12レースすべてで、締切前に予想を確定し、PURCHASEまたはSKIPの判定を保存することができました。
未判定や重複、後付け、上書きもなく、実戦形式で予想を記録する仕組みは正常に動きました。
では、実際の舟券成績はどうだったのでしょうか。
結論から書くと、今回PURCHASEとなった6レースは、すべて不的中でした。
初回実戦の成績
今回の本番事前判定では、12レースのうち6レースがPURCHASE、残りの6レースがSKIPとなりました。
PURCHASEとなった6レースの結果は、次のとおりです。
- 対象レース：12レース
- PURCHASE：6件
- SKIP：6件
- 的中：0件
- 不的中：6件
- 的中率：0％
- 払戻：0円
- 投資額：600円
- 収支：マイナス600円
- 回収率：0％
最初の本番運用は、残念ながら全レース不的中という結果になりました。
事前判定の成功と予想結果は別
今回の結果を見るときに、分けて考えなければならないことがあります。
それは、
予想を正しい手順で記録できたか
という運用面の評価と、
実際に舟券が的中したか
という予想精度の評価です。
今回、事前判定の仕組みについては正常に動きました。
12レースすべてで、
- 締切約12分前に正式判定
- PURCHASEまたはSKIPを記録
- VALIDとして保存
- 未判定なし
- 重複なし
- 後付けなし
- 上書きなし
- 結果取得との混在なし
という状態を作ることができました。
一方で、PURCHASEとなった6レースは、すべて不的中でした。
つまり今回の結果は、
検証を正しく行う仕組みは動いたが、予想精度は不足していた
と評価するのが最も正確です。
PURCHASEでも的中を保証するものではない
このブログで使用しているPURCHASEは、「このレースは必ず当たる」という意味ではありません。
事前に固定した条件を満たしたため、検証上の購入対象になったことを表しています。
今回の判定では、AIが算出した順位や信頼度の差をもとに、購入対象を選んでいます。
しかし、その条件を満たした6レースはすべて外れました。
この結果から、少なくとも今回の対象レースにおいては、現在の購入条件だけでは的中レースを十分に選別できなかったことが分かります。
PURCHASEという表示があっても、予想精度が保証されるわけではないことが、今回の結果にも表れました。
今回の主な課題は予想精度
前回の記事では、処理終了を示すログや実行前バックアップなど、運用面の改善点について紹介しました。
これらも今後改善すべき課題です。
ただし、舟券成績という点で見ると、今回の最も大きな課題は予想精度です。
6レースすべてが不的中だったため、現在のAI予想や購入判定には、まだ改善の余地があります。
特に確認したいのは、次のような点です。
- AIの上位3艇に実際の上位艇が何艇含まれていたか
- 1着艇をAIが何位に評価していたか
- 3連複の構成艇のうち、どの艇を外していたか
- PURCHASEとSKIPで予想精度に差があったか
- 信頼度が高いレースでも外れていたか
- 展示や気象条件を適切に評価できていたか
- 進入やスタートの変化を予想に反映できていたか
単に「6レース外れた」という結果だけでは、どの部分を直せばよいのかは分かりません。
予想順位と実際の着順を一つずつ比較し、外れ方を分類する必要があります。
外れ方を分析する
同じ不的中でも、内容によって原因は異なります。
1艇だけ抜けたケース
AI上位3艇のうち2艇は3着以内に入ったものの、残り1艇が外れたケースです。
この場合は、3番手候補の選び方や、相手候補の広げ方を検討する必要があります。
軸艇が着外になったケース
AIが最も高く評価した艇が3着以内に入らなかったケースです。
この場合は、1位評価に使用しているスコアや、信頼度の判断方法を見直す必要があります。
予想順位全体が崩れたケース
AI上位3艇の多くが実際の上位に入らなかったケースです。
この場合は、展示データ、モーター成績、選手成績、進入、気象など、順位計算に使用している要素全体を再確認する必要があります。
このように外れ方を分けることで、単純な的中・不的中だけでは見えない問題を探していきます。
すぐに条件は変更しない
6レースすべてが外れると、すぐに予想条件を変更したくなります。
しかし、今回の6件だけで戦略全体が無効だと判断するのは早すぎます。
短期間の成績は、偶然によって大きく変動します。
今回の結果を受けて毎回条件を変えてしまうと、同じルールを継続して評価できなくなります。
また、結果を見ながら条件を変更し続けると、過去の結果にだけ合うルールを作ってしまう危険もあります。
そのため、現在のForward Testでは、事前に決めた条件を一定期間固定して検証します。
今回外れたからといって、次回からすぐに判定基準を緩めたり、都合のよいレースだけを除外したりはしません。
まずは同じ条件でデータを積み重ねます。
そのうえで、
- 購入件数
- 的中数
- 投資額
- 払戻額
- 収支
- 回収率
- 連敗数
- 最大ドローダウン
を確認し、十分な件数が集まった段階で改善を検討します。
SKIPしたレースも確認する
今回、購入しなかったSKIPの6レースについても、結果を確認する必要があります。
もしSKIPしたレースの方が多く的中していた場合は、現在の購入条件が有効なレースを選別できていない可能性があります。
反対に、SKIPしたレースも予想が崩れていた場合は、購入判定だけでなく、AIの順位予想そのものに課題があると考えられます。
今後は、PURCHASEだけではなく、SKIPについても次の内容を比較します。
- 上位3艇の一致状況
- 1着予想の的中状況
- 3連複の的中状況
- 信頼度の分布
- PURCHASEとの成績差
購入しなかったレースも含めて確認することで、現在の判定条件に意味があるのかを検証できます。
的中率だけでなく回収率を追う
今回の成績は、的中0件、回収率0％でした。
当然、よい結果ではありません。
ただし、今後たまたま1件的中したとしても、それだけで改善したとは判断できません。
舟券の評価では、的中率だけでなく、投資額に対してどれだけ払戻があったかを見る必要があります。
的中しても払戻が低ければ、長期的な収支はマイナスになる可能性があります。
そのため、このブログでは今後も、
- 的中率
- 回収率
- 収支
- 連敗数
- ドローダウン
を継続して記録します。
当たった回だけを取り上げるのではなく、外れた回も含めた累計成績で判断していきます。
今回の結果をどう受け止めるか
初回の本番運用で6レースすべて不的中という結果は、予想成績としては厳しいスタートです。
しかし、今回の検証によって、現在の予想精度が十分ではないことを、実戦形式の記録として確認できました。
結果を見てから予想を書き換えたり、外れたレースを検証対象から外したりしていないため、この結果自体に意味があります。
今回の評価は、次のように整理できます。
正常にできたこと
- 締切前に予想を確定できた
- 12レースすべてを正式判定できた
- PURCHASEとSKIPをルールどおり記録できた
- 後付けや上書きを防止できた
- 結果取得と予想処理を分離できた
改善が必要なこと
- PURCHASE6件がすべて不的中
- 購入対象を選ぶ精度が不足
- AI予想順位の精度を詳しく検証する必要がある
- 外れ方を分類し、原因を確認する必要がある
- 終了ログと実行前バックアップを改善する必要がある
仕組みが正常に動いたことで、今後は予想精度の改善に集中できる状態になりました。
これからも結果をそのまま公開します
今回は、初回の本番事前判定における実際の成績を公開しました。
PURCHASEとなった6レースは、すべて不的中でした。
投資額600円、払戻0円、収支はマイナス600円、回収率は0％です。
厳しい結果ですが、これが今回の実際の成績です。
AI予想は、作っただけですぐに安定して当たるものではありません。
実際のレースで事前に予想を固定し、外れた原因を確認し、同じ条件でデータを積み重ねる必要があります。
今後も、当たった結果だけを選んで公開するのではなく、外れた結果や改善点もそのまま記録していきます。
今回の6連敗を、単なる失敗で終わらせず、どこを改善すべきかを見つけるためのデータとして活用していきます。
コメント