ボートレースAI開発日記⑪|結果を急いで確定させない理由

ボートレースAIの結果を保留・確認して安全に評価する流れを示すアイキャッチ ボートレースAI開発

第⑩回では、正式運用の記録と、Dry-Run・調査・開発検証を混ぜない考え方を書きました。

前回の記事:正式運用で大切にしている「記録を混ぜない」考え方|開発日記⑩

正式な予想を保存した後は、レース結果と払戻金を確認し、その予想がどうだったかを評価します。通常の結果は順に評価を進めます。ただし、同着など通常処理では判断できない結果だけは、推測せず別レビューで確認します。

今回は、なぜ結果を急いで確定させないのかを書いてみます。

評価は「当たったか」だけで終わらない

正式Forward運用では、予想を保存したあとに、結果・払戻・評価を記録します。

ここで大切なのは、結果を見てから予想を作り直さないことです。評価のために使うのは、レース前に正式な経路で保存済みの予想だけです。

評価を保存するときも、いきなり書き込むのではなく、対象のrunを確認し、事前確認とバックアップを行い、既存の正式entryを一度だけ実行します。保存後には、記録が意図どおりかを改めて確認します。

通常と違う結果は、通常処理へ無理に入れない

たとえば同着が含まれるレースでは、通常の着順データと同じ考え方だけでは評価できない場合があります。

このときに「たぶんこういう順番だろう」と補完してしまうと、AIの予想ではなく、人の推測が混ざった評価になります。いったん正式記録に入れた誤りは、あとから成績を振り返るときに見つけにくくなります。

そのため、9月16日に同着を含む結果が確認されたrunは、通常の処理へ通さず別レビュー対象として保留しています。未評価のまま残すことは不十分に見えるかもしれませんが、分からないものを分かったことにしないための判断です。

「再実行すればよい」わけではない

結果が合わないときに、同じ処理を何度もやり直したり、後から条件を変えて再計算したりすると、どの結果が最初の正式な記録なのかが分からなくなります。

特に、予想時点のscoreを上書きで再計算すると、計算時刻や入力の証跡が変わる可能性があります。数字だけを整えても、予想を出した時点の状況が残らなければ、検証としての意味が薄れてしまいます。

そのため正式Forwardでは、結果に合わせるためのretryや、後付けのproduction decisionは行いません。

0円の記録も大切な記録

9月15日分の正式評価では、着順は6-1-1で、判定は SKIPPED でした。投資・受取・収支はいずれも0円です。

購入しなかったレースは、派手な結果ではありません。しかし、「どの条件なら買わなかったのか」を残すことも、AIの判断を検証するうえで欠かせません。

購入したレースだけを集めるのではなく、見送った判断も同じ基準で残していきます。

今回のまとめ

  1. 評価に使うのは、レース前に保存された正式な予想だけ
  2. 同着など通常処理で判断できない結果は、推測で補完しない
  3. 結果に合わせるための再実行や上書きはしない
  4. 購入しなかった判断も正式な記録として残す

評価を早く終えることよりも、あとから確認できる記録を残すことを優先します。時間はかかっても、判断の過程が追える状態を保ちながら、運用実績を積み上げていきます。

次回の記事:公式データをそのまま学習に使わない理由|開発日記⑫

コメント

タイトルとURLをコピーしました