ボートレースAI開発日記⑩｜正式運用で大切にしている「記録を混ぜない」考え方

第⑨回では、初回ACTIVE runを正式に完走し、これから同じ条件で記録を積み上げていく段階に入ったことを書きました。

では、これから増える記録のうち、何を「正式な実績」として数えるのでしょうか。今回は、AIの正式運用を始めた現在、どのように記録を分けているのかをまとめます。

予想の数字だけでは、あとから正しく振り返れない

たとえば「的中した」「回収率は何％だった」といった数字だけを並べても、それがどの時点で、どの設定で出た予想なのかが分からなければ、正しい検証にはなりません。

開発中に試した予想と、実際の運用と同じ手順で保存した予想を一緒に集計してしまうと、実力以上によく見えたり、逆に問題の原因が追えなくなったりします。

そこで現在は、記録を大きく分けて扱っています。

現在の正式campaignは、forward_main_restart_20260822_v1 です。状態は ACTIVE として運用しています。

正式運用では、次の予想戦略を固定しています。

予想は、登録済みのLaunchAgentによる自然起動を正式経路としています。人が後から手動で実行した予想や、結果を見た後に追加した判定は、正式な運用記録には入れません。

開発では、実行前に処理の安全性を確かめるDry-Runや、入力データを調べるための検証も行います。これらは必要な作業ですが、正式な予想実績ではありません。

そのため、現在の集計では次を明確に分けています。

記録	正式KPIに含めるか
ACTIVE状態で正式経路から保存したdecision・evaluation	含める
Dry-Run	含めない
SHADOW運用	含めない
開発・入力仕様の検証	含めない
後から作ったproduction decision	含めない

2026年9月22日時点で、正式ACTIVE KPIは decision 10件、evaluation 8件です。まだ件数は多くありませんが、だからこそ途中の試行を混ぜず、これから増える記録の基準を先に固定しておく必要があります。

あとからscoreを再計算すると、予想時点の入力時刻や計算記録が変わる可能性があります。

数字が同じに見えても、予想を出した時点の条件が書き換われば、その記録は検証に使いにくくなります。そのため正式Forwardでは、結果を合わせるための再計算や上書きは行わない方針です。

予想が外れたときも、そのまま残す。処理できない特殊な結果は、理由を残して保留する。この積み重ねが、あとから改善点を探すための土台になります。

まだ運用実績を積み上げている途中です。派手な結果を急ぐより、あとから見直せる記録を残しながら、少しずつ検証を続けていきます。