過去検証・事前公開・実購入を分ける
| 検証の種類 | 分かること | 残る注意点 |
|---|---|---|
| バックテスト | 過去データ上でルールを当てはめた結果 | 後から条件を選んでいないか、確定オッズを使っていないか |
| 事前公開の検証 | 発走前に示した予想の結果 | 公開時刻・変更履歴・見送り条件が残るか |
| 実購入の記録 | 実際の購入額と払戻額 | 全購入が含まれ、対象期間と購入時刻が確かか |
これらを一つの「実績」にまとめると誤解を招きます。サイト内のAI競馬新聞は、発走前の事前予測データを保存・公開し、結果確定後に客観的な採点を行っています。
未来の情報を入れずに確かめる
予測対象の着順を説明変数へ含めれば、過去の結果にうまく合うのは当然です。それほど直接的でなくても、未来まで集計した勝率、確定後に判明する値、後から変更された条件が混じることがあります。
時間順に学習期間と評価期間を分けるだけでなく、各入力がその時点で入手できたかを確認します。評価期間の結果を見て調整したルールは、別の未使用期間でも検証する必要があります。
順位の精度と利益は別に評価する
勝つ馬を上位へ並べる能力を測る指標と、表示する確率の正しさを測る指標は異なります。さらに、予測が正しくてもオッズに対して購入条件が合わなければ、利益につながるとは限りません。
学習でのAUCなどの指標だけから「この回収率が出る」とは言えません。モデルの指標、確率の校正、購入ルールを適用した結果を分けて示す必要があります。穴イチは未確認の精度数値を宣伝に使いません。
成績を見るときに必要な記録
- 対象期間、会場、券種、対象レース数と除外条件。
- 発走前の公開時刻、馬番、オッズの取得時刻、変更履歴。
- 購入ルール、各購入額、払戻額、返還額。
- 的中・不的中・見送り・結果待ちを分けた一覧。
- 学習期間・検証期間、用いたモデルやルールの版。
現時点の操作デモに、実購入証明や運用履歴はありません。こうした記録がない段階で「実証済み」と表示することは避けます。
好成績の条件を探した後は、別の期間で見る
曜日、会場、距離、人気帯、閾値を何通りも試せば、偶然よかった組み合わせは見つかりやすくなります。その中の最高値だけを見せると、将来も通用する度合いを過大に見積もりやすくなります。
過去の好成績は将来の保証ではありません。条件を先に決め、変更した時期を残し、別期間でも結果を確かめることが重要です。情報公開・訂正方針もあわせてご確認ください。