「勝っていた」AIシステムを手放した理由|データスヌーピングの罠

AI投資やってみた

前回の記事で、AIに株を5日間まかせた結果、ある程度の勝率が出たという話を書きました。

【初心者向け】勝率だけを見てはいけない|確率で考える投資の基本

あの記事の最後に「Phase 2の結果も報告します」と書きました。

報告します。捨てました。

胸ちゃんです。


この記事でわかること

  • 「短期で勝ったシステム」を本番投入する前にやるべき検証
  • 少ないサンプルで見える「勝率」の罠
  • 勝っていても撤退する判断ができた理由

何が起きたか

Phase 1は5日間、少額で検証しました。銘柄選定は当たっていた。

「これはいける」と思いました。

でも、その前にやるべきことがありました。

「本当に大きなお金を入れていいのか?」をデータで確認すること。

AIに指示して、数万件のデータで検証しました。

5日間じゃなくて、何年分ものデータ。少額じゃなくて、本番のロットで回したらどうなるか。

結果

再現性がなかった。

5日間の実弾検証では、そこそこの勝率でした。でも大量のデータで検証すると、その勝率は安定しませんでした。

たまたま勝てる期間はある。でも長期で回すと、優位性があるとは言えない。

もっとはっきり言うと、AIが「このシステムには優位性がありません」と結論を出しました。

最初にバックテストをしたときは、それなりの勝率が出ていました。だからPhase 1に進んだ。

でもそのバックテスト、今思えばサンプルが少なかった。

「もっと大量のデータで検証しないと信用できない」

そう思って、AIに指示して数万件のデータで改めて検証しました。

結果は残酷でした。データを増やすほど、勝率が安定しなくなった。

少ないデータでは「勝てる」ように見えていたものが、大量のデータで見ると偶然の範囲だった。

これが典型的なデータスヌーピングです。少ないサンプルでたまたま出た「勝ちパターン」を、本物の優位性だと勘違いしてしまう。投資で一番怖い罠の一つです。

5日間の勝率は「たまたま」だったのか

正直、ショックでした。

実弾で複数回勝っていたし、銘柄選定は当たっていた。売りルールの改善もした。Phase 2に進む気満々だった。

でもデータは嘘をつかない。

5日間のうちに入った実弾は、サンプルが少なすぎた。数回しかトレードを入れていない。数回中に勝つのは、コインを数回投げたときの表裏の偏りと、統計的にはそこまで変わらない。

「勝てた」と「勝てるシステム」は違う。

この違いを、大きなお金を入れる前に知れたのは良かったです。

なぜ捨てる判断ができたか

以前の私なら、捨てられなかったと思います。

「せっかく作ったのに」「もうちょっと改良すれば」「条件を変えれば」

こういう気持ちが出てきて、ダラダラ使い続けていたはずです。

でもAIは感情がない。

データを食わせたら、「優位性がない」と返してくる。改良案を試しても、「まだ足りない」と返してくる。

人間は「捨てたくない」と思う。AIは「ダメなものはダメ」と言う。

この冷たさが、実はありがたかった。

捨てたあとに残ったもの

このシステムを作って検証した時間は、無駄だったのか。

全然無駄じゃなかったです。

残ったものがいくつかある。

① 「少額で試す → 大量データで検証 → ダメなら撤退」のプロセス

これは今後どんなシステムを作っても使える。Phase 1で5日間やって、その後に本格検証するという流れが自分の中にできた。

② 売りルールの改善

Phase 1で見つけた「午前中に利確する」「トレーリングストップを入れる」というルールは、別のシステムでも使える。

③ 「ダメなものを捨てる力」

これが一番大きい。投資で一番怖いのは、ダメなやり方に気づかずに続けること。AIのおかげで早く撤退できた。

AIの本当の価値

このブログのタイトルは「AIで株式トレードはできるのか」です。

正直に言います。

PCAシステムは「できなかった」という結果でした。

でもAIが教えてくれたのは「できる銘柄」だけじゃなかった。

「やめるべきタイミング」も教えてくれた。

短期的に勝っていたシステムを、自分の意思で捨てた。

これは負けじゃない。データに基づいた撤退です。

次のシステム

PCAは捨てましたが、この1ヶ月で学んだことを活かして、新しいアプローチに切り替えました。

詳細はまだ書けませんが、すでに検証を始めています。

次の結果も、ここで正直に報告します。勝っても負けても。

この1ヶ月の学び

フェーズ内容得た学び
トレード1AIスクリーニングで初トレードAIの買い判断は有効
トレード2決算先回りのトレード売りもAIに聞くべき
PCA Phase 15日間の少額検証売りルールの改善が鍵
PCA 本番検証数万件データで再検証撤退。データスヌーピングの罠
新システム検証中次回報告予定

▶ シリーズ:
【初心者向け】日本株が初めての私がClaude Codeで始めた最初の1トレード
AI推奨銘柄で学んだこと|勝てたときこそ気を引き締める理由
【初心者向け】勝率だけを見てはいけない|確率で考える投資の基本


本記事は情報提供を目的としたものであり、特定の投資行動を推奨するものではありません。投資にはリスクが伴います。ご自身の判断と責任においてご検討ください。

コメント

タイトルとURLをコピーしました