「このEA、バックテストめちゃくちゃ良いんだけど…信用していいの?」
これはEA運用を始めた人が、必ず一度はぶつかる疑問です。
そして結論から言うと、バックテストはそのまま信用してはいけません。
ただし、「完全に意味がない」わけでもありません。
重要なのは、どこまで信用していいのかを正しく理解することです。
今回は、実際にGENESIS・凜・AXISの3つのEAを開発してきた経験から、バックテスト結果の正しい見方を解説します。
バックテストとフォワードテストの違いについてはこちら。
バックテストが信用できないと言われる理由
バックテストが疑われる理由はシンプルです。
「過去のデータに最適化できてしまう」から。
つまり、過去には完璧に見えても、未来では通用しない可能性があるということです。
実際、私たちも開発初期にこれで何度も失敗しています。
例えばGENESISの初期段階。
PF1.5以上、ドローダウンも低い、完璧な結果が出ていました。
しかしフォワードで回した瞬間、「あれ?全然勝てないぞ…」という状態に。
原因は明確で、“過去に合わせすぎた”ロジックだったからです。
ではバックテストは意味がないのか?
結論はNOです。
バックテストはむしろ、EA開発において必須です。
ただし役割は「未来予測」ではなく、以下です。
・ロジックの優位性の確認
・リスクの把握
・挙動のチェック
つまり、“答え”ではなく“ヒント”として使うものです。
開発者が見ている3つのポイント
では、実際にバックテストを見るときに何を重視すべきか。
私たちが見ているポイントはこの3つです。
① プロフィットファクターだけ見ない
PFは重要な指標ですが、単体では意味がありません。
例えば、
・PF1.5だけど取引回数10回
・PF1.2だけど取引回数1000回
どちらが信頼できるかは明らかです。
AXIS開発時も、PFだけ見ていた頃は「良いEAできた」と思っていたものが、後から崩れました。
重要なのは、「PF × 取引回数 × 安定性」このセットで見ることです。
プロフィットファクターの正しい見方はこちら。
② ドローダウンの“形”を見る
最大DDの数値だけ見ていませんか?
実は重要なのはそこではなく、「どういう負け方をしているか」です。
・一気に大きく負けるのか
・じわじわ削られるのか
・回復までの期間はどうか
GENESISでは、この「DDの質」を見直したことで大きく安定性が改善しました。
最大ドローダウンの考え方を詳しく解説
③ 相場環境ごとのバラつき
バックテストは全期間の結果だけでなく、期間ごとに分けて確認するのが必須です。
・トレンド相場で勝っているのか
・レンジで崩れていないか
・特定の期間だけ突出していないか
凜の開発時も、祝日前後の挙動を検証した結果、「ロジック的に意味がない調整」は排除しました。
これはバックテストを“分解して見た”から気付けたポイントです。
バックテストを信用していいライン
では、どこまでなら信用していいのか。
私たちの基準はシンプルです。
・PF1.1〜1.3程度
・取引回数が十分(最低でも数百〜)
・DDが現実的(10%前後)
・特定期間に依存していない
この条件を満たしていれば、「過度な最適化はしていない可能性が高い」と判断します。
逆に、
・PFが異常に高い
・DDが極端に低い
・取引回数が少ない
こういったものは、ほぼ例外なく疑います。
バックテストで失敗する人の共通点
ここが一番重要です。
失敗する人は必ずこうなります。
「数字を信じてしまう」
ではなく、
「数字の裏を見ない」
これが本質です。
私たちも最初は同じでした。
しかし3つのEAを開発する中で気づいたのは、バックテストは“作れる”という事実です。
だからこそ、
・なぜこの結果なのか
・どこに弱点があるのか
ここまで見て初めて意味があります。
EAで失敗する人の特徴はこちら。
まとめ
バックテストは信用できるのか?
答えはシンプルです。
「正しく見れば使える、間違って見れば破産する」
これは誇張でもなんでもなく、現実です。
EA運用で勝つためには、良い数字ではなく再現性のあるロジックを見てください。
それができるようになると、EA選びも運用も一気にレベルが上がります。
【関連記事】EAの評価に関する重要記事
EAを評価する際は、プロフィットファクター(PF)だけでなく、最大ドローダウン(DD)や取引回数など複数の指標を総合的に確認することが重要です。まずはこちらの記事をご覧ください。
