EAはこうやって作られる | GENESIS開発ログ② バックテスト検証

EA開発において、バックテストは“最も誤解されている工程”です。

多くの人は、「バックテストで勝てている＝優秀なEA」と思っていますが、これは半分正解で半分間違いです。

結論から言うと、バックテストの本当の目的は“勝てるかどうか”ではなく“壊れるかどうか”を確認することです。

今回は、GENESISの開発過程をもとに、バックテストをどう見て、どう判断しているのか、実際の思考をそのまま解説していきます。

バックテストは「未来を当てるもの」ではない

まず前提として、バックテストは未来を保証するものではありません。

どれだけ綺麗な右肩上がりでも、実運用で崩れるEAは山ほどあります。

ではなぜやるのか。

それは、

・明らかにダメなロジックを排除する
・挙動の癖を把握する
・リスク（DD）を把握する

ためです。

GENESISでも、最初のバックテストで残ったロジックはほんの一部です。

ほとんどはここで落ちています。

GENESISで最初に見たのは「PF」ではない

多くの人が最初に見るのはPF（プロフィットファクター）ですが、GENESISでは違います。

最初に見たのは

・取引回数
・ドローダウン
・損益分布

この3つです。

理由はシンプルで、PFは後からどうとでもなるからです。

例えば、

・取引回数が少ない → 偶然の可能性が高い
・DDが大きい → 運用に耐えない
・損益が偏っている → 再現性が低い

この状態でPFだけ良くても意味がありません。

「良いバックテスト」とは何か

GENESISの基準で言うと、良いバックテストは以下です。

・10年以上で安定
・取引回数が十分（数百〜数千）
・極端なドローダウンがない
・急激な右肩上がりではない

一見地味ですが、こういう結果の方が長く生き残ります。

逆に、

・途中から急に伸びる
・特定期間だけ強い
・勝率が異常に高い

こういうものはほぼアウトです。

カーブフィッティングとの戦い

バックテストで一番危険なのがカーブフィッティングです。

GENESISの開発中も、「ここ少し調整すればPF1.5いける」という場面は何度もありました。

ですが、そのほとんどを捨てています。

理由は、それは過去に最適化しているだけだからです。

実際に一度、パラメータを細かく調整してPFを上げたことがあります。

結果はどうなったか。

フォワードで崩壊しました。

この経験があるので、今は“良くなりすぎたら疑う”ようにしています。

3つのEAで共通していた判断基準

GENESIS・凜・AXIS
すべてのバックテストで共通していたのは、“違和感がないか”を見ることです。

例えば、

・勝ち方が自然か
・負け方が偏っていないか
・特定条件に依存していないか

AXISでは、ロット可変を入れたバックテストが一見良く見えました。

ですが、損益の出方に違和感があり不採用にしています。

結果的に固定ロット＋偶数ロットに落ち着きました。

また凜でも、祝日ロジックを入れたバックテストは一時的に良くなりましたが、「再現性が薄い」と判断して切っています。

この判断は、数値ではなく“経験”に近い部分です。

バックテストのゴールは「通過」ではない

ここで重要なのは、バックテストは「合格するもの」ではないということです。

むしろ、どこで壊れるかを確認する工程です。

GENESISも、

・特定の相場でDDが伸びる
・連敗が続く期間がある

といった弱点は普通にあります。

ですが、

それを理解した上で使えるかどうか

これが判断基準です。

まとめ

バックテストで見るべきは、

・PFではない
・勝率でもない

“再現性と耐久性”です。

GENESISの開発でも、

・派手な結果は捨てる
・違和感のある挙動は切る
・地味でも安定を選ぶ

この判断を徹底しました。

その結果として、「長く使える可能性があるEA」が残ります。

次回は、このバックテストを通過したロジックが、実際の相場でどう動いたのか。

フォワードテスト編を解説していきます。