「このEA、バックテストめちゃくちゃ良いんだけど…信用していいの?」
これはEA運用を始めた人が、必ず一度はぶつかる疑問です。
そして結論から言うと、バックテストはそのまま信用してはいけません。
ただし、「完全に意味がない」わけでもありません。
重要なのは、どこまで信用していいのかを正しく理解することです。
今回は、実際にGENESIS・凜・AXISの3つのEAを開発してきた経験から、バックテスト結果の正しい見方を解説します。
バックテストとフォワードテストの違いについてはこちら。
バックテストが信用できないと言われる理由
バックテストが疑われる理由はシンプルです。「過去のデータに最適化できてしまう」からです。
つまり、過去には完璧に見えても、未来では通用しない可能性があるということです。
GENESIS開発の初期段階でこれを痛感しました。PF1.5以上・DDも低い・見た目は完璧な結果が出ていました。しかしフォワードで回した瞬間、全く勝てない状態になりました。原因は明確で「過去の相場に合わせすぎたロジック」だったからです。
具体的に何が起きたかというと、フィルター条件を1つ追加するたびにバックテストのPFが改善していました。「良くなっている」という感覚がありましたが、期間を分割して確認すると特定の2〜3年だけ極端に好成績で、その期間を除くとPFが大きく落ちることがわかりました。バックテスト全体の数値が良く見えていただけで、実態は過去データへの過剰適応でした。
この経験から「バックテストの数値は作れる」という認識を持つようになりました。だからこそ、数値の裏側を見る習慣が重要です。
過剰最適化の詳細はこちらで解説しています。
ではバックテストは意味がないのか?
結論はNOです。
バックテストはむしろ、EA開発において必須です。
ただし役割は「未来予測」ではなく、以下です。
・ロジックの優位性の確認
・リスクの把握
・挙動のチェック
つまり、“答え”ではなく“ヒント”として使うものです。
開発者が見ている3つのポイント
では実際にバックテストを見るときに何を重視すべきか。EA-Labが見ているポイントはこの3つです。
①プロフィットファクターだけ見ない
PFは重要な指標ですが、単体では意味がありません。
PF1.5でも取引回数が10回のEAと、PF1.2でも取引回数が1,000回のEAでは、後者の方が信頼性が高いです。取引回数が少ないと、結果が「たまたま」である可能性を排除できません。統計的な信頼性には最低でも数百回以上のサンプルが必要です。
AXIS開発でも、PFだけ見ていた頃は「良いEAができた」と感じていたものが、取引回数・期間分割で確認すると崩れるケースがありました。重要なのは「PF×取引回数×安定性」のセットで見ることです。
現在公開している3つのEAのバックテスト取引数はGENESISが10年で1,223回・凜が451回・AXISが1,186回です。アノマリー型の凜は取引回数が少ないですが、10年積み上げることで統計的な最低ラインは確保しています。
プロフィットファクターの正しい見方はこちら。
②ドローダウンの「形」を見る
最大DDの数値だけ見ていませんか?実は重要なのは「どういう負け方をしているか」です。
一気に大きく負けるのか・じわじわ削られるのか・回復までの期間はどのくらいか。この「DDの質」がEAの耐久性を示しています。
GENESISの開発でも、最大DDの数値だけを見ていた時期は判断を誤りがちでした。DDの形を確認するようにしてから、「特定の相場環境で急拡大する弱点」を早期に発見できるようになりました。バックテストのグラフタブでエクイティカーブを確認し、DDがどのタイミングでどのように発生しているかを分析することが重要です。
最大ドローダウンの考え方はこちら。
③相場環境ごとのバラつきを確認する
バックテストは全期間の結果だけでなく、期間ごとに分けて確認することが必須です。
トレンド相場で勝っているのか・レンジ相場で崩れていないか・特定の年だけ突出していないか。この分析をすることで、「特定の相場環境にだけ最適化されたEA」かどうかが見えてきます。
凜の開発でも、祝日前後の挙動を期間別に分析した結果、その局面での成績が不安定であることを発見しました。対策として「祝日前倒しトレード」というロジックを検討しましたが、バックテストで明確な改善が見られず過剰最適化リスクの方が高いと判断して不採用にしました。バックテストを分解して見たからこそ気づけたポイントです。
バックテストを信用していいライン
では、どこまでなら信用していいのか。
私たちの基準はシンプルです。
・PF1.1〜1.3程度
・取引回数が十分(最低でも数百〜)
・DDが現実的(10%前後)
・特定期間に依存していない
この条件を満たしていれば、「過度な最適化はしていない可能性が高い」と判断します。
逆に、
・PFが異常に高い
・DDが極端に低い
・取引回数が少ない
こういったものは、ほぼ例外なく疑います。
バックテストで失敗する人の共通点
失敗する人に共通しているのは「数字の裏を見ない」ことです。
EA販売サイトでよく見かける「PF3.0・月利50%・DD5%」という数値。これを見て「良いEAだ」と判断するのは、バックテストの本質を理解していない状態です。
PF3.0は簡単に作れます。バックテスト期間を都合の良い局面だけに絞る・パラメータを過剰に最適化する・SLを設定せずに含み損を持ち続ける設計にする。これらの方法でPFは簡単に高くなります。しかしどれもフォワードで崩れます。
EA-Lab的なバックテストの見方をまとめると「なぜこの結果なのか・どこに弱点があるのか」を説明できるかどうかです。数値の良し悪しではなく、その数値が生まれた理由を理解できているかが判断の基準です。
これは自分でEAを開発する人だけでなく、EAを購入する人にも当てはまります。「バックテストでこの数値が出た理由を開発者が説明できるか」を確認することが、EA選びで失敗しないための基本です。
EAで破産する人の特徴はこちら。
よくある質問
A. むしろ注意が必要です。PF2.0以上は過剰最適化の可能性が高いです。長期バックテストで安定してPF2.0以上が出るEAは非常に稀であり、多くの場合は特定期間への過剰適応か、SLなし・ナンピン設計などのリスクの高いロジックが原因です。EA-LabではPF1.2〜1.5を現実的な目安にしており、それ以上を無理に追うことはしていません。
A. EA-Labでは10年を基準にしています。10年という期間にはトレンド相場・レンジ相場・金融危機・急激な政策変更など様々な相場環境が含まれます。1〜3年のバックテストは特定の相場環境に偏る可能性があり、信頼性が低くなります。短期バックテストで良い結果が出ても、10年に延ばすと全く異なる結果になることは珍しくありません。
A. 90%以上が理想です。MT5のストラテジーテスターではバックテスト結果に「品質」という指標が表示されます。これはヒストリカルデータの精度を示しており、品質が低い状態ではバックテストの精度が落ちます。品質が低い場合はデータの再ダウンロードが必要です。
A. フォワードを信用してください。バックテストは過去データとの相性が良くなるよう設計・調整されているため、構造的にフォワードより良い結果が出やすいです。フォワードがバックテストより悪くなることはある程度避けられませんが、大幅に乖離している場合は過剰最適化を疑います。EAの実力はフォワードテストで判断するのが基本です。
A. 最も重要なのはモデルの選択です。「全ティック」を選択することで最も精度の高いバックテストが実行できます。「始値のみ」などの簡易モードは処理が速い分精度が落ちます。またスプレッドは実際のブローカーより広めに設定することで、より現実に近い結果が得られます。
まとめ
バックテストは信用できるのか?
答えはシンプルです。
「正しく見れば使える、間違って見れば破産する」
これは誇張でもなんでもなく、現実です。
EA運用で勝つためには、良い数字ではなく再現性のあるロジックを見てください。
それができるようになると、EA選びも運用も一気にレベルが上がります。