Борьба с подгоном торговой системы под исторические данные

Роль форвардного теста в борьбе с подстройкой невозможно переоценить. При каждом без исключения проведении тестирования или оптимизации необходимо взять за правило принятие необходимых мер предосторожности. Однако форвардный анализ — это принципиально важная часть тестирования. Независимо от того, насколько хорошую эффективность показывает торговая система при тестировании и оптимизации, если она не «идет вперед» (то есть, не показывает такую же эффективность во вневыборочном постоптимизационном трейдинге), то эта торговая модель не работает. Данный вопрос обсуждался в Главе 7.

Стоит повторить, что благодаря подстройке, плохая модель может казаться превосходной. И наоборот, избыточная оптимизация может приводить к тому, что при форвардном анализе торговая модель будет выглядеть плохо. Вычисление форвардного показателя эффективности — одно из основных достоинств форвардного анализа.

Как форвардный анализ раскрывает избыточность оптимизации? Самый важный показатель — приносит ли модель прибыль при движении вперед. Вторичный показатель — ритм или уровень эффективности, с которым модель приносит форвардную прибыль. Первое очевидно и не требует дальнейшего обсуждения.

Вопрос форвардной эффективности — менее известный и более тонкий. Как говорилось в Главе 7, правильно оптимизированная модель будет приносить форвардные прибыли способом, в общем согласующимся с ее торговлей в течение оптимизации. Другими словами, предположим, что торговая модель имеет следующий оптимизационный профиль:

• Прибыли $10,000 в год.
• 12 сделок в год.
• 65% выигрышей и 35% проигрышей.
• Проседание на $4,000 из 4 сделок.
• Средняя выигрышная серия — 2 сделки на сумму $2,500.
• Средняя проигрышная серия — 3 сделки на сумму $1,500.

Напомним, что этот оптимизационный профиль представляет среднюю многих разных оптимизаций. Если модель оптимизирована правильно и рыночные условия остаются в рамках граничных условий, включенных в оптимизационные данные, то на протяжении какого-то периода времени постоптимизационная или форвардная эффективность должна быть достаточно близка к оптимизационному профилю.

Вспомните, что показатель форвардной эффективности (WFE), полученный в процессе форвардного теста — это отношений среднегодовой форвардной прибыли к среднегодовой оптимизационной прибыли. Формула следующая:

WFE : Форвардная эффективность
ААОР : Среднегодовая оптимизационная прибыль
AAWFP : Среднегодовая форвардная прибыль
WFE = AAWFP/AAOP

Этот показатель делает процесс оценки очень простым. Хорошо, когда форвардный тест показывает прибыль и WFE как минимум 50%. Чем ближе форвардная эффективность к 100%, тем лучше. Есть наблюдения, согласно которым надлежащим образом оптимизированная торговая модель может приносить форвардные и реальные прибыли, на коротком периоде превышающие результаты оптимизации. Такое может возникнуть у системы построенной на трендовоследящих скользящих средних, когда на рынке сильный тренд с хорошей свинговой волатильностью и возросшей ликвидностью. Другими словами, торговая модель может превосходить свой оптимизационный профиль, когда она начинает торговать на очень благоприятном для нее рынке.

Рассмотрим ситуацию, отличную от только что описанной идеальной ситуации, в которой торговая модель в течение оптимизации была исключительно эффективной. При форвардном тестировании она дает очень скромную прибыль при очень низкой форвардной эффективности, составляющей 10%. Что это значит? Модель работает, поскольку демонстрирует постоптимизационную прибыль. Однако этот уровень эффективности очень низок.

Это может быть по трем причинам. Модель могла просто быть слабой: устойчивой, но по какой-то причине не очень эффективной. В данном случае от модели следует отказаться или рассмотреть вопрос о модификации ее структуры. Второе, модель могла быть чрезмерно оптимизирована при недостаточном внимании к степеням свободы, размеру выборки, диапазонам сканирования и т.д. Если установлено, что причина именно в этом, решением может быть новый форвардный тест, после должных исправлений. Третья и наиболее тонкая причина — в том, что размер окна форвардного теста мог быть слишком мал, вследствие чего модель оказалась зажатой и не смогла показать должной результативности. Решением может быть эксперимент с разными размерами оценочных и тестовых окон.

Резюме

Форвардный анализ должен быть финальным арбитром работоспособности торговой модели. Если модель проходит форвардный тест с прибылью, стабильностью и приличной WFE, этой моделью можно уверенно торговать в реальном времени. Если в форвардном тесте модель показывает убытки, то это тупик. Если же модель демонстрирует номинальную прибыль и низкую форвардную эффективность, она требует доработки.