Оценка оптимизации  торговой системы

Неправильная оценка результатов оптимизации может приводить к подстройке. Помните, что оптимизация есть инструмент нахождения устойчивой торговой стратегии, а значит, результаты последовательности оптимизационных тестов должны подтверждать надежность данного метода. Это возможно в случае, когда большой процент тестов был прибыльным, независимо от конкретных параметров (то есть, длины скользящей средней или величины стоп-лосса), используемых в этих тестах.

Первое, тесты должны включать широкий диапазон параметров, которые вы считаете подходящей вводной информацией. Это могут быть скорости скользящих средних от 2 до 100 дней и максимальные убытки от $50 до $5,000. Распределение тестов должно быть таким, чтобы при переходе к другой скорости скользящей средней число сделок менялось равномерно. Это означает тестирование более широких интервалов по мере возрастания периода скользящей средней.

Устойчивый тестовый результат — это такой результат, когда средняя всех тестов положительна. И все же еще лучше, когда средняя всех тестов положительна на 1 стандартное отклонение. Это равнозначно тому, что 67% всех тестов являются прибыльными.

Результаты с более низкими доходностями допустимы, если все прибыльные тесты сгруппированы и продолжают демонстрировать стабильные положительные результаты по мере увеличения или уменьшения параметров в направлениях границ тестирования (to the extremes tested). Например, скользящие средние от 2 до 20 дней не были прибыльными, но улучшали показатели по мере увеличения их периода. Прибыли появились, когда тестовый период превысил 20 дней, пик прибылей наблюдался на уровне 35 дней и от 35 до 100 дней модель оставалась прибыльной.

Беспорядочные результаты, то есть результаты, не имеющие различимого паттерна, должны отвергаться. Изолированные области успеха, независимо от величины прибыли, представляют специфическую комбинацию параметров, работающих на конкретном рыночном паттерне, и не являются признаком устойчивой стратегии; наоборот, это следует считать «точной настройкой».

Изменения правил и модификация торговой стратегии должны улучшать среднюю всех тестов без увеличения стандартного отклонения. Это показатель всеобщего улучшения, а не настройки на специфические ценовые паттерны.

Всплеск прибыли

Другая типичная причина подстройки — выбор в качестве топ-модели всплеска прибыли. Вспомните, что всплеск прибыли — это прибыльная модель, соседи которой либо гораздо менее прибыльны, либо убыточны (см. Рис. 7-2). Это серьезная проблема, поскольку большинство коммерческих программ для трейдинга будут допускать всплеск прибыли в качестве приемлемой модели. Некоторые методы оценивания направлены на минимизацию этой проблемы. Рассмотрение более чем одной топ-модели — один из способов решения данной проблемы. Другой способ — рассматривать среднюю топ-модели и ее соседей.

Выбор всплеска прибыли — плохой выбор. Это статистическая аномалия, образованная набором параметров торговли, отступление от которого всего на один шаг приводит почти к пагубному падению результатов. Например, допустим, что при периоде 10 дней модель скользящей средней дает прибыль $20,000. 9-дневная средняя показывает прибыль $3,000, а 11-дневная — убыток ($2,000). Это из рук вон плохо.

Данная 10-дневная средняя демонстрирует плохую эффективность при удалении всего на один шаг в любую сторону. Эта модель 10-дневной средней есть неприемлемый всплеск прибыли и является, по всей видимости, статистическим выбросом.

В отличие от этого, рассмотрим ту же модель 10-дневной средней с прибылью $20,000. 9-дневная средняя показывает теперь прибыль $18,000, а 11-дневная — прибыль $19,000. Данная торговая модель более устойчива.

Всплеск прибыли — не лучший выбор для целей трейдинга. Оценка топ-модели вместе с ее соседями — более хороший способ выделения устойчивой торговой модели.