Принципы выбора метода оценки

Принципы выбора метода оценки — целевой функции или тестового критерия — уже были подробно описаны в Главе 5, «Поиск и оценка». На этой стадии оптимизации необходимо выбрать метод оценки. Цель — использовать метод оценки, отбирающий в процессе оптимизации наиболее устойчивую модель. В зависимости от требований, предъявляемых разными типами торговых моделей, методы оценки тоже могут быть разными.

Выбор метода оценки тестовых результатов

Результаты оптимизации тоже требуют оценки. В первую очередь, необходимо оценить их на статистическую значимость. Вспомните, что 1% всех тестов будет иметь «высокую значимость», а 5% всех тестов будут статистически «значимыми». Это означает, что если найдена топ-модель, и лишь 1% или примерно 1% всего тестового прогона оказывается прибыльным, то, по всей вероятности, данная топ-модель в статистическом плане является несостоятельной, а потому, скорее всего, не будет достаточно устойчивой. Аналогично, если лишь 5% всего теста будут иметь предельно-допустимую прибыльность, такая топ-модель также скорее всего будет статистической аномалией, не имеющей достаточной устойчивости.

Следовательно, чтобы иметь к найденным топ-моделям какое-то доверие, средний результат всех тестов должен быть прибыльным, и результат на одно стандартное отклонение ниже среднего тоже должен быть прибыльным. Чем выше процент очень прибыльных моделей, тем выше вероятность, что эта торговая модель состоятельна, если, конечно, тестовый диапазон был достаточно широким. У хорошей модели много прибыльных комбинаций параметров.

Второй способ оценки оптимизационного прогона — по «форме» пространства результатов. Если топ-модель представляет всплеск прибыли, что является другим типом аномалии, то от нее следует отказаться. При минимальной смене параметров такая модель превращается из прибыльной в убыточную. На Рис. 7-2 прибыль системы торгующей «по пробою» резко возрастает и падает в окрестности 75-процентной волатильности, формируя неустойчивый всплеск прибыли.

Процесс оптимизации должен отбирать топ-модель, располагающуюся на вершине плавно снижающегося «холма прибыли». Эффективность такой модели будет показывать лишь небольшое сокращение прибыли при небольших и средних изменениях параметров. У очень устойчивых моделей даже очень сильное изменение параметров может привести лишь к значительному снижению прибыли, но не к убытку. Это обеспечивает стабильность результатов в реальной торговле. Такая модель с большой вероятностью будет эффективнее других моделей при более широком разнообразии будущих ценовых паттернов. На Рис. 7-3 прибыль торговой системы, использующей принцип пробоя, постепенно растет и снижается как функция от переменной процента волатильности, формируя большую устойчивую область.

Резюме

Хорошая оптимизация должна начинаться с отбора включаемых в нее переменных — тех, которые наиболее значимы для результатов. Далее, для отобранных переменных должны быть определены подходящие диапазоны сканирования, как можно более широкие и распределенные таким образом, чтобы избежать нежелательного смещения. Необходимо определить надлежащий объем выборки данных, чтобы охватить как можно больше ценовых паттернов и трендов. Для выбора наиболее устойчивой модели необходимо использовать правильный метод оценки модели. Наконец, для выбора модели, которая условиях реальной торговли скорее всего будет иметь лучшую эффективность, необходимо использовать правильный критерий оценки тестовой связки. Валидная оптимизация может быть обеспечена лишь посредством выполнения всех этих шагов.