Выбор периода тестирования

Другой важной и часто недооцениваемой областью является выбор периода тестовых данных. По крайней мере, период тестирования должен быть достаточно продолжительным для проведения минимум 30 торгов на каждом рынке. Получение менее 30 торгов нарушает одно из основных правил теории выборок, которое гласит, что должно существовать по меньшей мере 30 точек данных для того, чтобы

набор данных отвечал нормальному распределению. Отметьте, что это касается не дней, недель или месяцев данных, а происшедших торгов. Любое число менее 30 произведет статистически ненадежные результаты. Чем больше количество торгов, тем лучше.

Не менее важно, чтобы рыночные периоды, которые вы тестируете, включали в себя как можно больше примеров всевозможных рыночных условии. Направления вверх, вниз и вбок являются простейшими (хотя и субъективными) примерами возможных рыночных условий. Исследуемый вами период должен содержать как можно боль-1 ше примеров. Нашей целью является моделирование возможных условий будущего путем включения максимального числа рыночных условий прошлого. Если тестовый период представлен только несколькими годами данных, это может повлечь за собой проблемы. Например, если рынок акций не имел периода серьезного падения цен, и соответственно на представленных данных по фьючерсам на фондовые индексы также не было серьезных падений, то тестирование на таких данных будет отдавать предпочтение системам с бычьим уклоном. За все время своего существования рынки фондовых индексов не дают данных достаточно, чтобы отвечать рыночным условиям будущего. Рынок нефти, с другой стороны, продемонстрировал нам разнообразие в значительно большей степени, и можно ожидать, что на его данных можно произвести более здоровую и устойчивую торговую систему. Давайте разъясним это иначе: результаты короткого периода тестирования на данных рынка сырой нефти могут дать более правдоподобные результаты, чем более продолжительный период тестирования на индексах акций, потому что данные фондовых индексов пока содержат очевидный восходящий уклон. Система, основанная на покупках на рынке фондовых индексов, вероятно, даст лучшие результаты по сравнению с системой только продаж. Однако, как однажды заметил Йоги Берра: "Будущее не повторяется".

Интересное следствие заключается в том, что система никогда не должна иметь уклона одну из сторон рынка. Очевидно, за несколькими достопримечательными исключениями, большая часть доходов на фондовых индексах будет приходиться на длинную сторону рынка. Это не означает, что торговая система должна отдавать предпочтение этой стороне. Система не должна иметь собственного мнения или уклона в какую бы то ни было из сторон рынка. Если это кажется очевидным, вспомните, что в 70-х большая часть доходов на товарных рынках была получена на длинной стороне. Множество торговых систем, разработанных в этот период, стали по существу системами бычьего рынка. Простейшим способом улучшить ваши результаты на этом периоде было сократить или вообще избавиться от коротких позиций. Мы подозреваем, что этот бычий уклон был принципиальной причиной слабой производительности многих консультантов по товарным рынкам в начале 80-х.

Наше заключение: не существует строгого определения того, какое количество данных должен включать в себя тест. Если мы предположим, что средняя система следования за трендом торгует примерно раз в месяц на каждом рынке, то по меньшей мере три года должны браться в качестве минимального периода тестирования для

того, чтобы первичный тест произвел по крайней мере 30 торгов. Затем добавьте два или более лет для опережающего тестирования (мы объясним это позднее) и вы получите пять лет, что и является обычно приемлемым минимумом. Добавьте еще времени, если рынок не был разноплановым (падающим, растущим, боковым) на изучаемом периоде. Вы должны включить в ваше исследование как можно больше разнообразных рыночных условий.

Мы предпочитаем использовать большое количество данных и тестировать на различных временных периодах. Пока вы не проделаете этого сами, вы никогда полностью не оцените, насколько иллюзорной может быть прибыльность торговой системы, и насколько результаты тестирования зависят от выбора временного интервала. Мы очень настороженно относимся к системам, которые не были протестированы на временных периодах, отвечающих репрезентативной выборке рыночных условий.

Отметьте, как в таблице 3.1 на результаты влияет изменение временных отрезков, особенно это относится к убыткам. Отдача реагирует сходным образом, что подводит нас к любопытной мысли. При проведении всех процедур оптимизации/тестирования мы сконцентрировали внимание на совокупной отдаче как на единственном

опасность тестирования торговых систем

критерии выбора оптимальных параметров для использования в последующих тестах или в торговле в реальном времени. В нашем простом примере отдачи примерно соответствуют друг другу. Потери, однако, существенно различаются. Сколько трейдеров хотели бы расчитывать на убыток в $10000 при торговле контрактом со средним запасом примерно в $2500?

Этот пример на рисунке 3-1 иллюстрирует одну из редко упоминаемых опасностей тестирования вообще, и оптимизации в частности. Когда вы тестируете для улучшения только одного результата (обычно совокупной отдачи), вы игнорируете другие не менее важные данные. Мы рекомендуем проводить тестирование для серии параметров, а не только для одного. Мы понимаем, что это усложняет процедуру и во многом делает ее субъективной, но тестирование только для улучшения совокупной отдачи часто уводит с правильного пути и может оказаться опасным для вашего финансового здоровья.