Минимум сделок для тестирования торговой системы

Какое число сделок будет достаточным? Для тестирования торговой системы, в свете информации, представленной в предыдущем разделе, чем больше, тем всегда лучше. Вы не можете добиться статистической значимости без достаточного числа сделок.

Это требование может привести к проблеме при тестировании долгосрочных торговых систем, генерирующих редкие сделки. Иногда для многих типов торговых систем бывает трудно создать выборку достаточно большого размера. Единственный способ обеспечить получение достаточного числа сделок для тестирования медленной торговой системы — сделать торговое окно очень большим.

Могут быть полезны и другие указания. Когда тестовое окно содержит меньше 10 сделок, при ее оценке необходима крайняя осторожность. Тест должен быть фундаментально обоснованным, то есть, должен быть основан на логических принципах, которые впоследствии давали бы нам уверенность. Серьезное внимание должно быть уделено и всем остальным соображениям, повышающим статистическую валидность торговой системы.

Стабильность торговой системы связана с устойчивой торговлей по этой системе. Чем более устойчива торговая система по каждому из ее показателей, тем она стабильнее. Как правило, чем выше стабильность системы на статистически валидном тесте, тем выше ее надежность в процессе торговли. В Главе 8 подробно описывается, как оценивать эффективность торговой модели. Однако некоторые моменты будет полезно осветить и здесь.

Должно быть хорошее соотношение прибылей и убытков. Сделки должны быть равномерно распределены по всему тестовому окну. Чем меньше стандартное отклонение величины и продолжительности выигрышей и убытков, тем лучше. Эти показатели торговой устойчивости системы являются важными показателями ее стабильности. Лучший размер тестового окна — такой, который позволяет надежно получать такую информацию.

Степени свободы

Статистики используют термин степени свободы (degrees of freedom, df) в качестве доверия результатам тестирования. То же самое понятие можно использовать при разработке теста, путем включения ряда правил, условий и получаемых на их основе сделок, по отношению к объему тестовых данных. Меньшее количество инструкций и большее количество данных обеспечивают большее доверие к системе.

Хотя на интуитивном уровне необходимость оценки степеней свободы очевидна, формулы, задающей это соотношение, нет. Понятие степеней свободы в области разработки тестов пока не применялось. Для того чтобы прийти к полезному правилу, рассмотрим крайний случай. Используя цены зерновых за 10 лет (с 1980 по 1990), применим следующие правила:

Купить 5 мая1980, продать 1 августа 1980; купить 20 июня 1981, продать 10 июля 1981; ...; купить 21 мая 1990, продать 30 июля 1990.

Дано 20 правил (10 покупок и 10 продаж) по которым совершается 10 сделок (20 сигналов). Для того, чтобы избежать подстройки на данные, следует применить следующее определение:

Степени свободы = Число сигналов - Число правил.

В описанном примере у нас нулевая степень свободы. Данный сезонный метод также не имеет никакой предсказательной способности; все в данном примере было сделано лишь с оглядкой на прошлое. Становится ясно, что система должна иметь намного больше сигналов на покупку и продажу, чем правил и условий. Ну а теперь давайте рассмотрим следующую надежную оценку:

Минимальное число степеней свободы = 10 х (Число правил + Число условий).

Также можно определить число степеней свободы в терминах числа точек данных, используемых для тестирования; однако этот показатель может оказаться искусственно завышен. Например, 30-дневную скользящую среднюю следует тестировать на данных как минимум за 300 дней (опять, фактор 10). Если эта система вычисляет тренд по ценам закрытия, то доступность цен открытия, минимума и максимума никак не меняют этот 300-дневный минимум.

Имейте в виду, что удовлетворение минимальных требований не так действенно, как применение меньшего числа правил и большего количества данных, что дает большую тестовую выборку, более точные результаты и более устойчивую систему.