Правила статистического тестирования

Высокоэффективная модель, окруженная плохими моделями, вряд ли будет устойчивой, способной приносить прибыль в реальном времени. Такая модель скорее всего будет соблазнительным статистическим нонсенсом. Мы показали, что модель, окруженная схожими соседями, оказалась лучше пика прибыли. Общую эффективность всех моделей тестовой связки следует оценивать аналогичным образом. Ниже представлены некоторые руководства.

Правила статистического тестирования свидетельствуют, что лучший 1 процент всех тестовых результатов является значимым. Далее, данный принцип свидетельствует, что 5% всех тестовых результатов будут предельно значимыми. Другими словами, если при игре в дартс в мишень бросить достаточное число дротиков, возникнет группа, имеющая высокое число очков. Оптимизация лишь с небольшим числом хороших тестов будет рассматривать эти прибыли как статистически «значимые», хотя трейдера ждет разочарование, поскольку стратегия в целом не будет прибыльной. Пример 1 показывает результаты тестового прогона с числом прибыльных результатов менее 5%:

Пример 1: Неудачный тестовый прогон

Общее число тестов 1000 100.0% $2,458
Прибыльные тесты 37 3.7 7,598
Убыточные тесты 963 96.7 (2,457)

Согласно данному принципу, если было выполнено 1000 тестов торговой системы, то по определению 10 лучших тестов являются «значимыми», а следующие 40 — «предельно значимыми». Устойчивая торговая стратегия должна показывать много прибыльных результатов после устранения 50 лучших тестов из 1000.

Чтобы иметь какие-то основания говорить о валидности системы, как минимум 20% тестов должны быть на уровне прибыльности, считающемся значимым для данного рынка и системы. Такой результат показан в Примере 2:

Пример 2: Успешный тестовый прогон

Общее число тестов 1000 100.0% $5,447
Прибыльные тесты 224 22.4 9,767
Убыточные тесты 776 77.6 (1,983)

Конечно, чем больше процент высокоприбыльных результатов, тем вероятнее, что данная торговая модель будет устойчивой. Пример 3 демонстрирует устойчивый тестовый результат:

Пример 3: Устойчивый тестовый результат

Общее число тестов 1000 100.0% $ 9,671
Прибыльные тесты 671 67.1 12,671
Убыточные тесты 329 32.9 (1,324)

Распределение эффективности

Как только тестовый прогон прошел тест на значимость, описанный в предыдущем разделе, полезно пересмотреть распределение общей тестовой эффективности. Это достигается путем вычисления средней, максимума, минимума и стандартного отклонения всех тестов. Самым желательным результатом будет большая средняя прибыль с минимальным разбросом (variation). Связка гестов с наименьшей разницей между максимумом и минимумом, а следовательно — с наименьшим стандартным отклонением, будет лучшей. Пример 4 показывает результаты простой торговой модели:

Пример 4: Успешный тестовый прогон

Общее число тестов 1000 100.0% $4,523
Прибыльные тесты 301 30.1 7,345
Убыточные тесты 699 69.9 (2,993)

При сравнении одной оптимизации с другой, лучшей будет имеющая более высокую среднюю и меньшее стандартное отклонение. Совершенствуя торговую модель или внося в нее новые правила, а затем повторно тестируя, важно, чтобы число прибыльных тестов увеличивалось, средняя всей связки возрастала, а стандартное отклонение при этом не росло.