Чрезмерное сканирование торговой системы

Другая прямая причина подстройки — неподходящий метод оптимизации, называемый чрезмерным сканированием, который возникает в двух случаях. Первый — это проведение сканирования переменной с шагом, который изначально слишком мал и несообразен оптимизации. Второй случай — когда выделен прибыльный диапазон переменных, который затем опять же сканируется недостаточно большим шагом.

Для иллюстрации первого вида нарушения рассмотрим систему двух скользящих средних. Первая средняя отслеживает изменения краткосрочного тренда. Такие тренды будут варьироваться по длине от 2 до 10 дней. 3-дневный тренд сильно отличается от 4-дневного, поскольку использует на 1/3 больше данных. Поэтому целесообразно оптимизировать эту среднюю от 2 до 10 дней с шагом 1 день.

Вторая средняя тестирует изменения долгосрочного тренда. Такие тренды могут варьироваться по длине от 30 до 100 дней. Поскольку вторая средняя измеряет долгосрочные тренды, результаты 90-дневной средней очень близки к результатам 91-дневной средней, которая по объему используемых данных отличается от нее всего на 1/90. Следовательно, оптимизация данной средней от 30 до 100 дней с шагом 1 день была бы чересчур точной; это не согласуется с размером шага первой скользящей средней.

Снова обратившись к теории, лежащей в основе данной торговой системы, мы видим, что изменение от 90- до 95-дневной скользящей средней представляет собой изменение, согласующееся с остальным тестовым пространством. Следовательно, подходящей будет оптимизация этой средней от 30 до 100 дней с шагом 5.

Последствия чрезмерного сканирования из-за использования постоянного или неправильного размера шага заключаются в том, что тестовые результаты не дают правильного представления о стратегии. В самом общем случае выявляются более долгосрочные тренды, при этом полностью выпадают «быстрые» модели.

Как только прибыльное подмножество исходных диапазонов сканирования выделено, неизбежно возникает желание провести более точные сканирования. Мы намерены дойти до самой прибыльной комбинации параметров. Хотя эта процедура в определенной степени значима, она может вносить ошибку.

Сужение диапазона сканирования до известной прибыльной области будет, по определению, повышать среднюю эффективность всей серии новых тестов. Что это дает? При правильном использовании это показывает:

• стабильность на тестируемых диапазонах;
• неустойчивость, свидетельствующее о подстройке или о нестабильных результатах, и
• распределение результатов, позволяющее выбрать лучший параметр.

Как только этот ограниченный тест выполнен и результаты проанализированы, возникает тенденция изменить стратегию для устранения проблем или повышения прибылей. Перезапуск тестов на этом же узком диапазоне сканирования будет подтверждать успешность сделанных изменений на конкретном рыночном паттерне. Но насколько надежны эти изменения? Узнать это можно лишь путем перезапуска сканирования исходного широкого диапазона, позволяющего увидеть, действительно ли произошло улучшение средней всех тестовых результатов. Изменения, улучшающие только небольшую группу тестов, являются точной настройкой на данные или подстройкой. Эта техника приводит к улучшению результатов, но она не имеет прогностической способности. Сужение диапазона сканирования — ценный метод выявления проблем, но не следует его использовать для тестирования новых правил и условий.