аспекты процесса тестирования и оптимизации

Эта глава охватывает следующие области:

1. Методы поиска.
2. Методы оценки.
3. Оценка результатов тестового прогона.

Это самые эзотерические и менее понятные аспекты процесса тестирования и оптимизации. Они кажутся сухими. Однако их влияние на тестирование и понимание результатов тестирования очень велико.

Методы поиска

При всяком тестировании и оптимизации используется некоторый тип метода поиска, задающий число проводимых тестов и порядок их выполнения, а также диапазон временных периодов, на котором будет применяться исследуемая стратегия. Метод поиска — это способ перебора различных параметров, определяемый данной оптимизацией, и выбора наилучшего набора параметров модели.

Другими словами, любая оптимизация подвергает набор исторических данных серии тестов. Порядок, в котором проводятся эти тесты, может влиять на определение лучшего набора параметров. Это является причиной существования разных видов поиска в, так называемом, пространстве параметров.

Индивидуальный (отдельный) тест — это одна торговая имитация на одном отрезке исторических данных при одном наборе переменных модели. С помощью переменных модели торговая имитация рассчитывает все сделки и вычисляет статистическую характеристику модели. Оптимизация или тестовый прогон — это связка или набор тестов. Успешный результат такого теста — набор моделей, удовлетворяющих критериям эффективности. Неуспешный тестовый прогон может привести к отсутствию моделей, удовлетворяющих критериям эффективности.

Решетчатый поиск (The Grid Search)

Рассмотрим тест торговой системы, основанной на пересечении двух скользящих средних на рынке фьючерсов на S&P с 03.01.1989 по 31.12.1990. первая скользящая средняя (МА1) будет протестирована на значениях от 3 до 15 дней с шагом 2 дня. На языке исследователей, эта скользящая средняя будет просканирована от 3 до 15 по 2. Для первой скользящей средней будут протестированы семь разных значений:

3 5 7 9 11 13 15

Вторая скользящая средняя (МА2) будет просканирована от 10 до 100 с шагом 10. Будут протестированы 10 ее разных значений:

10 20 30 40 50 60 70 80 90 100

Весь этот тестовый прогон будет состоять из 70 возможных комбинаций значений двух диапазонов сканирования (7x10=70). Тестовый прогон проводится следующим образом. Сначала каждое возможное значение МА1 тестируется с первым возможным значением МА2:

МА1 3 5 7 9 11 13 15

МА2 10 10 10 10 10 10 10

После того как этот тестовый цикл завершен, тестовая процедура увеличивает переменную МА2. Каждое возможное значение МА1 тестируется со вторым возможным значением МА2:

МА1 3 5 7 9 11 13 15

МА2 20 20 20 20 20 20 20

Этот процесс продолжается до тех пор, пока каждое возможное значение МА1 не будет протестировано с последним возможным значением МА2. Последними тестами будут следующие:

МА1 3 5 7 9 11 13 15

МА2 100 100 100 100 100 100 100

Эффективность торговой системы вычисляется для каждой из пар значений переменных МА1 и МА2. Торговая эффективность каждой такой пары оценивается в соответствии с типами оценки, которые задают условия данного тестового прогона. Топ-модели (лучшие модели) — это те модели, которые удовлетворяют критериям оценивания.