статистическая валидность результатов

Если число степеней свободы ограничено слишком многими условиями, статистическая валидность результатов оказывается под вопросом. Если топ-модель, найденная во время оптимизации, представляет «всплеск» прибыли, а не вершину пологого округлого холма, при смене ценовых паттернов данная модель будет малоустойчивой. Если модель не подвергалась форвардному тестированию, нельзя быть в достаточной степени уверенным в ее способностях торговать в реальном времени. Модель, являющаяся результатом небрежной и неполной оптимизации, скорее всего приведет при реальном трейдинге к существенным убыткам.

Когда оптимизацию пытаются проводить, игнорируя надлежащие статистические принципы и процедуры, такая оптимизация может быстро деградировать до явления, обычно называемого «настройкой на кривую» (curve fitting). Среди разработчиков статистических моделей широко известно, что увеличивая число переменных, можно построить кривую, которая будет соответствовать любому числу точек данных. Поскольку кривая, полученная с помощью процедур моделирования, слишком точно настроена на прошлые данные, нет никаких гарантий того, что она будет хорошо предсказывать будущее движение. Точность настройки отнюдь не предполагает лучшей предсказательной силы. В нашей работе часто все как раз наоборот.

При использовании статистического метода модель, которая лучше всего соответствует большой и репрезентативной выборке данных при достаточном числе степеней свободы, имеет устойчивые параметры и прошла форвардный анализ, будет лучшим предсказателем будущего поведения рынка.

Основы оптимизации

Технология оптимизации проста, однако, она требует осторожности и аккуратности (См. Рис. 7-1). У оптимизации есть пять составляющих: (1) отбор параметров модели и (2) установка диапазонов их сканирования; (3) должен быть установлен объем выборки; (4) для нахождения лучшей модели должен быть задан правильный метод оценки; (5) должен быть выбран критерий оценки тестового прогноза в целом.

Отбор параметров

В процессе оптимизации следует использовать параметры модели, оказывающие наибольшее влияние на ее эффективность. Если параметр слабо влияет на эффективность, нет оснований делать его кандидатом на оптимизацию. Вместо этого ему следует присвоить на время оптимизации фиксированное значение (константу).

Если относительная значимость параметров модели неизвестна, для ее определения необходим дополнительный шаг. Простейший способ сделать это — сканировать пригодный (релевантный) диапазон параметров для каждой переменной модели, один за раз. Если сканирование этого диапазона параметров показывает сильное изменение, то этот параметр значим. Если же сканирование показывает небольшое изменение эффективности или отсутствие такового, данная переменная не является значимой. Кроме того, при этом возникает вопрос, нужна ли вообще эта переменная в торговой модели. Опираясь на результаты предварительного сканирования, вы можете зафиксировать значения подобных параметров или исключить их из модели.

Выбор диапазона сканирования