Типы тестирования торговых систем

Мы разъясним несколько наиболее общих схем оптимизации и тестирования.

Простая оптимизация

Она так же проста, как звучит. Вы создаете торговую систему, затем оптимизируете ее на полном объеме значений параметров до тех пор, пока не находите тот набор, который дает лучшую отдачу. С нашей точки зрения, это наименее продуктивный метод тестирования системы. Это подстраивание под кривую в своем худшем проявлении.

Совокупное опережающее тестирование

Это также называется "прогонной" оптимизацией. Совокупное опережающее тестирование требует, чтобы вы оптимизировали систему на периоде в начале ваших данных, а затем тестировали результаты на относительно небольшом последующем участке. Затем вы должны переоптимизировать на периоде, включающем оба набора данных, и повторить цикл. Например, если у вас есть 10-летние данные по казначейским обязательствам, вы могли бы оптимизировать на первых 3 годах, а затем тестировать на следующем за ними году. Если результаты все еще хороши, вы должны затем оптимизировать на всех четырех годах и тестировать на пятом году, и так далее. Это одна из форм оптимизации, которая была протестирована Лукасом и Брорсеном, и которую они нашли не лучшей, чем простая оптимизация (смотрите выше).

Простое опережаюшее тестирование *

Этот способ называют также "слепым моделированием" или "тестированием за пределами выборки". Вы разрабатываете вашу систему на начальных данных (скажем, первые 5 лет 10-летнего набора данных) и затем тестируете без изменения то, что вы считаете вашей лучшей комбинацией параметров и правил на более свежем временном периоде. Если результат не устраивает-процесс повторяется. Оптимизируете вы или нет в первой фазе тестирования, это не так важно, как удерживание количества переменных на небольшом уровне. Самое важное, что любая торговая система, подвергаемая простому тестированию или оптимизации без опережающего тестирования, скорее всего будет обречена на провал.

Опережающее тестирование является наиболее элегантным тестированием системы. Если ваша система не доказала свою прибыльность на процедуре опережающего тестирования, выбросьте ее.

Измерение производительности

Очевидной целью торговой системы является прибыльность. Сколько денег делает ваша модель? Другим способом вычисления этого фактора является процент отдачи, который является годовой отдачей, основанной на количестве средств, требуемых для торгового счета. Процент отдачи следует искать на всем периоде тестирования, а затем разбить его на небольшие отрезки для изолирования негативных периодов. Помните, что процент отдачи - это просто функция от объема используемого капитала. Вы можете удвоить процент отдачи, если начнете торговать только с половиной капитала, но систему вы при этом не улучшите. Вы можете улучшить систему, начав торговать с большим капиталом, но процент отдачи соответственно уменьшится. Несерьезные и бессмысленные торговые соревнования выигрываются путем получения большой отдачи при небольших размерах начального капитала. Эти переоцениваемые торговые соревнования дают в результате нежизнеспособные или наигранные исторические записи, что становится очевидным, когда мы наблюдаем низкую производительность товарных паевых фондов, управляемых некоторыми известными победителями подобных соревнований.

Отношение Шарпа (The Sharpe Ratio)

Популярной мерой производительности, получаемой из процента отдачи, является отношение Шарпа, разработанное Уильямом Шарпом, и которое определяется как годовая отдача (мера прибыльности) за вычетом неподверженного риску отношения отдачи, поделенная на годовое стандартное отклонение от отдачи (мера вола-тильности). Некоторые удаляют неподверженное риску отношение отдачи, так что проверьте это прежде, чем сравнивать результаты. Чем выше отношение Шарпа, тем выше отдача и ниже волатильность. Как правило, консультанты по товарной торговле вычисляют отношение Шарпа на месячных данных. Мы понимаем, что отношение Шарпа имеет свои ограничения (например, увеличение волатильности в восходящем направлении даст понижение отношения Шарпа), но, тем не менее, это самый распространенный индекс такого рода. Может быть, вам будет полезно сравнить результаты одной системы с другой и сравнить ваши результаты с результатами профессиональных консультантов. Лучшей системой будет не та, что делает больше денег, а та, что дает более высокое отношение Шарпа.

Отношение Стерлинга (The Sterling Ratio)

Поскольку, отношение Шарпа имеет определенные недостатки, были разработаны другие статистические приемы для беспристрастной оценки производительности. Наиболее популярным из таковых является отношение убытка к размеру отдачи. Отношение Стерлинга было создано Дианом Джонсом из Jones Commodities. Формула следующая:

отношение стерлинга

Основным недостатком отношения Стерлинга является то, что оно обычно вычисляется ежегодно и, следовательно, слишком медленно реагирует на изменения производительности.