Поиск прибылей

Поиск прибылей неизбежно предполагает анализ предыдущего тестового прогона (или набора тестов), нахождение неприемлемых сделок и формулирование новых правил для корректировки результата. Иногда эти правила улучшают результаты, но часто они вызывают такие же сложные проблемы в другом временном периоде.

Каждое протестированное новое правило, как применяемое, так и исключенное, является одной из тех потерянных степеней свободы, которые никогда не будут восполнены. Если вы находите одно работающее правило путем тестирования 250, нашли ли вы истинный рыночный образец?

Рассмотрим следующее: вы обнаружили, что производство кофе в Бразилии в точности предсказывало последующий (двумя месяцами позже) урожай зерновых в Северной Африке в течение всех последних 20 лет. Это важная информация, поскольку она позволяет определить спрос на зерновые. Дальнейшее исследование показывает, что эту связь можно объяснить климатическим влиянием Гольфстрима, протекающего от Восточного побережья Южной Америки к Среднему Востоку. Сможете ли вы извлечь преимущество из этой зависимости? Не исключено.

Но что если вам сообщили, что для нахождения этих 20 успешных испытаний из 20 возможных исследовались 100 разных стран, и лишь в одной из них испытания оказались успешными? Что если данная зависимость не подтвердилась на данных за 5 лет, предшествующих 20-летнему периоду испытания? То, чего вы не знаете, может нанести вам ущерб. Аналогично, тестирование слишком большого количества правил и условий, сокращение периода данных и сужение диапазонов переменных, — все это неявные способы самообмана.

Степени свободы — это способ ведения учета данных огрехов. Рассмотрим два крайних случая. Первое, посредством правил вы задаете систему: покупать, когда сегодняшнее закрытие выше трех предыдущих закрытий и сегодняшний минимум выше вчерашнего, и закрывать эту позицию, когда сегодняшнее открытие или минимум ниже вчерашнего минимума.

Возможно, это отражает некоторые наблюдения, сделанные вами в течение нескольких прошлых лет слежения за рынком. Вы прогоняете эту модель на 5 годах дневных данных, и она оказывается прибыльной в 4 годах из 5, принося 30% годовых. Это подтверждает вашу теорию. Вы применили 2 правила и один тест данных за 1250 дней, получив 350 сделок. Это удовлетворяет всем критериям.

Другой трейдер полагает, что система основанная на скользящих средних будет работать, пока контролируется риск. На данных за 1250 дней он тестирует 49 скользящих средних, в диапазоне от 2 до 50, и 20 стоп-лоссов, от $50 до $1,000 с шагом $50, то есть в общей сложности 980 комбинаций. Результаты показывают, что 20% этих тестов прибыльны и лучший вариант дает годовую доходность 70%. Но 980 тестов проводились на 1250 элементах данных. Это должно существенным образом снизить ваше доверие к полученным результатам и поставить вопрос — «Правильна ли эта система, или она является очередным подтверждением эффекта Гольфстрима?»

Первый случай был явно идеализирован. Подтверждение теории с первой попытки вызывает много вопросов. Но важен принцип. Тщательно подумайте, прежде чем добавлять и тестировать новое правило. По возможности старайтесь сделать каждое правило последним, поскольку каждое правило уменьшает число степеней свободы, а вместе с ней и вашу уверенность в модели. Думайте об этом как о съемке кинофильма, каждый кадр которого стоит $100,000.

Для обеспечения статистической валидности как минимум 90% степеней свободы должно остаться после вычета всех правил, индикаторов и затрат для выхода системы на рабочий режим. Степени свободы могут быть чрезмерно ограничены:

1. Слишком маленькой выборкой данных.
2. Слишком большими затратами при выходе системы на рабочий режим.
3. Слишком большим количеством правил.
4. Слишком большим числом переменных (любых элементов модели, использующих данные).

К сожалению, большинство программных пакетов для трейдинга не вычисляют степени свободы. Но знать их необходимо, поскольку они представляют очень важную составляющую разработки процесса тестирования. Недостаточное число степеней свободы — одна из наиболее распространенных причин подстройки.

К счастью, здравый смысл и осторожное обращение с разработкой и организацией процесса тестирования и оптимизации помогают легко исправить эту оплошность. Используйте достаточно большую тестовую выборку. Делайте допуск на пусковые затраты. Всегда, когда есть возможность, проводите тестирование с числом степеней свободы, превышающим 90%. В отношении степеней свободы «больше» определенно означает «лучше».