Критерий оценки

При выборе типа оценки лучше всего руководствоваться принципом — «Будь внимателен, когда что-то просишь, потому что можешь это получить». Например, если критерием отбора является максимальная чистая прибыль, то будет отобрана модель, приносящая максимальную прибыль. В конечном счете, для трейдера важна именно прибыль. Тогда почему такая модель может быть плохой? Потому что одна лишь максимальная прибыль не является адекватным показателем качества торговой модели. Например, 60% этой максимальной чистой прибыли могли быть получены моделью на одной крупной сделке, которая (будем надеяться) может никогда больше не повториться, такой как короткая продажа во время Краха фондового рынка в октябре 1987 года. Или большая часть этой прибыли могла быть получена в первой половине тестового периода и могла маскировать катастрофические убытки во второй, более актуальной половине. Показатель одной только чистой прибыли игнорирует очень важное требование равномерности распределения прибылей.

Более того, поиск наибольшей чистой прибыли полностью игнорирует вопрос риска. Стратегия с максимальной чистой прибылью может также иметь очень большое и неприемлемое проседание счета. Другой ее недостаток в том, что лучшая прибыль могла быть получена посредством очень небольшого числа сделок. Модель с таким набором сделок имеет ограниченную статистическую валидность.

Метод оценки исключительно по чистой прибыли игнорирует многие важные характеристики, которые необходимо учитывать при выборе топ-модели, обладающей наибольшей предсказательной способностью в отношении будущей реальной прибыли. Подчеркнем некоторые из ключевых характеристик настоящей топ-модели:

• Равномерное распределение сделок.
• Равномерное распределение прибыли.
• Приемлемый риск.
• Статистическая валидность.

Тип оценки должен быть разработан для отбора наиболее устойчивой и стабильной торговой модели, которая не обязательно будет самой прибыльной. Мы выбрали в качестве типа оценивания чистую прибыль, чтобы осветить некоторые факторы, влияющие на устойчивость модели.

Неправильный тип оценки может фактически и неумышленно привести в процессе оптимизации к подстройке. Метод оценивания, отбирающий модели не по их устойчивости, ставит под сомнение весь процесс тестирования. При реальном трейдинге устойчивая торговая модель скорее всего принесет прибыль, а неустойчивая модель — убытки.

Выбор критериев оценки

В этом разделе приводятся различные критерии оценки, распространенные в большей или меньшей степени, а также краткие описания их сильных и слабых сторон.

Чистые прибыли и убытки — чистый выигрыш или проигрыш модели в долларах или каких-то других денежных единицах. Хотя трейдер стремится к максимально возможной прибыли, чистая прибыль, как единственный показатель — ненадежный метод оценки. На нее могут чрезмерно влиять отдельный крупный выигрыш или проигрыш. Она полностью игнорирует число и распределение сделок. Безусловно, чистая прибыль — важный элемент, и она может использоваться в качестве критерия допустимого минимума доходности. Например, учитывая проскальзывание и другие издержки, доходность $100 на сделку может считаться минимально приемлемым показателем.

Норма доходности — альтернативный способ выражения чистых прибылей и убытков и полезная мера эффективности модели, поскольку она облегчает сравнение различных временных периодов и разных инструментов. Однако в качестве метода оценивания она подвергается той же критике, что и чистая прибыль. Она полезна для установки минимальной цели, но неприемлема в качестве единственного показателя.

Максимальное проседание счета — показатель риска и важный показатель эффективности модели. Оно оценивается двумя способами: как долларовая величина крупнейшей последовательности Убыточных сделок, или как наибольшее проседание кривой доходности. В любом случае оно представляет «защитный» критерий, поскольку ищет наименьший долларовый проигрыш, а не наибольший долларовый выигрыш. В качестве критерия оценки максимальное проседание обладает теми же слабыми сторонами, что и чистая прибыль, и поэтому неприемлемо в качестве единственного показателя. Максимальное проседание полезно в качестве порогового ограничения. Модели, превышающие определенное проседание, могут сразу исключаться из рассмотрения. Однако минимальное проседание является недостаточным в качестве единственного критерия: проседание равно нулю тогда, когда у модели нет проигрышных сделок, и, вероятнее всего, выигрышных тоже.