Сегментирование данных

Другой вопрос, требующий решения — тестировать ли данные единым куском или как серию более мелких кусков. Тестирование данных единым большим массивом с точки зрения статистики выглядит более предпочтительным. Однако этот подход может скрывать некоторую важную информацию, а именно, как разные периоды соотносятся друг с другом? Модель, приносящая $100,000 за 10-летний период, на первый взгляд выглядит превосходно. Но что, если такая прибыль была обеспечена одним-двумя очень хорошими годами, а другие восемь лет были убыточными или были близки к предельно допустимой эффективности?

Следовательно, лучше тестировать весь этот временной период в несколько меньших интервалов. Хорошим было бы деление 10-летнего периода на пять 2-летних отрезков. Если данная торговая модель более долгосрочная и генерирует слишком мало сделок, чтобы обеспечить статистическую валидность на 2-летнем периоде, более подходящими могут быть 3-х или 4-летние интервалы. Более подробно это обсуждается в Главе 7, «Оптимизация торговой системы».

После того как эти вопросы разрешены, вы имеете выбранную корзину рынков и исторических периодов. Тестовая корзина должна соответствовать предложенному групповому разбиению, и тестирование должно выполняться как минимум на 10-летней истории для каждого рынка, разбитой на пять 2-летних периодов и представленной дневными данными. Такой исторический диапазон включает значимый набор различных типов рынка и рыночных условий.

Мультипериодный мультирыночный тест использует одни и те же значения параметров торговой модели для каждого рынка и каждого временного периода. Данный тест несложен. Торговая модель тестируется на каждом из пяти временных периодов и на каждом из 10 рынков, входящих в корзину. Эффективность модели на каждом рынке и на каждом периоде вносится в таблицу и оценивается.

Особая цель этого теста — получить общее представление о прибыли и риске. Нельзя сразу ожидать от торговой модели, разрабатываемой для оптимизации, получения пиковой эффективности на многих рынках и временных периодах с помощью всего лишь одного набора «разумных» параметров модели. Тем не менее, можно ожидать, что устойчивая и работоспособная модель будет показывать на таком тесте, охватывающем диапазон рынков и исторических периодов, умеренно-хорошую эффективность. От модели, в целом демонстрирующей низкую эффективность, в этот момент следует отказаться.

Предельно-допустимая эффективность — это примерно равная смесь небольших прибылей и небольших убытков на корзине, включающей разные рынки и разные временные сегменты. Если имеет место такая ситуация, данная система вызывает сомнения. В лучшем случае данная ситуация свидетельствует, что модель имеет компоненты, достижение эффективности по которым зависит от адаптации к конкретным рынкам и условиям. Об этом свидетельствовала бы модель, показывающая хорошую прибыль при условиях, соответствующих ее стилю, и убытки при трудных для нее условиях. Такая модель заслуживает дальнейшей проработки. Этот же случай может иметь место, когда модель демонстрирует отсутствие связи между эффективностью и рыночными условиями. Такую модель, вероятно, на данном уровне тестирования следует отвергнуть. Но если такому поведению модели есть какое-то здравое объяснение, имеет смысл перевести ее на следующий уровень тестирования.

Если модель показывает крупные убытки на всей корзине и на всей истории, то она плоха, даже при наличии случайных всплесков эффективности. Покиньте корабль. Безоговорочно.

Эффективность модели, демонстрирующей большую прибыль при низком риске на всей корзине и истории, очень обнадеживает. Отличные ранние результаты обещают прибыль и дают почву для оптимизма. Конечно, необходимо дальнейшее тестирование.