Объем выборки для тестирования

Объем тестовой выборки оказывает большое влияние на другую область, крайне важную для правильного тестирования. Объем выборки должен быть достаточно большим, позволяющим системе генерировать статистически значимую выборку сделок. Выборка из одной сделки определенно не является значимой, в то время как выборка из 50 или более сделок будет, как правило, адекватной. Тем не менее, ограничения, накладываемые торговой системой, или ограничения на доступ к данным могут иногда вынуждать принимать решения на основе выборки менее чем из 30 сделок. В таком случае аналитик должен оценивать каждую из остальных категорий с повышенной осторожностью.

Здесь полезно руководствоваться формулой стандартной ошибки. Следующие четыре примера показывают слишком маленькую выборку, выборку из 50, 100 и 300 элементов:

Стандартная ошибка = 1/квадратный корень из размера выборки.

Скорость торговли у разных систем разная. Например, долгосрочная торговая система, торгующая, скажем, от 2 до 4 раз в год, для получения 50 сделок потребует очень много данных. Кроме того, она будет содержать индикаторы, использующие много степеней свободы, и будет привносить много пусковых расходов. Наоборот, краткосрочной системе, торгующей дважды в неделю, для генерации 50 сделок потребуется меньше данных, она будет использовать гораздо меньше степеней свободы и будет иметь незначительные пусковые расходы данных.

Хотя неправильная оценка сделок не является прямой причиной подстройки, но ее неверное применение является распространенной причиной неудач. Поэтому в порядке повторения стоит уделить ей особое внимание. Как детально описывалось в Главе 8, неправильная оценка выборки сделок может приводить к провалу модели в реальной торговле.

На одну сделку не должно приходиться более 30% общей прибыли, особенно, если размер торговой выборки превышает два или три года. Выигрышные сделки должны быть распределены по выборке равномерно, и чем равномернее, тем лучше. Это указывает на более жизнеспособную торговую модель. Проигрышные сделки тоже должны быть распределены равномерно. Опять же, чем равномернее, тем лучше.

Следует стремиться к равномерному распределению прибылей и убытков от периода к периоду, например, от месяца к месяцу, или от квартала к кварталу. Чем это распределение равномернее, тем лучше. Любая избыточная концентрация подозрительна. Чем равномернее распределение торговой модели, тем она более жизнестойка, а следовательно — более надежна.