Концепция системы проста, остается только выбрать параметры и можно приступать к торговле. И тут начинается самое интересное. Тестируя систему на прошлых данных, перебрав несколько вариантов параметров трейдер получает существенно различные значения для доходности системы. Кажется совершенно правильным взять те параметры для которых система выдает максимальную доходность на исследуемом периоде. Однако не все так просто.
К примеру, на вот карта доходности системы на двух скользящих для РАО ЕЭС 15 минуток за январь-июнь 2003 года. По горизонтальной оси длина медленной скользящей (от 22 до 100 баров), по вертикальной длина быстрой скользящей (от 3 до 20 баров). Перебирая параметры, трейдер наткнется на участки с более высокой доходностью и, взяв эти параметры для системы, начнет ее торговать, ожидая примерно такой же доходности и в будущем.
Теперь посмотрим на такую же карту для следующих 6 месяцев. В целом этот период был неудачным для этой системы. Средняя доходность по всей карте примерно 0% против 50% за предыдущие 6 месяцев. Однако главное не это. Видно, что участки, в которых система была эффективней всего, совершенно разные. Там, где система показывала неплохую доходность за первые полгода, в следующие полгода результаты не отличаются от средних. Неплохие во втором полугодии результаты были бы получены для параметров которые в первом полугодии показывали весьма посредственную доходность.
На протяжении тестируемого периода, если он достаточно долгий, рынок находится в самых разнообразных условиях. Здесь и падения, и боковики с разнообразной волатильностью, и восходящие тренды самого различного калибра. Внутри же системы заложена определенная концепция которая позволяет отрабатывать вполне определенный тип движений со вполне определенными характеристиками, которые задаются числовыми параметрами этой системы.
Такие движения система отрабатывает замечательно, однако как она себя ведет в случае если рынок находится в других условиях, сказать заранее сложно. Смысл построения успешной системы в том чтобы прибыль, полученная на состояниях рынка под которые эта система хорошо "настроена", была больше чем возможные убытки на всех остальных состояниях рынка.Существует такое свойство системы как робастность (устойчивость). Робастная система должна быть устойчива к разнообразным изменениям рынка и давать по возможности стабильный рост, не подвергая счет сильным просадкам в неблагоприятные для системы периоды.
Главная проблема в построении такой системы состоит в том что система существует как бы в двух разных временных областях. Это прошлое, которое нам известно и на котором хорошо видна эффективность системы. И это будущее, которое скрыто от нас, но которое тем не менее очень важно поскольку именно в будущем мы собираемся торговать нашу систему. Единственная связь между этими двумя временными областями это наша вера в то что важные для системы свойства рынка в будущем не будут значительно отличаться от свойств рынка в прошлом. Слово "значительно" здесь конечно очень субъективно и слово "вера" не внушает сильного оптимизма, однако это действительно не более чем предположение. Которое, тем более склонно подтверждаться чем более общие свойства рынка лежат в концепции системы.
Получается, что система состоит как бы из двух частей. Это внутренняя концепция системы, идея о том какое наиболее общее свойство рынка можно использовать для извлечения прибыли. Вторая часть системы - это конкретное воплощение идеи выраженное в параметрах, в числах, которые определяют конкретные характеристики входов, выходов, стопов и прочих деталей.
И здесь имеется ловушка в которую довольно легко попасть начинающему системщику. Дело в том что при достаточно большом количестве числовых параметров, можно подогнать эти параметры таким образом, что получившаяся система будет показывать хорошую прибыль на прошлых данных. Система просто "подгоняется" под конкретные ситуации на рынке имевшиеся в прошлом. И чем больше число параметров которые можно менять тем удачней система пожет быть подогнана, тем большую доходность она будет показывать при тестировании на прошлых данных. Такая ситуация называется "переподгонкой" (curve-overfitting).
Будет ли система показывать эту доходность в будущем? Наверняка нет. Ведь чем конкретней ситуация в прошлом, тем меньше вероятность того что она повторится в будущем. Как бы точно не была подогнана система под прошлые данные, вероятность ее успешности в будущем будет определяться только соответствием внутренней концепции рынку. А большие прибыли на коротких периодах это не более чем игра случая.
Удачность внутренней концепции можно оценить если взять как можно больший исторический период с разнообразными рыночными условиями и посмотреть среднюю эффективность системы с широким набором параметров. Эффективность складывается из предполагаемой доходности и возможного риска, оценкой которого служит максимальная просадка системы.
Протестировав систему из двух скользящих средних на периоде 2002-2003 год получаем
карту для доходности системы и карту для максимальной просадки. Несмотря на то что существуют области параметров где доходность достигает 100%, в целом лучше ориентироваться на доходность порядка 60% (30% годовых). Максимальная просадка счета на уровне 30%. Соотношение риск/доходность получается близким к 1, что, конечно, слишком много. Такую систему трудно рекомендовать к реальной торговле, она хороша только в качестве примера.Остается задача выбора конкретных параметров для торговли. Если сохранять ожидание доходности на среднем для системы уровне, то нет ничего страшного в том чтобы для работы использовать параметры, показавшие хорошую эффективность на предыдущих временных периодах. Ведь вполне может быть что хорошая эффективность этой области параметров возникла благодаря каким-то общим свойствам рынка которые возможно сохранятся и в дальнейшем. Впрочем, всегда есть риск что выбранные вами параметры приведут вас в следующем периоде в "яму" на карте доходностей, поэтому лучше разбить капитал на равные части и вместо одной системы торговать одновременно несколько таких систем с разными параметрами из разных областей на карте. Вероятность того что несколько систем одновременно полезут в "ямы", гораздо ниже.