Как выбрать инструмент для бэктеста стратегии

Инструмент для бэктеста определяет, насколько честной будет проверка стратегии. Плохой инструмент или плохие данные дадут красивый, но лживый результат. Разбираем, как выбрать по критериям.

По каким критериям мы оцениваем

1. Качество данных — точность истории котировок, учёт спреда и проскальзывания, полнота баров (нет ли дыр на выходных, гэпов, битых тиков).
2. Точность моделирования — реальные тики vs грубые бары; как считается исполнение внутри свечи и по какой цене закрывается сделка.
3. Метрики — просадка, профит-фактор, матожидание, число сделок, а не только итоговая прибыль.
4. Поддержка проверки — разделение данных на in-sample/out-of-sample, walk-forward, оптимизация с контролем устойчивости.
5. Порог входа — нужен ли код (Python) или хватает визуального тестера с мышкой.
6. Прозрачность — можно ли увидеть каждую сделку, параметры входа и понять, откуда взялся результат.

На что смотреть в рейтинге

Оценивайте инструмент по честности моделирования и данным, а не по красоте отчётов. Тестер, который показывает реалистичные издержки и позволяет проверку на новых данных, ценнее «рисующего» идеальные кривые. Хороший признак — когда инструмент даёт заглянуть внутрь: список сделок, момент входа и выхода, применённый спред. Плохой признак — глянцевый график эквити без единой цифры про просадку и издержки.

Как это выглядит на практике

Допустим, вы берёте один и тот же простой пробойник и гоняете его в двух инструментах. В первом моделирование грубое, спред «нулевой», исполнение по идеальной цене — кривая выходит гладкой и заманчивой. Во втором вы закладываете реалистичный спред и проскальзывание — и та же стратегия из плюса уходит в ноль. Числа здесь условны, проверяйте на своих данных и на демо, но вывод типичен: разница не в стратегии, а в честности инструмента. Именно поэтому первым делом стоит настроить издержки, а уже потом смотреть на результат.

Частые ошибки при выборе

• Брать инструмент с плохими данными и доверять результату
• Игнорировать моделирование спреда и проскальзывания
• Выбирать по удобству отчёта, а не по точности
• Считать, что мощный тестер сам защитит от переоптимизации
• Сравнивать результаты из разных инструментов «в лоб», не сверив, одинаковые ли там данные и настройки издержек

Итог

Выбирайте бэктест-инструмент по качеству данных, честности моделирования и поддержке проверки на новых данных. Остальное решает ваша методика. Бэктест-сервисы разобраны в нашем каталоге.

Из чего состоит честный бэктест

Первое — данные. На минутных таймфреймах разница между тиковой историей и историей по ценам открытия меняет результат в разы, поэтому у инструмента должно быть указано качество данных и их источник. Второе — модель издержек: учитываются ли реальный спред, комиссия и своп, и можно ли задать их вручную. Тест без издержек показывает не стратегию, а идеальный мир. Третье — размер выборки: меньше сотни сделок и меньше года истории не позволяют отличить преимущество от случайности.

Четвёртое и главное — проверка вне выборки. Инструмент должен позволять оптимизировать параметры на одном отрезке и проверять их на другом, которого оптимизатор не видел. Без этого вы получите подгонку: чем больше параметров крутится, тем красивее результат на прошлом и тем хуже на будущем. Хорошим признаком будет наличие walk-forward-анализа и отчёта по просадке внутри периода, а не только итоговой цифры доходности за весь тест.

Признаки подогнанного результата

• Больше пяти-шести оптимизируемых параметров: почти гарантированная подгонка под историю.
• Идеальная кривая доходности без просадок — на реальных данных так не бывает.
• Результат резко ухудшается при сдвиге любого параметра на один шаг: устойчивая стратегия так не ведёт себя.
• Тест проведён на одном инструменте и одном трендовом отрезке: это проверка рынка, а не системы.
• Не указан брокер и спред, на которых получен результат, — значит воспроизвести его нельзя.

Что в нашем каталоге в категории «Тестеры стратегий»

Проверять инструменты по критериям проще, когда есть с чем сравнивать. В категории «Тестеры стратегий» у нас 5 продуктов с завершённой сверкой фактов — у каждого характеристики подтверждены ссылкой на первоисточник и датой проверки. Первые по баллу:

• Forex Tester Online — 4 из 5, freemium, обзор
• Soft4FX Forex Simulator — 3.9 из 5, freemium, обзор
• FX Blue Trading Simulator — 3.6 из 5, бесплатно, обзор
• Tickstory Lite — 3.4 из 5, бесплатно, обзор
• Forex Tester Desktop (легаси) — 3.2 из 5, платно, обзор

Балл считается по четырём критериям с фиксированными весами и одинаково для всех продуктов, поэтому сравнивать их между собой корректно. Полный список с фильтрами по цене, платформам и уровню — в категории каталога.

Что делать с результатом бэктеста

Хороший результат на истории — это разрешение перейти к следующему шагу, а не повод запускать реальные деньги. Порядок такой: проверка вне выборки, затем форвард-тест на демо у своего брокера, затем реальный счёт минимальным объёмом. На каждом шаге сравнивайте не доходность, а просадку и число сделок: если они расходятся с тестом более чем в полтора раза, модель издержек в бэктесте была слишком оптимистичной. И держите под рукой правило остановки — заранее заданную просадку, при которой стратегия отключается для разбора, а не «до восстановления».

Полезная привычка — хранить отчёты всех тестов, включая неудачные, вместе с set-файлами параметров. Через несколько месяцев это превращается в собственную базу знаний: видно, какие идеи проверялись, на каких данных и почему были отклонены. Без такого архива одна и та же стратегия тестируется по второму и третьему разу, а выводы каждый раз делаются заново.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).