Как правильно бэктестить: метрики и типичные ошибки

Правильный бэктест отличается от неправильного методикой и честностью, а вовсе не выбором инструмента. Одна и та же стратегия может выглядеть блестяще или провально в зависимости от того, как её протестировали. Разбираем метрики и ошибки.

Ключевые метрики

Максимальная просадка — глубочайшее падение эквити; цена доходности и мера риска. Профит-фактор — отношение суммарной прибыли к убыткам (устойчиво выше 1; «идеальные» значения подозрительны). Матожидание — средний результат на сделку. Число сделок — статистическая значимость: на десятке сделок выводы случайны. Форма кривой — плавный рост надёжнее «пилы». Смотреть эти метрики нужно вместе: высокая прибыль при чудовищной просадке — это не успех, а стратегия, которую вы бросите на первом же тяжёлом участке.

Типичные ошибки

Переоптимизация — подгонка параметров под прошлое. Плохие или неполные данные — искажают спред и тики. Look-ahead bias — использование информации, недоступной на момент сделки. Игнорирование издержек — спред, комиссии, проскальзывание. Малая выборка — вывод по нескольким сделкам. Тест только на удачном периоде. Ещё одна частая ловушка — «выжившая» стратегия: вы перебрали сотню вариантов, оставили лучший и забыли, что его успех может быть случайностью на фоне остальных.

Как бэктестить правильно

Задайте реалистичные издержки. Наберите достаточную выборку сделок. Разделите данные на in-sample/out-of-sample, примените walk-forward. Оценивайте связку «доходность/просадка», а не голую прибыль. Завершайте форвард-тестом на демо. Предпочитайте устойчивые параметры одиночному «идеальному» набору.

Как это выглядит на практике

Вы получили отчёт: прибыль солидная. Прежде чем радоваться, вы задаёте три вопроса. Сколько было сделок — если два десятка, статистики нет. Какая была максимальная просадка — если она в разы больше вашей терпимости к риску, стратегия не для вас. Что будет, если чуть сдвинуть параметры — если результат рушится, это подгонка. Числа условны, проверяйте на своих данных, но сама последовательность вопросов важнее любой конкретной цифры. Отдельно посмотрите на форму кривой эквити: ровный подъём переносится психологически иначе, чем та же итоговая прибыль, набранная через глубокую яму и мучительное восстановление.

Итог

Правильный бэктест — это честные данные, реалистичные издержки, достаточная выборка и проверка на новых данных, с фокусом на просадку. Метод важнее инструмента. Бэктест-сервисы — в нашем каталоге.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).