Out-of-sample и walk-forward простыми словами

Out-of-sample и walk-forward — два метода, которые превращают бэктест из самообмана в честную проверку. Звучит технически, но идея простая: проверять стратегию на данных, которых она «не видела». Разбираем простыми словами.

Out-of-sample простыми словами

Разделите историю на две части. На первой (in-sample) настраиваете стратегию. Вторую (out-of-sample) прячете и используете только для финальной проверки. Если стратегия работает и на второй части, которую не видела при настройке, — это серьёзный аргумент за её устойчивость. Если результат резко падает — вы имели дело с подгонкой. Важное правило: в out-of-sample нельзя «подсматривать» и докручивать параметры, иначе он перестаёт быть честным и превращается в ещё один in-sample.

Walk-forward простыми словами

Walk-forward — это многократный out-of-sample по скользящему окну. Настраиваете на отрезке, проверяете на следующем; сдвигаете окно вперёд и повторяете по всей истории. Так вы имитируете реальный процесс: периодическую перенастройку и проверку на будущем. Это ближе к тому, как стратегия жила бы в реальности, где вы тоже время от времени пересматриваете настройки, а не замораживаете их навсегда.

Плюсы и ограничения

Плюс: оба метода резко снижают риск принять переоптимизацию за рабочую стратегию. Ограничения: нужны достаточные данные, чтобы делить их на части; методы усложняют процесс; они уменьшают, но не устраняют неопределённость будущего. Итоговую проверку всё равно даёт форвард-тест на демо.

Как это выглядит на практике

Есть три года истории. Первые два вы отдаёте под настройку, третий трогаете только в самом конце. Стратегия на «спрятанном» годе показывает результат заметно скромнее, но в том же направлении — это хороший знак устойчивости. Если бы на третьем годе она развалилась, вы бы знали: успех на первых двух был подгонкой. Числа условны, проверяйте на своих данных, но логика деления важнее конкретных цифр. Частая ловушка на этом шаге — «одноразовость» проверки: out-of-sample честен ровно один раз. Как только вы посмотрели на него, не понравился результат, докрутили параметры и посмотрели снова — этот кусок данных перестал быть независимым и превратился в ещё один участок настройки.

Частые ошибки

Оптимизировать на всей истории, не оставив данных для честной проверки. Подглядывать в out-of-sample и докручивать параметры под него. Делить данные так, что в проверочную часть попадает только один тип рынка. Считать хороший out-of-sample гарантией — форвард-тест всё равно нужен.

Итог

Out-of-sample и walk-forward — это проверка стратегии на данных, которых она не видела: лучший доступный способ поймать самообман переоптимизации. Применяйте их перед реальными деньгами. Инструменты с их поддержкой — в нашем каталоге.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).