Data snooping: ваш лучший бэктест — просто самый везучий?

Коротко. Если вы перебрали много версий стратегии и показываете лучшую, честный вопрос звучит не «маловероятен ли этот результат случайно?», а «маловероятен ли он среди лучших из всех версий, которые я пробовал?». Халберт Уайт построил тест именно для этого. В его примере модель, у которой p-значение само по себе выглядело как 0,0036, получила 0,20 после того, как учли 3654 модели перебора, а это совсем не убедительно.

Что такое data snooping и почему его трудно избежать?

Уайт начинает с определения (перевод наш):

Data snooping возникает, когда один и тот же набор данных используется больше одного раза для вывода или выбора модели.

White, «A Reality Check for Data Snooping», Econometrica (2000)

Его довод: во временных рядах обычно есть одна история, поэтому повторное использование данных почти неизбежно.¹ Прогоните достаточно спецификаций по одной истории цен, и некоторые будут выглядеть хорошо без какой-либо реальной прогнозной связи. Он сравнивает это с «рассылкой-аферой»: разослать бесплатные рекомендации многим, половине сказать, что рынок вырастет, половине, что упадёт, дальше писать только тем, кому «повезло», и через несколько раундов у части адресатов окажется безупречный послужной список по построению.

Перебор параметров в трейдинге устроен так же. Длины скользящих, расстояния стопов, фильтры по сессиям и пороги входа перемножаются в сотни вариантов, и победитель этого конкурса выбран за то, что ему повезло на этой выборке. Первую, простую версию мы разбирали в статье почему бэктесты вводят в заблуждение.

Что именно показал пример Уайта?

Он применил свой тест к намеренно обычной задаче: прогнозу дневной доходности S&P 500 на один день вперёд. Он построил 29 технических индикаторов того вида, которым пользуются товарные трейдеры (импульс, локальные тренды, индексы относительной силы, осцилляторы скользящих средних), и оценил все линейные модели с константой и ровно тремя индикаторами. Это 3654 модели. Бенчмарк — одна константа, то есть идея, что доходность не прогнозируется. Окно оценки — с 3 июня 1991 по 31 мая 1994, 758 торговых дней.²

Лучшая по точности направления модель угадывала знак следующего дня в 54,75% случаев против 50,79% у бенчмарка. Разрыв около четырёх процентных пунктов, а два p-значения рассказывают очень разное:

Комментарий Уайта к первой строке резок: «This example dramatically illustrates the dangers of data mining» («этот пример наглядно показывает опасность перебора данных»).² p-значение 0,0036 прошло бы почти любую планку трейдера. После поправки на перебор оно обычные 0,20. В статье также сказано, что разница между двумя числами даёт прямую оценку смещения от перебора данных.

Как работает Reality Check?

Нулевая гипотеза: лучшая модель, найденная при переборе, не превосходит бенчмарк по прогнозной силе. Тест не спрашивает, насколько хороша лучшая модель. Он спрашивает, насколько хорошей выглядела бы лучшая из 3654 моделей, если бы ни у одной не было навыка, и сравнивает с ней ваш реальный лучший результат.

Для трейдера упрощённая версия идеи выглядит так (наше описание принципа, а не полной процедуры Уайта):

1. Храните ряд доходностей каждого опробованного варианта на одних и тех же датах, а не только победителя.
2. Перевыберите временную ось (блоками, чтобы сохранить автокорреляцию) и примените те же перевыбранные даты ко всем вариантам.
3. В каждой перевыборке запишите лучший средний результат среди всех вариантов, предварительно отцентрировав каждый вариант так, чтобы гипотеза «навыка нет» выполнялась.
4. p-значение — доля перевыборок, где лучший результат не хуже наблюдённого вами.

В этом примере Уайт использовал стационарный бутстрэп с 500 перевыборками.² Поскольку весь набор перевыбирается вместе, метод учитывает, что варианты одной идеи сильно коррелированы. Это важно для следующего пункта.

Всегда ли больше перебора означает меньше доказательств?

Нет, и Уайт это говорит сам. Сильно коррелированные прогнозы добавляют мало новых «шансов»: на его графиках p-значение остаётся ровным на целых участках, пока добавляются похожие модели, а рассмотрение даже большого числа моделей не обязано приводить к резкому падению p-значения Reality Check (перевод наш).² Он также рассуждает (эвристически, без строгого доказательства), что настоящая связь не обязана «похорониться» при корректно контролируемом переборе, потому что мощность теста растёт с размером выборки. Иначе говоря, поправка — не приговор поиску. Это прейскурант.

Отсюда два практических вывода. Узкий поиск вокруг одной идеи (десять соседних значений параметра) стоит намного дешевле, чем десять не связанных идей. А если наивное p-значение и так большое, поправлять нечего: скорректированное может быть только больше.

Что с этим делать трейдеру?

• Записывайте каждый вариант. Тест честен ровно настолько, насколько честен набор, который вы ему дали. Отброшенные варианты считаются, как и те, что вы перестали гонять после плохой недели.
• Сравнивайте с бенчмарком, который вы использовали бы иначе: держать актив или сидеть вне рынка, а не с нулём.
• Указывайте число вариантов рядом с любым результатом и читайте результаты перебора как эффект отбора.
• Храните нетронутые данные. Один заранее объявленный тест на данных, не участвовавших в выборе правил, не требует поправки на перебор. О размере выборки читайте в статье сколько сделок доказывают, что стратегия работает, а о том, что тестовая вселенная молча отбрасывает, — в ошибке выжившего.

Это образовательный материал, не инвестиционная рекомендация. Пример Уайта — фондовый индекс начала 1990-х и линейные модели; логика поправки не зависит от рынка, но цифры его, а не наши.