- Коротко: при скромном реальном преимуществе (55 % выигрышей при 1:1) типичный результат проходит обычный порог (t = 2) примерно после 400 сделок и строгий (t = 3) примерно после 900. Тридцать сделок ничего не доказывают.
- По 30 сделкам измеренные 55 % выигрышей имеют 95-процентный интервал примерно от 37 % до 73 %: в него входят и убыточная, и очень сильная стратегия.
- Формула из Lo (2002): стандартная ошибка оценки коэффициента Шарпа примерно √((1 + SR²/2) / T), где T — число наблюдений, при независимых доходностях.
- Harvey, Liu и Zhu (2016) считают, что когда перепробовано много идей, новый результат должен проходить порог t выше 3,0, а не 2,0. Если вы тестировали много вариантов, ваш порог — высокий.
Коротко. Магического числа нет, зато есть формула. Преимуществу реального размера, например 55 % выигрышей при выплате 1:1, нужно примерно 400 сделок, чтобы типичный результат стал значимым по обычному стандарту, и примерно 900 по более строгому, который применим, если вы перебирали варианты. Выборка из 30 или 50 сделок далека от того, чтобы отличить мастерство от удачи.
Насколько точна доля выигрышей по 30 или 100 сделкам?
Не очень. Доля выигрышей — это измеренная пропорция, и её неопределённость уменьшается только пропорционально корню из числа сделок. Допустим, измерено 55 %. При независимых сделках 95-процентный интервал вокруг этого значения такой:
При 30 сделках интервал идёт примерно от 37 % до 73 %: в него входят и убыточная система, и отличная. При 100 сделках он всё ещё 45–65 % и включает 50 %, то есть подбрасывание монеты. Лишь около 1 000 сделок интервал остаётся выше 50 %.
Сколько сделок нужно для статистически значимого преимущества?
Эндрю Ло задал этот вопрос для инвестиционных доходностей в статье в Financial Analysts Journal:
Насколько точно измеряются коэффициенты Шарпа?
Lo, «The Statistics of Sharpe Ratios», Financial Analysts Journal (2002), перевод
Его ответ при независимых одинаково распределённых доходностях: стандартная ошибка оценки коэффициента Шарпа по T наблюдениям примерно √((1 + SR²/2) / T).1 Для трейдера эту формулу применяют к результатам на сделку: коэффициент Шарпа на сделку — это средний результат в R, делённый на его стандартное отклонение. Результат «значим», когда оценка выше нуля на t стандартных ошибок; решив уравнение относительно T, получаем число сделок, при котором реальное преимущество такого размера обычно достигает этой отметки:
T ≈ (1 + S²/2) × t² / S²
При выплате 1:1 средний результат на сделку равен 2 × доля выигрышей − 1, в R. Таблица построена так (наш расчёт, независимые сделки):
| Истинное преимущество | Среднее на сделку | Сделок для t = 2 | Сделок для t = 3 |
|---|---|---|---|
| 52 % выигрышей, 1:1 | +0,04R | около 2 500 | около 5 600 |
| 55 % выигрышей, 1:1 | +0,10R | около 400 | около 900 |
| 60 % выигрышей, 1:1 | +0,20R | около 100 | около 220 |
| 40 % выигрышей, выплата 2:1 | +0,20R | около 220 | около 490 |
Из таблицы важны два вывода. Во-первых, маленькие преимущества дорого доказывать: переход от 60 % к 52 % выигрышей увеличивает нужную выборку примерно в 25 раз. Во-вторых, таблица показывает точку, где преимущество такого истинного размера в типичном случае только-только проходит порог. Чтобы быть достаточно уверенным (около 80 % мощности), нужно примерно вдвое больше сделок.
Почему порог выше, если я пробовал много вариантов?
Потому что 5 % ложных срабатываний означают, что одна из двадцати случайных стратегий пройдёт по везению. Harvey, Liu и Zhu изучили сотни опубликованных факторов доходности и показали, что новому фактору «нужно преодолеть гораздо более высокий барьер: t-статистика выше 3,0».2 Та же логика верна для вашего тестирования: если вы перебрали 40 наборов параметров и оставили лучший, вы провели не один тест, а сорок. Статья почему бэктесты вводят в заблуждение показывает, как число попыток съедает результат, а ошибка выжившего — что тест молча оставляет за кадром.
Что ломает формулу?
- Зависимые сделки. Формула предполагает независимые результаты. Ло показывает, что серийная корреляция сильно меняет ответ: в его примере годовой коэффициент Шарпа одного хедж-фонда мог быть завышен до 65 % из-за неё.1 Несколько сделок на одном и том же движении — это одна ставка, а не несколько.
- Меняющиеся условия. Выборка, в которой трендовый год смешан с боковым, — не выборка одной стратегии.
- Издержки. Используйте результаты после комиссий и проскальзывания (проскальзывание и влияние на цену); преимущество +0,04R легко стирается.
- Подглядывание. Если остановить тест, когда он впервые выглядит хорошо, стандартные ошибки выше перестают работать. Число сделок надо назначить заранее.
Чек-лист перед тем, как доверять результату
- Напишите правила до теста и не меняйте их в середине выборки.
- Считайте все сделки, которые дали правила, в том числе те, что вы пропустили.
- Посчитайте среднее и стандартное отклонение результатов в R после издержек, затем интервал, а не только долю выигрышей.
- Посчитайте, сколько вариантов вы перепробовали, и поднимите порог, если их много.
- Оставьте блок данных, которого вы не касались при разработке правил.
- Размер позиции определяйте по нижней границе интервала, а не по лучшей оценке: см. критерий Келли.
Прогнать цифры по своему журналу сделок можно в симуляторе риска, а план сессии помогает вести журнал, который можно проверить.
Материал образовательный, не инвестиционная рекомендация.
Footnotes
-
Lo, A. W., «The Statistics of Sharpe Ratios», Financial Analysts Journal 58(4), 2002, с. 36–52 (полный текст прочитан; формула 9 даёт стандартную ошибку при независимых одинаково распределённых доходностях). Цифра 65 % относится к хедж-фонду из его эмпирического примера; статья Ло — о коэффициентах Шарпа доходности фондов, применение к результатам на сделку — наша адаптация. ↩ ↩2
-
Harvey, C. R., Liu, Y., Zhu, H., «… and the Cross-Section of Expected Returns», Review of Financial Studies 29(1), 2016; цитата из аннотации рабочей версии NBER 20592 (2014), перевод. Порог относится к новым опубликованным факторам доходности, здесь он использован как аналогия для вашего повторного тестирования. ↩
Частые вопросы
Сколько сделок нужно, чтобы понять, работает ли стратегия?
Зависит от размера преимущества. При выплате 1:1 истинным 55 % выигрышей нужно около 400 сделок, чтобы типичный результат достиг t-статистики 2, и около 900 для t = 3. Для истинных 60 % — около 100 и 220.
Достаточно ли 100 сделок, чтобы проверить торговую стратегию?
Только при очень большом преимуществе. По 100 сделкам измеренные 55 % выигрышей имеют 95-процентный интервал примерно от 45 % до 65 %, в который входит убыточная стратегия.
Какое число сделок считается статистически значимым?
Фиксированного числа нет. Значимость зависит от преимущества и разброса результатов; стандартная ошибка коэффициента Шарпа на сделку примерно √((1 + SR²/2) / N), где N — число сделок.
Почему нужно больше сделок, если я тестировал много стратегий?
Потому что лучший из многих вариантов выглядит хорошо случайно. Harvey, Liu и Zhu считают, что при множестве проверок порог для нового результата — t выше 3,0 вместо 2,0.
Источники
- The Statistics of Sharpe Ratios. Andrew W. Lo. Financial Analysts Journal 58(4), 36–52, июль/август 2002, 2002
- ... and the Cross-Section of Expected Returns. Campbell R. Harvey, Yan Liu, Heqing Zhu. Review of Financial Studies 29(1), 5–68, 2016 (NBER Working Paper 20592, 2014), 2016
Статья — исследование, а не инвестиционная рекомендация. Результаты на истории не гарантируют результатов в будущем.