Как читать бэктест статистического арбитража и не обманывать себя

Бэктест — это история. Интересный вопрос в том, какую именно версию правды он рассказывает.

Почти каждая stat-arb платформа показывает бэктест в маркетинге. Почти у каждой есть хотя бы одна из пяти проблем, которые превращают equity curve в художественную литературу. Зная эти проблемы, вы начинаете читать бэктест так же, как опытный человек читает финансовую отчётность: важны не только цифры, но и методология, которая их породила.

Ниже — короткий полевой гид. Ссылки в конце статьи ведут к академической базе, а полный технический разбор есть в implementation paper.

Если у бэктеста есть настраиваемые параметры, они должны подбираться на данных, которых evaluation не видит. Иначе вы измеряете не качество стратегии, а качество подгонки под историю.

Стандартное решение — walk-forward partitioning. Данные делятся на rolling training windows и последовательные test windows. Настройка происходит на train, оценка — на следующем за ним test, затем окно сдвигается вперёд. Именно агрегированный P&L по test-окнам и должен быть тем бэктестом, на который вы смотрите.

Если в отчёте не указаны длины окон и шаг сдвига, стоит исходить из того, что параметры были подогнаны на тех же данных, на которых стратегия затем и оценивалась.

Историческая траектория, которая реально произошла, — это всего лишь одна выборка из множества траекторий, которые могли бы случиться. То, что стратегия сработала на реализованном пути, — слабое доказательство того, что она сработает на следующем.

Block bootstrap

Наивный iid bootstrap не подходит для временных рядов из-за серийной зависимости. Block bootstrap пересэмплирует целые куски ряда, сохраняя локальную автокорреляцию.

Monte Carlo simulation

Можно моделировать альтернативные траектории из явного процесса генерации данных. Защищаемый бэктест показывает не только реализованную линию, но и распределение вокруг неё.

Здесь важны три инструмента: Probabilistic Sharpe Ratio, Deflated Sharpe Ratio и Probability of Backtest Overfitting.

PSR оценивает вероятность того, что истинный Sharpe превосходит выбранный порог. DSR дополнительно учитывает ситуацию, когда показанная стратегия — лучшая из многих протестированных. PBO показывает, как часто внутривыборочный победитель разваливается вне выборки.

Это не украшения отчёта, а ключевая диагностика. Если стратегия выбрана только за счёт максимизации in-sample Sharpe, а PBO у неё близок к единице, такую стратегию следует отбросить.

Pairs trading — это стратегия с высокой оборачиваемостью. Бэктест, который предполагает исполнения по mid-price и нулевую стоимость сделок, обычно завышает достижимый P&L сильнее, чем сама реальная альфа.

• Bid-ask spread. Исполнение происходит по стороне стакана, а не по midpoint.
• Slippage. Крупные ордера проходят глубже по книге.
• Exchange fees. Включая разницу между maker и taker.
• Funding payments. Для perpetual futures в ритме площадки.
• Borrow costs. На рынках акций.
• Latency. Между сигналом и подтверждением биржи.

Если бэктест показывает высокий Sharpe и при этом не называет assumptions по fees, funding и slippage, такой Sharpe, скорее всего, не переживает реальную cost model.

Если вселенная пар строится из активов, которые торгуются сейчас, то из неё уже выброшены те, что были делистнуты, исчезли или просто сломались по пути. Это молча убирает провалы и завышает устойчивость.

Правильный подход — point-in-time universe: в каждый исторический момент t использовать только те активы, которые действительно были тогда доступны, ликвидны и соответствовали критериям стратегии.

Похожая проблема — утечка будущего при самом выборе пар. Если вы используете информацию 2024 года, чтобы выбрать пары, которыми затем якобы торгуете в 2019-м, вы уже выбрали их с помощью будущего.

Защищаемый pairs-trading отчёт должен включать как минимум:

1. Описание point-in-time вселенной.
2. Описание метода, достаточное для воспроизведения.
3. Подробности walk-forward partitioning.
4. Out-of-sample performance с PSR / DSR там, где это уместно.
5. Диагностику устойчивости: bootstrap или Monte Carlo распределения.
6. Декомпозицию транзакционных издержек.

Отчёты, в которых нет walk-forward, есть только одна equity curve или скрыта transaction-cost model, нельзя считать доказательством deployable performance. Полный технический разбор находится здесь: Pairs Trading Implementation §4.