Как читать RTT-бенчмарк задержки

Каждая торговая платформа с серьёзной инфраструктурной историей публикует какую-либо версию бенчмарка задержки. Не все они честны, и даже честные можно неправильно прочитать. Вот краткое практическое руководство по интерпретации бенчмарка round-trip-time перед тем, как делать выводы.

Что скрывает одно число

«Наша задержка составляет 18 мс» — бесполезное утверждение. Задержка — это распределение, и форма распределения определяет торговый результат. Одно и то же среднее RTT может исходить из плотного распределения, где каждый ордер между 15 и 22 мс, или из бимодального, где большинство ордеров 10 мс, а несколько — 300 мс из-за периодического переподключения. Второй случай значительно хуже для качества исполнения, и среднее его не отражает.

Перцентили, которые реально важны

• p50 (медиана): Типичный опыт. Полезна как проверка здравого смысла для региона маршрутизации.
• p95: Худший ордер из 20. Первый перцентиль, начинающий влиять на торговые результаты, потому что он срабатывает достаточно часто, чтобы доминировать в хвосте распределения заполнений.
• p99: Худший ордер из 100. Перцентиль, где начинают проявляться повторные передачи, паузы сборщика мусора и сетевые сбои. p99, значительно хуже p95, означает необычно толстый хвост.
• max: Почти бесполезен сам по себе; один плохой выброс может его взорвать. Полезен только в паре с перцентилем, устойчивым к единичным выбросам.

Как выглядит «хорошо» для розничного исполнения

Числа ниже — иллюстративные разумные ожидания для розничной платформы миллисекундного уровня, развёрнутой в том же регионе, что и биржа:

# Иллюстративно — RTT в регионе до крупной крипто-площадки
p50:    ~ 18-30 мс
p95:    ~ 35-55 мс
p99:    ~ 60-90 мс
max:    может достигать 200+ мс при всплеске очереди на площадке

Числа ниже этого возможны, но редки для неколокационных развёртываний. Числа значительно выше на платформе, заявляющей о развёртывании в регионе, указывают либо на клиент в неверном регионе, либо на недостаточно размерный клиентский процесс.

Следите за предвзятостью выборки

Если в бенчмарке говорится «наша задержка — X», проверьте четыре вещи:

1. X — это среднее, медиана, лучший зафиксированный результат или среднее за один хороший день? Только медиана или более высокие перцентили за непрерывное окно являются честными.
2. Из какого региона измерялся X? Межрегиональные числа доминируют в метрике в обоих направлениях в зависимости от направления.
3. X — это постоянно обновляемое число или скриншот? Бенчмарки задержки могут устаревать в момент изменения инфраструктуры.
4. Включает ли бенчмарк round-trip от браузера пользователя до платформы или только от платформы до биржи? Второе важно для торговли; первое — тщеславная цифра.

Джиттер — скрытый враг

Джиттер — это изменчивость задержки между последовательными измерениями. Маршрут со средним 30 мс и джиттером 2 мс значительно здоровее маршрута со средним 25 мс и джиттером 40 мс, даже несмотря на то, что второй имеет более низкое заголовочное число. Высокий джиттер означает, что ваши агрессивные заполнения иногда поступают после того, как цена сдвинулась. Первый признак проблем с сетью или NIC — рост джиттера при сохранении среднего значения.

Что должен запрашивать покупатель

Один конкретный запрос: постоянно обновляемая таблица на стабильном URL с p50, p95, p99 RTT на регион на биржу, плюс небольшая статистика джиттера и указание того, какой регион в данный момент выбран для живого потока заявок. Этого достаточно, чтобы понять, измеряет ли платформа собственную инфраструктуру или рассказывает историю.

Всё меньше — это лозунг. Мы рады быть измеренными по нашим показателям и публикуем их на /proof. Если живой поток данных ещё прогревается в момент вашего посещения, об этом написано.