Lendo um Benchmark de Latência RTT

Toda plataforma de negociação com uma história de infraestrutura séria publica alguma versão de um benchmark de latência. Nem todos são honestos, e mesmo os honestos podem ser mal lidos. Este é o guia curto do praticante para interpretar um benchmark de round-trip-time antes de tirar conclusões.

O Que Um Único Número Está Escondendo

"Nossa latência é 18 ms" é uma afirmação inútil. Latência é uma distribuição, e a forma da distribuição determina o resultado de negociação. O mesmo RTT médio pode vir de uma distribuição apertada onde cada ordem está entre 15 e 22 ms, ou de uma distribuição bimodal onde a maioria das ordens é de 10 ms e algumas são de 300 ms porque a conexão ocasionalmente refaz o handshake. O segundo caso é muito pior para a qualidade de execução, e a média não o captura.

Os Percentis que Realmente Importam

• p50 (mediana): A experiência típica. Útil como verificação de sanidade para região de roteamento.
• p95: A pior ordem em 20. O primeiro percentil que começa a importar para resultados de negociação, porque é atingido com frequência suficiente para dominar a cauda da distribuição de preenchimentos.
• p99: A pior ordem em 100. O percentil onde retransmissões, pausas de garbage collection e falhas de rede começam a aparecer. Um p99 muito pior que p95 significa que a cauda é incomumente grossa.
• max: Quase inútil por si só; uma órbita ruim pode aumentá-lo. Útil apenas combinado com um percentil que seja robusto a um único outlier.

Como "Bom" Parece Para Execução de Nível Varejo

Os números abaixo são expectativas razoáveis ilustrativas para uma plataforma de varejo de nível milissegundo implantada na mesma região que a bolsa:

# Ilustrativo — RTT na região para uma grande venue de cripto
p50:    ~ 18-30 ms
p95:    ~ 35-55 ms
p99:    ~ 60-90 ms
max:    pode atingir 200+ ms durante um estouro de fila da venue

Números abaixo disso são possíveis, mas raros para implantações sem colocalização. Números muito acima disso em uma plataforma que afirma implantação na região indicam um cliente na região errada ou um processo de cliente subdimensionado.

Cuidado com Viés de Seleção

Se um benchmark diz "nossa latência é X", verifique quatro coisas:

1. X é a média, a mediana, o melhor já registrado ou a média de um bom dia? Apenas a mediana ou percentis mais altos em uma janela contínua são honestos.
2. De qual região X foi medido? Números entre regiões dominam a métrica em qualquer direção dependendo do sentido de viagem.
3. X é um número continuamente atualizado, ou uma captura de tela? Benchmarks de latência podem deteriorar no momento em que a infraestrutura muda.
4. O benchmark inclui round-trip do navegador do usuário para a plataforma, ou apenas da plataforma para a bolsa? O segundo é o que importa para negociação; o primeiro é um número de vaidade.

Jitter É o Inimigo Oculto

Jitter é a variabilidade da latência entre medições consecutivas. Um caminho com média de 30 ms e jitter de 2 ms é muito mais saudável do que um caminho com média de 25 ms e jitter de 40 ms, mesmo que o segundo tenha um número de destaque mais baixo. Jitter alto significa que seus preenchimentos agressivos às vezes chegam depois que o preço se moveu.

O Que um Comprador Deve Pedir

Uma solicitação concreta: uma tabela continuamente atualizada em uma URL estável com p50, p95, p99 RTT por região por bolsa, mais uma pequena estatística de jitter e uma indicação de qual região está atualmente selecionada para o fluxo de ordens ao vivo. Isso é suficiente para dizer se a plataforma está medindo sua própria infraestrutura ou contando uma história.

Qualquer coisa menos é um slogan. Publicamos o nosso em /proof.