A primeira regra que foi ao vivo era a óbvia: aos três minutos e meio de uma janela de 5 minutos, compre o favorito se custar de 70 a 90 centavos, segure até a liquidação. Ela ganhou 83 por cento das operações. Não rendeu nada.
631operações reproduzidas em dados de tick
82.7%de acertos
-0.1%por $1: empate
Por que uma alta taxa de acerto não é uma vantagem
Um favorito a 83 centavos que ganha 83 por cento das vezes retorna exatamente o que você pagou, menos a taxa. O livro é calibrado. A taxa não é. A regra era um jeito lento de pagar 0,9 centavo por ação à exchange.
O que quebrou, em ordem
- Os ganhos ficaram sem resgate. Ações liquidadas ficam na carteira até serem resgatadas; o saldo parecia errado e novas ordens foram recusadas com algumas centenas de dólares de ganhos não reclamados.
- Uma ordem que deu erro foi executada mesmo assim. Uma compra lançou uma exceção na rede, casou sete segundos depois, e não havia linha de posição. A correção foi uma verificação em segundo plano do endpoint de execuções após toda exceção.
- Onze por cento dos rótulos estavam errados. Resultados derivados da última leitura do oráculo discordaram da liquidação oficial em 11,4 por cento das janelas. Todo backtest rodado antes dessa descoberta foi construído sobre rótulos ruins.
- Uma vantagem de 14 por cento eram os rótulos. Uma "vantagem de latência" que sobreviveu a duas semanas de verificação desapareceu no dia em que os resultados oficiais foram preenchidos. A vantagem falsa vinha do mesmo feed que produziu os rótulos ruins; o círculo se fechou sobre si mesmo.
- O stop-loss custou mais do que poupou. Toda regra de saída testada, incluindo uma aprendida, perdeu para segurar. Um stop falso transformava um ganho pequeno em uma perda maior com mais frequência do que um stop verdadeiro salvava qualquer coisa.
O que custou
Pouco dinheiro; uma perda de algumas dezenas de dólares no primeiro dia em uma banca pequena. O que custou foram três semanas acreditando em uma regra que era empate por construção, e a lição de que uma taxa de acerto acima de 80 por cento não significa nada até você subtrair o preço pago.
O que deixou para trás
- Um logger que registra o resultado oficial pelo id do mercado, não um derivado.
- Um reconciliador de execuções que roda após qualquer exceção.
- Uma varredura diária de resgate.
- O hábito de avaliar toda regra como taxa de acerto menos ponto de equilíbrio no preço pago, por operação, nunca agrupado.