Números ilustrativos baseados em execuções registradas
A maioria dos "bots de IA" é um modelo ajustado nos mesmos dados pelos quais é julgado. Este foi construído ao contrário: treinado em uma temporada, limiares escolhidos em uma segunda, testado uma vez em uma terceira, e depois recebeu uma barra de passa-ou-para antes de tocar em dinheiro.
O modelo
Uma árvore com gradient boosting sobre nove features lidas do livro e do feed spot: o ask, o spread, quantas vezes o favorito trocou de lado, se o spot concordava com o livro e por quanto, a hora, o segundo dentro da janela e a moeda. Ele produz uma probabilidade de acerto; o bot dispara quando essa probabilidade supera o ask mais a taxa por uma margem, e escolhe o melhor segundo da janela.
O checkpoint
Antes do lançamento a barra foi escrita: após 50 execuções ao vivo, parar se a contagem de resultados ficar abaixo do esperado no nível de um por cento. Após 89 execuções o placar era de 68 acertos contra 68,3 esperados, mais 3,65 pontos por dólar contra um backtest de 3,64. Passou, e continuou rodando.
A semana em que pagou
O mesmo modelo, disparado de um servidor movido para a região da exchange com um espelho do livro via websocket em vez de polling, retornou cerca de 8 pontos por dólar ao longo de seis dias, todos positivos. Ilustrativo: $500 com apostas de 10 por cento, cerca de $1,100 após aquela semana.
A semana seguinte
A quinzena seguinte foi estável. A previsão pré-registrada sobre latência se confirmou; o mercado não ficou parado. Retreinos por moeda, uma versão de 15 minutos e um esquema de "trocar para o melhor modelo das últimas 12 horas" foram todos testados e todos perderam para simplesmente deixar o modelo original em paz.
O que copiar
- Divida por tempo, não ao acaso. Treino, validação e um holdout intocado que você abre uma única vez.
- Avalie contra o ask executável com a taxa real, uma operação por janela, nunca agrupado entre níveis de preço.
- Escreva a regra de parada antes da primeira ordem. Um checkpoint definido depois de ver os resultados não é um checkpoint.
- Rode toda a busca de novo em um mercado sem vantagem e reporte esse p-valor, não o da regra isolada. Uma busca 6 por 3 em puro ruído retorna "+3,4 pontos" no percentil 95.