Cifras ilustrativas basadas en ejecuciones registradas
La mayoría de los "bots con IA" son un modelo ajustado a los mismos datos con los que se juzga. Este se construyó al revés: entrenado con una temporada, umbrales elegidos en una segunda, probado una sola vez en una tercera, y luego sometido a un listón de pasa o para antes de tocar dinero.
El modelo
Un árbol con gradient boosting sobre nueve variables leídas del libro y de la fuente de spot: el ask, el spread, cuántas veces cambió el favorito, si el spot coincidía con el libro y por cuánto, la hora, el segundo dentro de la ventana y la moneda. Devuelve una probabilidad de acierto; el bot dispara cuando esa probabilidad supera el ask más la comisión por un margen, y toma el mejor segundo de la ventana.
El punto de control
Antes del lanzamiento se dejó escrito el listón: tras 50 ejecuciones en vivo, parar si el recuento de aciertos queda por debajo de lo esperado al nivel del uno por ciento. Tras 89 ejecuciones el recuento era de 68 aciertos frente a 68,3 esperados, más 3,65 puntos por dólar frente a un backtest de 3,64. Lo superó, y siguió funcionando.
La semana en que pagó
El mismo modelo, disparado desde un servidor trasladado a la región del exchange con un espejo del libro por websocket en lugar de consultas en bucle, devolvió unos 8 puntos por dólar en seis días con todos los días positivos. Ilustrativo: $500 con apuestas del 10 por ciento, unos $1,100 después de esa semana.
La semana siguiente
La quincena siguiente fue plana. La predicción registrada de antemano sobre la latencia se cumplió; el mercado no se quedó quieto. Reentrenamientos por moneda, una versión de 15 minutos y un esquema de "cambiar al mejor modelo de las últimas 12 horas" se probaron todos y todos perdieron frente a simplemente dejar el modelo original en paz.
Qué copiar
- Divide por tiempo, no al azar. Entrenamiento, validación y un holdout intacto que abres una sola vez.
- Puntúa contra el ask ejecutable con la comisión real, una operación por ventana, nunca agrupando niveles de precio.
- Escribe la regla de parada antes de la primera orden. Un punto de control que fijas después de ver los resultados no es un punto de control.
- Vuelve a ejecutar toda la búsqueda sobre un mercado sin ventaja y reporta ese p-valor, no el de la regla suelta. Una búsqueda de 6 por 3 sobre puro ruido devuelve "+3,4 puntos" en el percentil 95.