Chiffres illustratifs basés sur des runs enregistrés
La plupart des « bots IA » sont un modèle ajusté sur les mêmes données que celles qui servent à le juger. Celui-ci a été construit à l'envers : entraîné sur une saison, seuils choisis sur une deuxième, testé une seule fois sur une troisième, puis doté d'un seuil réussite-ou-arrêt avant de toucher à l'argent.
Le modèle
Un arbre à gradient boosté sur neuf variables lues dans le carnet et le flux spot : l'ask, le spread, le nombre de fois où le favori a basculé, si le spot était d'accord avec le carnet et de combien, l'heure, la seconde dans la fenêtre, et le coin. Il produit une probabilité de gain ; le bot se déclenche quand cette probabilité dépasse l'ask plus les frais d'une certaine marge, et prend la meilleure seconde de la fenêtre.
Le point de contrôle
Avant le lancement, le seuil a été écrit : après 50 exécutions en réel, arrêter si le nombre de résultats est inférieur à l'attendu au niveau de un pour cent. Après 89 exécutions, le compte était de 68 gains contre 68,3 attendus, plus 3,65 points par dollar contre un backtest à 3,64. Il a réussi, et il a continué à tourner.
La semaine où il a payé
Le même modèle, déclenché depuis un serveur déplacé dans la région de l'exchange avec un miroir de carnet par websocket au lieu de l'interrogation, a rapporté environ 8 points par dollar sur six jours, chaque jour positif. À titre illustratif : $500 à 10 pour cent de mise, environ $1 100 après cette semaine.
La semaine d'après
La quinzaine suivante a été plate. La prédiction fixée à l'avance sur la latence a tenu ; le marché, lui, n'est pas resté immobile. Des réentraînements par coin, une version 15 minutes et un dispositif « basculer sur le meilleur modèle des 12 dernières heures » ont tous été testés et ont tous perdu face au simple fait de laisser le modèle d'origine tranquille.
Ce qu'il faut copier
- Découpez par le temps, pas au hasard. Entraînement, validation, et un jeu de test intact que vous n'ouvrez qu'une fois.
- Évaluez contre l'ask exécutable aux vrais frais, un trade par fenêtre, jamais en regroupant plusieurs niveaux de prix.
- Écrivez la règle d'arrêt avant le premier ordre. Un point de contrôle fixé après avoir vu les résultats n'est pas un point de contrôle.
- Relancez toute la recherche sur un marché sans avantage et rapportez cette p-value, pas celle de la règle seule. Une recherche 6 par 3 sur du pur bruit renvoie « +3,4 points » au 95e centile.