Trois choses se sont produites dans les semaines qui ont suivi la découverte de chaque avantage des études de cas. Aucune n'était un bug.
Les carnets de fin de fenêtre se sont vidés
Le favori de fin de fenêtre dépendait de quelqu'un qui cotait encore un ask à 285 secondes. En une semaine, la part des fenêtres avec un carnet de fin vide est passée de 23 pour cent à 84 pour cent. Les makers n'avaient pas été battus ; ils étaient partis. Quiconque a trouvé le même avantage a trouvé la même pièce vide.
Les leaders ont tourné
Parmi les six portefeuilles les plus rentables d'un exchange un jour donné, trois n'existaient pas trois jours plus tôt et un avait changé de signe. Les portefeuilles positifs pendant une semaine étaient, en moyenne, négatifs la suivante. Copier n'importe lequel d'entre eux, avec n'importe quel délai, perdait.
Les règles ont changé
Un exchange a fait passer ses marchés crypto courts d'un règlement sur le prix de clôture à un règlement sur une moyenne de 60 secondes, avec une note dans la documentation et aucune autre annonce. Chaque bot qui modélisait « le spot à la clôture » modélisait la mauvaise chose dès ce matin-là. Un modèle juste pour l'ancienne règle était faux pour la nouvelle sur environ une fenêtre sur quinze.
Ce que cela signifie pour une construction
- Fixez le seuil d'arrêt avant le lancement : la perte, en dollars, qui arrête le bot. Décidez-en pendant que vous êtes calme.
- Vérifiez chaque semaine la règle de règlement dans la documentation de l'exchange, et enregistrez le résultat de l'exchange lui-même, pas le vôtre.
- Partez du principe que tout avantage a une demi-vie de quelques semaines. Budgétez l'ingénierie en conséquence.
- Ne changez pas de stratégie sur la performance récente. Un test de « lancer le modèle qui a fait le mieux dans les 12 dernières heures » a perdu face au fait de laisser le meilleur modèle tranquille, à chaque fois.