Veranschaulichende Zahlen auf Basis geloggter Läufe
Die meisten "KI-Bots" sind ein Modell, das an dieselben Daten angepasst wurde, an denen es beurteilt wird. Dieses hier wurde andersherum gebaut: auf einer Saison trainiert, Schwellen auf einer zweiten gewählt, einmal auf einer dritten getestet, und dann mit einer Messlatte für Weiter-oder-Stopp versehen, bevor es Geld anfasste.
Das Modell
Ein Gradient-Boosted-Tree auf neun Merkmalen aus dem Orderbuch und dem Spot-Feed: der Ask, der Spread, wie oft der Favorit gewechselt hat, ob Spot mit dem Orderbuch übereinstimmt und um wie viel, die Stunde, die Sekunde im Fenster und der Coin. Es gibt eine Gewinnwahrscheinlichkeit aus; der Bot löst aus, wenn diese Wahrscheinlichkeit den Ask plus Gebühr um eine Marge übertrifft, und nimmt die beste Sekunde im Fenster.
Der Checkpoint
Vor dem Start wurde die Messlatte aufgeschrieben: nach 50 Live-Fills stoppen, wenn die Anzahl der Treffer auf dem Ein-Prozent-Niveau unter der Erwartung liegt. Nach 89 Fills stand es bei 68 Treffern gegen 68,3 erwartete, plus 3,65 Punkte pro Dollar gegen 3,64 im Backtest. Es hat bestanden und lief weiter.
Die Woche, in der es gezahlt hat
Dasselbe Modell, ausgelöst von einem Server, der in die Region der Börse umgezogen war, mit einem Websocket-Spiegel des Orderbuchs statt Polling, brachte über sechs Tage etwa 8 Punkte pro Dollar, mit jedem Tag positiv. Veranschaulichend: $500 bei 10 Prozent Einsatz, etwa $1,100 nach dieser Woche.
Die Woche danach
Die nächsten zwei Wochen waren flach. Die vorab festgelegte Vorhersage zur Latenz hat gehalten; der Markt ist nicht stehen geblieben. Retrains pro Coin, eine 15-Minuten-Version und ein Schema "auf das beste Modell der letzten 12 Stunden wechseln" wurden alle getestet und haben alle gegen das schlichte In-Ruhe-Lassen des ursprünglichen Modells verloren.
Was du übernehmen solltest
- Teile nach Zeit, nicht zufällig. Training, Validierung und ein unberührtes Holdout, das du einmal öffnest.
- Bewerte gegen den ausführbaren Ask bei der echten Gebühr, ein Trade pro Fenster, nie über Preisniveaus hinweg zusammengeworfen.
- Schreib die Stopp-Regel vor der ersten Order. Ein Checkpoint, den du nach dem Blick auf die Ergebnisse setzt, ist kein Checkpoint.
- Wiederhole die gesamte Suche auf einem Markt ohne Vorteil und berichte diesen p-Wert, nicht den der einzelnen Regel. Eine 6-mal-3-Suche auf reinem Rauschen liefert am 95. Perzentil "+3,4 Punkte".