Quatro fontes, na ordem em que você deve recorrer a elas. Nenhuma custa dinheiro. A última é aquela da qual você vai acabar dependendo.
1. Arquivos públicos de ticks
Livros de ofertas com profundidade completa dos mercados curtos de cripto existem no Hugging Face e no GitHub, alguns com resolução de 100 milissegundos, cobrindo semanas de cada vez e já rotulados com os resultados oficiais. Procure nos hubs de datasets pelo nome da exchange mais "crypto" ou "up down". Confira o período e a taxa de amostragem antes de construir sobre um deles; dois arquivos com o mesmo nome podem estar um mês distantes.
2. Endpoints das exchanges
A Kalshi serve candlesticks de qualquer mercado desde a listagem: bid, ask e volume no intervalo que você pedir. A Polymarket serve um histórico de preços por token e todo mercado liquidado pelo id numérico, incluindo mercados que já não aparecem nas consultas por slug. Ambos são histórico gratuito do livro de ofertas sem precisar de logger.
3. Execuções on-chain
Cada execução na Polymarket é um log de evento na Polygon; as execuções da Limitless ficam na Base. Um indexador puxa todo o histórico de operações de uma carteira em minutos, que foi como o estudo de caso de copy trading foi testado e como qualquer um pode auditar uma taxa de acerto pública.
4. Seu próprio logger
Livros via websocket mais um snapshot a cada 5 segundos, comprimidos diariamente. Espere de 1 a 2 GB por dia por exchange. Ligue-o antes de começar qualquer outra coisa; a semana que você gasta construindo um modelo é uma semana de dados que você vai desejar ter.
Como preencher o histórico
- Busque o resultado oficial de cada mercado pelo id. Nunca o derive do último preço ou da sua própria leitura do oráculo; nos logs isso estava errado de 2 a 7 por cento das vezes, e uma "vantagem" de 14 por cento acabou sendo nada além de rótulos errados.
- Guarde os payloads brutos e derive as features depois, nunca o contrário.
- Comprima diariamente com zstd; um mês de ticks cabe em um NVMe pequeno.
- Registre o relógio em que cada livro foi lido. Uma janela sem leitura recente não é uma operação que você poderia ter feito.
- Descarte janelas cujo livro nunca mudou da abertura até o seu segundo de entrada. Cerca de uma janela em oito na exportação de uma exchange era uma cotação congelada de uma pane, e um replay ingênuo "ganhou" 92 por cento delas.
Preços spot, quatro opções
- Websocket de exchange
- Book ticker da Binance ou da Coinbase. O mais barato e rápido; o livro do mercado de previsão reage a ele em cerca de 16 milissegundos, então é uma referência, não uma vantagem.
- Klines de 1 segundo
- A Binance publica arquivos diários. Suficiente para pesquisa, não para disparar ordens.
- O stream do oráculo da exchange
- A Polymarket retransmite seus preços da Chainlink pelo próprio websocket. O único feed que bate com a liquidação.
- Streams de dados pagos
- Feeds de oráculo abaixo de um segundo custam mais do que a maioria dos bots ganha. Meça primeiro com os feeds gratuitos.