Cómo indexar datos de Solana

​

Descripción general

​

Cuándo usar esto

• Tu producto necesita consultas rápidas y filtradas para las que las llamadas RPC directas son demasiado lentas (por ejemplo, las cuentas de tokens y los saldos de una billetera, o el historial completo de un par de trading)
• Necesitas filtrar, agregar o combinar datos on-chain, o combinarlos con datos off-chain (precios de CEX, KYC, etiquetas)
• Calculas elementos como PnL, análisis de titulares o historiales de ventas de NFT que requieren datos preprocesados y consultables
• Atiendes a muchos usuarios y no puedes permitirte la latencia por solicitud al consultar la cadena

​

¿Qué significa indexar datos de Solana?

1. Rellena datos históricos: usa métodos RPC de archivo para consultar todos los datos históricos
2. Transmite datos nuevos: procesa bloques nuevos cuando la red los confirma
3. Analiza y transforma datos: extrae los datos relevantes de los bloques confirmados (por ejemplo, transacciones, cambios de estado, etc.)
4. Organiza los datos en una base de datos: actualiza el índice con los datos nuevos

​

¿Por qué la mayoría de las empresas crean índices de Solana?

​

Ejemplo de una billetera

​

Ejemplo de trading

​

Ejemplo de filtrado

​

Ejemplo de PnL

• Encontrar todas las transacciones asociadas con su billetera en un periodo determinado
• Filtrar las transacciones de swap y etiquetarlas como compras o ventas
• Determinar cuántas comisiones pagó el usuario durante cada swap
• Obtener los datos históricos del precio de cada token en el momento de cada operación
• Agregar el PnL de cada transacción para calcular el PnL total del trader

​

Paso 1: Obtén los datos históricos

1. getTransactionsForAddress (recomendado)
2. getSignaturesForAddress y getTransaction
3. getBlock

​

Método 1: getTransactionsForAddress (recomendado)

​

Pasos para usar este método

• Determina el periodo del que necesitas datos y configura el filtro correspondiente
• Establece transactionDetails en full para obtener todos los detalles de las transacciones
• Configura el filtro tokenAccounts para incluir transacciones de cuentas de tokens asociadas si es necesario
• Pagina los resultados mediante paginationToken
• En cada iteración, extrae los datos que necesitas y almacénalos en tu base de datos

​

Ventajas de usar getTransactionsForAddress

​

Método 2: getSignaturesForAddress y getTransaction

​

Pasos para usar este método

• Llama a getSignaturesForAddress
• Almacena la firma de la última transacción recibida de esta llamada
• Para la siguiente llamada a getSignaturesForAddress, establece el parámetro before en esta firma
• Repite esto en un bucle durante el tiempo que sea necesario
• Por cada firma de transacción recuperada de esta forma, llama a getTransaction para obtener todos los detalles de la transacción
• Inserta los datos relevantes en tu base de datos

​

Desventajas de este método

• Comenzar por la transacción más reciente y avanzar hacia atrás
• Hacer una llamada RPC adicional por cada transacción
• Crear una cola segura para subprocesos que gestione el procesamiento simultáneo
• Crear lógica de reintentos y espera exponencial para evitar la pérdida de datos y las limitaciones de tasa
• No incluye transacciones que involucren cuentas de tokens asociadas propiedad de la dirección

​

Método 3: Usa getBlock

​

Pasos para usar este método

• Decide el intervalo de tiempo que quieres consultar
• Convierte este intervalo en números de slot
• Obtén secuencialmente los bloques correspondientes (hacia adelante o hacia atrás)
• En cada bloque, filtra las transacciones relevantes para tu índice
• Almacena la información relevante en tu índice

​

Paso 2: Sincroniza los datos de Solana con tu base de datos

​

Opción 1: Bases de datos SQL

​

Ejemplo de implementación:

CREATE TABLE token_transfers (
    id BIGSERIAL PRIMARY KEY,
    slot BIGINT NOT NULL,
    timestamp TIMESTAMP NOT NULL,
    signature BYTEA NOT NULL UNIQUE,
    token_mint BYTEA NOT NULL,
    source_address BYTEA NOT NULL,
    destination_address BYTEA NOT NULL,
    amount BIGINT NOT NULL,
    decimals SMALLINT NOT NULL,
    program_id BYTEA
);

CREATE INDEX idx_source_address ON token_transfers (source_address);
CREATE INDEX idx_destination_address ON token_transfers (destination_address);
CREATE INDEX idx_token_mint ON token_transfers (token_mint);

CREATE INDEX idx_large_transfers ON token_transfers(amount) WHERE amount > 1000000;

​

Opción 2: Bases de datos columnares

​

Ejemplo de implementación:

CREATE TABLE token_transfers (
    block_time DateTime,
    slot UInt64,
    signature FixedString(64),
    token_mint FixedString(32),
    source_address FixedString(32),
    destination_address FixedString(32),
    amount UInt64,
    decimals UInt8,
    program_id FixedString(32),
    date Date DEFAULT toDate(block_time)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (token_mint, date)
SETTINGS index_granularity = 8192;

SELECT date, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v'
AND block_time BETWEEN '2025-01-01' AND '2025-01-31'

​

Opción 3: Lagos de datos

​

Ejemplo de implementación:

s3://solana_index/token_transfers/YYYY/MM/DD/part-00000.parquet

SELECT block_time, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v' AND block_time BETWEEN TIMESTAMP '2025-01-01 00:00:00' AND TIMESTAMP '2025-01-31 23:59:59';

​

Usa frameworks de indexación

​

Funciones principales:

• Decodificadores prediseñados para programas populares (programa Token, protocolos DeFi, Metaplex)
• Fuentes de datos configurables (RPC, LaserStream, WebSockets mejorados)
• Compatibilidad integrada tanto con el relleno de datos históricos como con la transmisión en tiempo real
• Salidas hacia varios backends de almacenamiento (Postgres se incluye de forma predeterminada)
• Totalmente personalizable: puedes configurar tus propias fuentes de datos, decodificadores y destinos de datos

​

Paso 3: Mantén actualizado tu índice

​

Método 1: LaserStream (recomendado)

• Reproducción del historial de 24 horas: si tu indexador se desconecta, LaserStream reproduce automáticamente todas las transacciones omitidas desde el punto en el que se interrumpió
• Reconexión automática: nuestros SDK de LaserStream (Rust, Go, JS/TS) gestionan automáticamente las interrupciones de red
• Conmutación por error de nodos: tu conexión de LaserStream agrega simultáneamente datos de varios nodos para garantizar la máxima disponibilidad

​

Cómo usar LaserStream para la indexación

• Limita tu filtro tanto como sea posible: suscríbete únicamente a los datos que realmente necesites indexar para minimizar el consumo de ancho de banda y el procesamiento necesario.
• Usa el nivel de confirmación confirmed: esto equilibra la latencia y la finalidad. El nivel processed puede ser poco confiable, mientras que finalized agrega ~13 segundos de latencia
• Establece failed: false, a menos que necesites específicamente rastrear transacciones fallidas
• Excluye las transacciones de votación (vote: false), ya que no son relevantes para la indexación

{
  transactions: {
    "transfers": {
      vote: false,
      failed: false,
      accountsInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    }
  },
  commitment: CommitmentLevel.CONFIRMED,
  accounts: {},
  slots: {},
  transactionsStatus: {},
  blocks: {},
  blocksMeta: {},
  entry: {},
  accountsDataSlice: []
}

​

Método 2: Usa LaserStream WebSocket

• Tu aplicación puede tolerar pérdidas ocasionales de datos
• Las actualizaciones en tiempo real son importantes, pero no son esenciales
• Ya tienes infraestructura para detectar y rellenar los datos faltantes
• Las restricciones presupuestarias son importantes y necesitas minimizar los costos de transmisión
• Estás creando un prototipo o haciendo pruebas antes de adoptar LaserStream

• Velocidad: LaserStream WebSocket se ejecuta en el mismo backend que LaserStream gRPC, pero el protocolo WebSocket agrega el entramado JSON y una sobrecarga por mensaje. Para obtener la menor latencia posible con los mismos datos, usa LaserStream gRPC
• Confiabilidad: no hay garantía de reproducción histórica. Si tu WebSocket se desconecta, tendrás que detectar y rellenar manualmente los intervalos faltantes mediante métodos RPC
• Complejidad: requiere infraestructura de supervisión adicional para garantizar que los datos estén completos

​

Cómo usar WebSockets para la indexación

{
  jsonrpc: '2.0',
  id: 1,
  method: 'transactionSubscribe',
  params: [
    {
      failed: false,
      accountInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    },
    {
      commitment: 'confirmed',
      encoding: 'jsonParsed',
      transactionDetails: 'full',
      maxSupportedTransactionVersion: 1
    }
  ]
}

​

Comienza

1. Obtener datos históricos de manera eficiente
2. Transformar y almacenar datos para recuperarlos rápidamente
3. Mantener actualizados en tiempo real los datos indexados de Solana

​

Opciones complementarias

• DAS API — consulta NFT, tokens fungibles y activos comprimidos (metadatos, propiedad, saldos, por propietario, colección o creador) sin tener que indexar tú mismo los datos de los activos.
• Wallet API — endpoints REST de alto nivel para consultar saldos, historiales, transferencias e identidades de billeteras, con valores en USD y una estructura de respuesta más sencilla.

​

Próximos pasos

• Regístrate para obtener una cuenta gratuita de Helius y acceder a la API
• Lee la guía de getTransactionsForAddress para rellenar datos históricos
• Explora la descripción general de LaserStream para la transmisión en tiempo real
• Consulta la descripción general de datos históricos para conocer todos los métodos de archivo