NUEVO: Solana Privacy Rings ya está disponible en la red principal
Un artículo que explora los shreds de Solana y LaserStream, la solución líder de streaming de datos
Blog/Desarrollo

Gana el juego de los milisegundos: shreds, LaserStream y la ventaja en Solana

Developer Experience Engineer0xIchigo en X0xIchigo en LinkedIn0xIchigo en GitHub
13 min de lectura

¿Qué harías si tuvieras una máquina del tiempo que siempre estuviera 10 milisegundos en el futuro? ¿Qué operaciones ejecutarías? ¿Qué cuentas monitorearías? ¿Cuánto más dinero ganarías? 

LaserStream es el servicio de streaming gRPC de próxima generación de Helius. Supera constantemente a otros servicios de streaming de datos en todas las regiones del mundo, sin obligarte a mantener nodos dedicados. 

Transmitir datos lo más rápido posible es crucial para detectar eventos on-chain (por ejemplo, swaps, liquidaciones y actualizaciones de precios) y enviar transacciones que respondan a esos eventos. Para las mesas de RFQ, los bots de liquidación y el trading de alta frecuencia, un par de milisegundos marca la diferencia entre ganar y perder una oportunidad.

El rendimiento líder de LaserStream en operaciones sensibles a la latencia se debe, en gran medida, a que se basa en shreds de baja latencia. Es decir, LaserStream recibe los datos propagados de los bloques en cuanto están disponibles, lo que permite a los usuarios ver antes las actualizaciones del estado de Solana. Gracias a su pipeline distribuido globalmente, reproducción automática, conmutación por error automática y SDK para clientes, LaserStream es, sin duda, la forma más fácil y rápida de transmitir datos en tiempo real en Solana. Estas ventajas hacen que integrar LaserStream sea crucial para exchanges, aplicaciones de trading, bots de MEV y cualquiera que se tome en serio las operaciones sensibles a la latencia.

Este artículo explora los shreds, las unidades más pequeñas de los bloques en Solana, por qué son importantes y cómo LaserStream los usa para impulsar la solución de streaming de datos más rápida posible. El artículo está diseñado para que cada sección pueda leerse de forma independiente. Sin embargo, si eres nuevo en los shreds y el streaming de datos en Solana, te conviene leer cada sección en orden.

¿Qué son los shreds?

Los shreds son la unidad fundamental que permite la propagación de datos de alto rendimiento de Solana y ofrece acceso anticipado a los cambios de estado on-chain.

Solana está diseñada para ofrecer la máxima velocidad y capacidad de procesamiento. Para lograrlo, no puede transmitir los bloques por la red como una sola unidad de gran tamaño. En su lugar, los bloques se dividen en paquetes más pequeños llamados shreds, las unidades atómicas de propagación de datos en Solana. 

Estos shreds representan partes de los datos de las transacciones antes de que se ensamblen en un bloque. Cada shred tiene un tamaño aproximado de 1.2 KB y está optimizado para caber en la unidad máxima de transmisión (MTU) de los paquetes de red estándar. Así se garantiza una entrega ultrarrápida sin fragmentación. 

Hay dos tipos de shreds:

Shreds de datos

Los shreds de datos encapsulan los datos principales de las transacciones de un bloque, divididos en piezas de tamaño fijo. Incluyen lotes serializados de entradas, que son grupos de transacciones precedidos por un conteo para procesarlos de forma eficiente.

Shreds de codificación

Los shreds de codificación proporcionan redundancia mediante codificación de borrado Reed-Solomon, una técnica de corrección anticipada de errores que genera datos de paridad. Esto permite reconstruir shreds faltantes o dañados. Los shreds de codificación se organizan en conjuntos de corrección anticipada de errores (FEC) junto con los shreds de datos, normalmente en proporciones equilibradas (por ejemplo, 32 shreds de datos por 32 de codificación) para tolerar hasta un 50 % de pérdida de paquetes. Los líderes pueden ajustar esta proporción según las condiciones de la red para mantener una alta confiabilidad.

¿Cómo se propagan los shreds en Solana?

El proceso comienza cuando el líder (es decir, el validador responsable de producir bloques en ese momento) agrupa y serializa las transacciones en entradas. Luego, estas entradas se dividen, o se fragmentan, en segmentos más pequeños llamados shreds. El líder firma todos los shreds mediante un sistema heredado (es decir, firma cada shred por separado) o un esquema basado en Merkle (es decir, firma la raíz de Merkle de todo el conjunto FEC), según se define en la especificación de shreds de Solana. Esto garantiza la autenticidad y la integridad de los datos. 

Los shreds se envían a otros validadores mediante Turbine, el sistema de propagación multicapa y basado en distribución ramificada de Solana. Con Turbine, el líder transmite los shreds a un nodo raíz, que los distribuye a las siguientes capas de validadores en una estructura de árbol. Cada capa los reenvía a la siguiente, con una distribución de 200 nodos por capa. Normalmente, el proceso abarca de 2 a 3 saltos, según la cantidad de validadores activos. Esta estructura de árbol minimiza el ancho de banda y logra distribuir las transacciones por toda la red en milisegundos.

La distribución ponderada por stake prioriza la entrega a los validadores con más stake. Turbine primero ordena los validadores según la cantidad de stake que poseen (es decir, su peso de stake). Los validadores con más stake aparecen antes en esta lista y, después de una reorganización determinista, suelen quedar en las primeras capas del árbol, más cerca del líder. Por lo tanto, menos saltos implican una menor latencia. Así que los validadores con más stake reciben los shreds antes.   

Nota: Turbine será reemplazado por Rotor en el futuro, una vez que se implemente Alpenglow. Incluso con estos cambios, el stake de un validador seguirá influyendo en los pares a los que transmitirá.

¿Cómo se vuelven a ensamblar los shreds en bloques?

Cuando un validador recibe los shreds, primero verifica sus firmas para confirmar su autenticidad y usa la codificación de borrado Reed-Solomon para reconstruir los shreds de datos faltantes o dañados a partir de los shreds de codificación disponibles en el conjunto FEC. 

Luego, los shreds de datos reconstruidos se desfragmentan. Es decir, sus cargas útiles se concatenan en orden usando los índices de los shreds para volver a formar los lotes serializados de entradas. 

Después, estos lotes se deserializan en transacciones y entradas individuales, que pueden ensamblarse en un bloque completo.

¿Por qué importan los shreds? 

Los shreds importan porque reducen la ventana de reacción en una red donde el tiempo es decisivo. 

Los shreds son cruciales para aprovechar las ventajas de alto rendimiento de Solana, especialmente en aplicaciones sensibles a la latencia, como el trading de alta frecuencia, las mesas de solicitud de cotización (RFQ), los motores de liquidación y las actualizaciones de oráculos. 

Los shreds ofrecen la visibilidad más temprana de los eventos on-chain emergentes. Esto contrasta con la mayoría de las demás blockchains, donde las aplicaciones deben esperar a que se produzca y confirme el bloque completo, lo que puede añadir demoras de cientos de milisegundos a varios segundos. 

Puede resultar incómodo trabajar con shreds sin procesar, ya que el receptor debe verificar su autenticidad, reconstruir los shreds de datos faltantes, desfragmentarlos y deserializarlos en transacciones y entradas y, finalmente, analizarlos para detectar eventos procesables, como swaps o cambios en cuentas.

Si quieres aprovechar la ventaja de latencia de los shreds sin crear ese pipeline, Preprocessed Transactions los desfragmenta por ti y transmite las transacciones firmadas mediante WebSocket hasta 8 ms antes del nivel de compromiso processed.

Sin embargo, este “vistazo anticipado” a las transacciones y actualizaciones de cuentas pendientes ofrece una ventaja incomparable, que se traduce directamente en mayores tasas de éxito en escenarios competitivos.

Por ejemplo, un bot de liquidación que monitorea las proporciones de garantía podría detectar una posición vulnerable y actuar mediante shreds mucho antes que sus competidores, que usan métodos más lentos como WebSockets, y así ganar la liquidación. 

La jerarquía de latencia de los shreds

Es importante tener en cuenta que la latencia de los shreds no es uniforme en todas las fuentes.

Validadores con mucho stake

Los validadores con una cantidad significativa de stake reciben la mayor prioridad en el árbol de propagación de Turbine. A menudo reciben los shreds directamente del líder o desde las primeras capas de distribución, por lo que se benefician de la calidad de servicio ponderada por stake (SWQoS).

Validadores con stake

Los validadores con una cantidad moderada de stake sufren demoras intermedias debido a su menor prioridad en la cola de propagación, ya que los shreds deben realizar saltos adicionales. Su participación en el consenso garantiza un acceso confiable, aunque la latencia puede variar ligeramente según su posición en la red y la distribución actual del stake. En comparación con los validadores con mucho stake, los validadores con poco stake no son ideales para operaciones ultracompetitivas y sensibles al tiempo.

Validadores sin stake

Los validadores sin stake no tienen las ventajas de calidad de servicio de los nodos con stake y no son adecuados para transmitir datos de Solana en tiempo real en operaciones donde la latencia es crítica. Son los últimos en recibir shreds en la distribución de Turbine.

Cuanto más cerca estés del inicio del árbol, más tiempo tendrás para reaccionar antes de que el resto de la red te alcance. 

Variabilidad global 

Es importante destacar que Turbine no depende de la ubicación. La propagación global puede ampliar la variabilidad de la latencia, ya que la distancia física y las condiciones de la red introducen demoras adicionales a los saltos de Turbine. 

Por ejemplo, los shreds que viajan entre regiones (como desde un líder ubicado en Estados Unidos hasta validadores de Asia-Pacífico) pueden sufrir demoras por el enrutamiento intercontinental, las retransmisiones de paquetes o incluso problemas de interconexión, aun en el caso de validadores con mucho stake ubicados en las primeras capas de Turbine.

Esta distribución geográfica crea oportunidades de optimización. Aunque un solo validador con mucho stake puede destacar a nivel local, podría quedar rezagado globalmente si su ubicación no es óptima. Una red distribuida de shreds podría mitigar este problema al reunir los shreds más rápidos de varias fuentes, lo que reduciría la variación y permitiría alcanzar velocidades de recepción constantes. En escenarios globales, un sistema así podría superar de forma consistente a un validador con el máximo nivel de stake.

Acceder de forma confiable a shreds desde fuentes optimizadas es esencial para que los desarrolladores de sistemas donde la latencia es crítica mantengan una ventaja competitiva. Sin embargo, esto requiere una infraestructura sólida que gestione eficazmente la recuperación, la verificación y la distribución global. Además, la mayoría de las herramientas populares de streaming de datos en tiempo real de Solana todavía no aprovechan los shreds.

Streaming de datos en Solana

En Solana, los desarrolladores que quieren transmitir datos en tiempo real tienen varias opciones, cada una con sus propias ventajas y desventajas en cuanto a latencia, confiabilidad y complejidad:

Webhooks

Los webhooks permiten actualizaciones basadas en eventos y envían datos a tu aplicación cuando se producen cambios en una cuenta o un programa específicos. Son fáciles de integrar mediante código e incluso puedes configurarlos sin programar directamente desde el panel de Helius. Los desarrolladores pueden transmitir datos analizados y legibles para personas sobre tipos específicos de transacciones, cargas útiles de transacciones sin procesar e incluso enviar estas actualizaciones directamente a un canal específico de Discord como mensajes con formato.

Aunque los webhooks son muy confiables y muchas empresas destacadas de Solana los usan, envían notificaciones después de que se confirma una transacción. Esto significa que pueden estar cientos de milisegundos por detrás de los datos a nivel de shred, por lo que son demasiado lentos para operaciones donde la latencia es crítica, como el trading de alta frecuencia o las liquidaciones.

WebSockets estándar

La API JSON RPC de Solana admite suscripciones mediante WebSocket, como accountSubscribe para cambios en cuentas, logSubscribe para registros de transacciones y programSubscribe para eventos de programas. WebSockets mantiene una conexión persistente entre un cliente y un proveedor de RPC, y transmite actualizaciones en cuanto se procesan las transacciones y los cambios en las cuentas. WebSockets es bidireccional y resulta adecuado para monitorear cuentas o eventos específicos en tiempo real, a la vez que reduce la sobrecarga del sondeo.

Sin embargo, al igual que los webhooks, WebSockets entrega los datos después de volver a ensamblar los shreds (es decir, en los niveles de compromiso processed, confirmed o finalized), lo que añade entre 400 ms y 30 s de latencia, según el nivel de compromiso. 

WebSockets también se considera un tipo de conexión frágil. Las conexiones pueden interrumpirse por distintos problemas que requieren una lógica de reintento personalizada. Las desconexiones pueden provocar una pérdida permanente de datos si no se complementan con sondeo, lo que reduce la confiabilidad en tiempo real. 

Enhanced WebSockets

Enhanced WebSockets supone una mejora significativa frente a WebSockets estándar, ya que ofrece varias optimizaciones de rendimiento y capacidades avanzadas de filtrado. En concreto, un mejor análisis de eventos y menos ruido hacen que sea más fácil de usar para los desarrolladores en producción.

Enhanced WebSockets puede reducir la latencia frente a WebSockets estándar y es excelente para aplicaciones generales de streaming. Por ejemplo, existe una diferencia de rendimiento notable al transmitir datos de Pump AMM con Enhanced WebSockets, en comparación con WebSockets estándar y los webhooks. 

Sin embargo, Enhanced WebSockets sigue entregando los datos después de volver a ensamblar los shreds. Esto limita su utilidad en aplicaciones donde cada milisegundo cuenta. Además, aunque ofrece mejoras, no incluye reproducción automática ni conmutación por error, por lo que debes gestionar manualmente las brechas de datos. 

Yellowstone gRPC

Yellowstone gRPC es un protocolo de streaming de baja latencia entre validadores y clientes que puede proporcionar acceso a los datos a nivel de shred. Esto lo hace considerablemente más rápido que WebSockets y los webhooks, ya que puede entregar las actualizaciones antes para el nivel de compromiso correspondiente. 

Yellowstone ofrece streaming bidireccional con creación y cancelación inmediata de suscripciones, además de capacidades avanzadas de filtrado para controlar con precisión qué datos recibes en respuesta a actualizaciones específicas de transacciones, cuentas o programas.

Yellowstone es ideal para quienes buscan evitar límites de tasa y créditos, y quieren hardware aislado garantizado para configuraciones de nodos personalizadas. Sin embargo, presenta varias desventajas importantes:

1. Carga de infraestructura

Necesitas tu propio nodo dedicado para aprovechar todo el potencial de Yellowstone gRPC. Esto requiere acceso al hardware, una configuración adecuada, su administración continua y conocimientos especializados para depurar cualquier problema relacionado con el hardware.

2. Variabilidad de la latencia

Que Yellowstone gRPC pueda entregar datos a nivel de shred no significa que lo haga de la forma más óptima. La latencia puede variar según tu proveedor y si tu nodo dedicado está conectado con fuentes optimizadas para shreds (es decir, validadores con mucho stake). Conectarlo con validadores que tengan desde un stake moderado hasta poco stake significa que no llegarán de forma constante a la primera capa de Turbine, por lo que seguirás recibiendo muchos shreds más tarde.

3. Riesgos de fallos

Depender de un solo nodo dedicado crea un punto único de fallo, algo que se agrava porque Yellowstone gRPC no incluye capacidades nativas de reproducción.

4. Demanda de recursos

Sobrecargar un nodo dedicado con llamadas RPC intensivas mientras transmites datos mediante Yellowstone puede degradar el rendimiento. 

Durante mucho tiempo, y para muchos equipos, Yellowstone gRPC ha sido el servicio de streaming preferido para obtener datos en tiempo real de Solana. Es rápido y adecuado para usuarios avanzados, pero resulta difícil operarlo con una cobertura global, constante y de baja latencia sin acceso a una flota de nodos dedicados en todo el mundo.

LaserStream

LaserStream combina la velocidad de recepción a nivel de shred con la confiabilidad y el alcance de un servicio distribuido globalmente, sin el costo ni la carga operativa de ejecutar varios nodos dedicados. 

LaserStream lo consigue mediante:

  • Recepción desde múltiples fuentes: LaserStream recibe los shreds con la menor latencia y supera de forma constante a sus competidores en todo el mundo.
  • Cobertura global: LaserStream está disponible en varias regiones del mundo, lo que permite a los desarrolladores usar el endpoint más cercano a su infraestructura. Cada región ejecuta varios servidores para proporcionar redundancia, con conmutación por error automática.
  • Cero brechas: la reproducción histórica de LaserStream permite a los desarrolladores reproducir datos recientes de la blockchain de hasta 48 horas atrás. Esto resulta útil para gestionar desconexiones y garantizar la continuidad de los datos. 
  • Una experiencia fácil para desarrolladores: LaserStream reemplaza directamente a Yellowstone gRPC, sin migraciones, sintaxis nueva ni complicaciones.

En resumen, LaserStream es una mejora escalable, de baja latencia y tolerante a fallos frente a Yellowstone gRPC y WebSockets. Proporciona de forma constante eventos on-chain en cuanto ocurren en la red, sin exigirte millones en stake ni operar por tu cuenta una infraestructura de alto rendimiento. 

LaserStream es la forma más fácil de aprovechar el poder de los shreds para transmitir datos con latencia ultrabaja en Solana.

Clientes y rendimiento

LaserStream tiene clientes disponibles en Go, Rust y JavaScript/TypeScript. Estos clientes gestionan la reproducción automática después de las desconexiones porque rastrean continuamente qué slot se ha transmitido. Si se produce una desconexión por cualquier motivo, el cliente vuelve a conectarse automáticamente y reanuda el streaming desde el último slot procesado.

El cliente JavaScript de LaserStream resulta especialmente interesante porque usa bindings nativos de Rust. Gracias a esto, ofrece una capacidad de procesamiento de 1.3 GB/s. Esto representa una mejora de 40 veces frente al cliente JavaScript actual de Yellowstone gRPC, cuyo máximo es de 30 MB/s. 

A medida que Solana siga escalando, al cliente JavaScript de Yellowstone gRPC le costará mantener el ritmo. El margen de rendimiento del cliente JavaScript de LaserStream garantiza que tu aplicación pueda escalar de forma segura junto con la red a medida que aumente la demanda. 

Resultados reales

DFlow, un agregador DEX de baja latencia, integró recientemente LaserStream para alimentar su motor de precios. Decidió integrarlo por su capacidad para escalar globalmente sin preocuparse por nodos dedicados y para ahorrar recursos de ingeniería que puede dedicar al enrutamiento y al código de negocio. 

Desde la integración, DFlow ha ahorrado más de ocho horas de trabajo de ingeniería recurrente, ha mantenido una disponibilidad del 100 % con streaming de datos ininterrumpido y ha acelerado las cotizaciones mediante confirmaciones de transacciones más rápidas. 

Lo que más nos importa es la seguridad de los usuarios. Para ofrecer a los traders el mejor precio y los spreads más ajustados, dependemos de LaserStream para alimentar nuestro motor de precios con los datos on-chain más recientes y rápidos

Nitesh Nath
Nitesh Nath
CEO, DFlow

Streaming más rápido, desde hoy.

Los milisegundos no son solo latencia: son oportunidades. Con LaserStream, no solo mantienes el ritmo de la red. Te adelantas a ella. 

¿Quieres datos en menos de un segundo para trading, liquidaciones u oráculos? Usa LaserStream y accede a los datos más rápidos disponibles en Solana. 

Como alternativa, si eres un usuario avanzado y te interesa recibir shreds sin procesar, comunícate con nosotros aquí mediante el siguiente formulario.

Recursos adicionales

Suscríbete a Helius

Mantente al día con las novedades del desarrollo en Solana y recibe actualizaciones cuando publiquemos

Imagen ampliada