NUEVO: Solana Privacy Rings ya está disponible en la red principal
Ejecución asíncrona de programas: el comienzo de una nueva APE-oca de Solana
Blog/Investigación

Ejecución asíncrona de programas: el comienzo de una nueva APE-oca de Solana

InvestigadorLostin en X
29 min de lectura

Introducción

En medio de los intensos debates y las conferencias magistrales repletas de anuncios del concurrido Breakpoint de este año, Anatoly Yakovenko, cofundador de Solana, se tomó un momento para impartir un único taller técnico improvisado y sin grabar. Con un rotafolio y marcadores, profundizó en los detalles de un tema que promueve con entusiasmo como la próxima evolución de Solana y que es el eje de este artículo: la ejecución asíncrona.

Para comenzar a explorar la ambiciosa visión de la ejecución asíncrona (en adelante, AE), iniciaremos el recorrido con una explicación general de sus conceptos y objetivos centrales. Después, examinaremos los mecanismos actuales de ejecución y consenso de Solana para establecer una base que permita comparar las arquitecturas propuestas para el futuro. Luego profundizaremos en las distintas propuestas relacionadas con AE, empezando por los líderes sin banco, que constituyen un paso necesario para esta transición. También exploraremos las primeras propuestas de diseño de 2022 y avanzaremos cronológicamente hasta las propuestas más recientes de «arquitectura final», que van más allá de AE e incluyen diseños con varios productores de bloques simultáneos.

AE: panorama general

Es un poco extraño pensarlo. Lo único que hace [un validador] es crear bloques y votar. Nunca necesita ejecutar ninguno de esos bloques. Mientras crea bloques, no sabe qué tipo de bloques está creando… Lo único que importa es acordar el orden. No importan los valores.

Anatoly Yakovenko
Anatoly Yakovenko
Cofundador de Solana

En el contexto del protocolo central de Solana, AE se refiere al enfoque arquitectónico que separa la ejecución del consenso para que ambos puedan operar de forma independiente. La red lo logra al alcanzar consenso sobre el orden de las transacciones sin ejecutarlas realmente. Una vez acordado el orden, cualquiera puede ejecutar las transacciones para revelar la verdad.

Con este enfoque, los líderes crearían bloques sin ejecutar las transacciones que no sean votos y los propagarían por la red mediante Turbine. Los validadores también podrían votar por los bloques sin ejecutar dichas transacciones. El consenso se limitaría al orden y la disponibilidad de las transacciones, lo que reduciría considerablemente el tiempo y los pasos necesarios para alcanzarlo. Parafraseando un resumen de Jon Charbonneau, de DBA: el orden determina la verdad y la ejecución la revela.

Este enfoque difiere mucho del funcionamiento actual del consenso, en el que los líderes ejecutan las transacciones antes de incluirlas en bloques y todos los validadores reproducen las transacciones de un bloque antes de votarlo.

AE es posible porque:

  1. La elección de bifurcación no depende de la ejecución de programas
  2. Solo se puede calcular un estado correcto dada una función determinista de transición de estado. Con el tiempo, todos calcularán el mismo estado final
  3. Las transacciones no válidas pueden descartarse. El costo para la red del spam de transacciones fallidas es relativamente bajo y se limita al ancho de banda de Turbine necesario para propagarlas y al almacenamiento adicional que ocupan en el libro mayor
  4. Las máquinas que requieren calcular el estado completo en tiempo real y con baja latencia, como las operadas por proveedores de servicios RPC dedicados, pueden configurarse específicamente para este propósito

AE ofrece muchas ventajas potenciales.

Yakovenko llega a afirmar: «La ejecución asíncrona es uno de esos casos excepcionales en los que prácticamente no hay concesiones».

  1. Tiempos de bloque más rápidos (200 milisegundos)
  2. Tiempos de bloque más confiables
  3. Menores requisitos para los validadores
  4. Mejor experiencia de usuario (finalización más rápida)
  5. Mayor resistencia a la censura
  6. Menor ventana para reordenar transacciones
  7. Transferencia de la capacidad no utilizada entre bloques
  8. Una vía hacia varios productores de bloques simultáneos (más información al respecto adelante)

A lo largo de este artículo exploraremos con precisión cómo AE ofrece estas ventajas.

Otra forma de entender AE es que permite al programa de votación operar de forma independiente de todos los demás programas. El programa de votación y el programa del sistema (que siempre es necesario) son los únicos programas requeridos para el consenso dentro de una época.

Las conversaciones sobre AE en Solana llevan varios años en curso. La primera propuesta formal de Anatoly Yakovenko, titulada originalmente APEX (ejecución asíncrona de programas), data de abril de 2022. Los detalles concretos sobre cómo implementar AE en Solana están distribuidos entre varios SIMD y artículos. Este artículo los abordará en un orden principalmente cronológico. Yakovenko es, sin duda, el principal promotor y defensor público de AE en la comunidad de Solana, y rara vez pierde la oportunidad de tratar el tema en entrevistas y pódcasts.

Terminología

Conviene definir brevemente dos términos clave que ocuparán un lugar destacado en nuestro análisis de AE: líderes sin banco y varios productores de bloques simultáneos (MCBP). En resumen:

  • Líder sin banco: líder capaz de crear bloques sin ejecutar transacciones
  • Ejecución asíncrona (AE): separación total entre consenso y ejecución
  • Varios productores de bloques simultáneos (MCBP): como indica el nombre, varios bloques producidos simultáneamente dentro de la misma ranura‍

Los líderes sin banco son un paso necesario para habilitar AE por completo. Del mismo modo, implementar AE con éxito es esencial para introducir posteriormente varios productores de bloques simultáneos (MCBP), también denominados varios líderes simultáneos (MCL). Las conversaciones sobre AE suelen estar ligadas a las de MCBP. Yakovenko defiende ambos conceptos como partes fundamentales de la «arquitectura final» de Solana.

Solana no es la única blockchain que investiga estas mejoras arquitectónicas. Monad planea implementar AE desacoplando el consenso y la ejecución en hilos distintos. De manera similar, la comunidad de investigación de Ethereum lleva tiempo explorando la posibilidad de introducir varios proponentes simultáneos.

Las propuestas de Yakovenko siguen siendo objeto de debate en la comunidad, ya que implementarlas exigiría cambios importantes en el protocolo central de Solana. No todos coinciden en que AE sea el mejor camino. No es exagerado decir que implementar por completo la arquitectura final propuesta por Yakovenko transformaría radicalmente el funcionamiento de Solana y aumentaría la complejidad general del protocolo.

Antes de examinar AE con más detalle, debemos repasar cómo funcionan actualmente la ejecución y el consenso en Solana, con especial atención a los aspectos que mencionaremos más adelante. También analizaremos datos sobre las transacciones de voto y las que no son votos para obtener información adicional que fundamente el análisis posterior. Si ya conoces bien estas funciones y confías en tu comprensión, puedes omitir la siguiente sección.

Ejecución síncrona (Solana en la actualidad)

Ejecución

Solana emplea la creación continua de bloques, que consiste en ensamblarlos y transmitirlos dinámicamente mientras se crean durante una ranura asignada de 400 milisegundos. A cada líder se le asignan cuatro ranuras consecutivas (1.6 segundos) antes de la rotación. Para que la red acepte un bloque, el líder debe verificar y ejecutar cada transacción del bloque. Además, todos los demás validadores activos que participan en el consenso vuelven a verificar y ejecutar cada transacción del bloque.

Un líder recibe paquetes de transacciones a través de Gulfstream mediante QUIC. Estos entran en la Unidad de Procesamiento de Transacciones (TPU), la lógica central del líder responsable de producir bloques. La TPU recibe paquetes por tres puertos abiertos:

  • tpu: gestiona transacciones normales, como transferencias de tokens, acuñaciones de NFT e instrucciones de programas
  • tpu_vote: gestiona exclusivamente transacciones de voto
  • tpu_forwards: si el líder actual no puede procesar todas las transacciones, reenvía los paquetes no procesados al siguiente líder mediante este puerto‍

Antes de iniciar cualquier tipo de ordenamiento o ejecución, todos los paquetes de transacciones se someten a rigurosas validaciones y comprobaciones de coherencia. Estas incluyen verificar las firmas, comprobar que la cantidad de firmas sea correcta y eliminar transacciones duplicadas. Ten en cuenta que las transacciones de voto y las que no son votos tienen procesos de verificación de firmas separados.

La creación de bloques ocurre en la etapa bancaria. Un banco es el estado en un bloque determinado. Las transacciones se procesan en paralelo y se agrupan en entradas del libro mayor: lotes de 64 transacciones sin conflictos. Todas las transacciones incluyen una lista completa de las cuentas que leerán y modificarán. Este diseño permite a los validadores seleccionar fácilmente solo transacciones sin conflictos para ejecutarlas dentro de cada entrada. Las transacciones entran en conflicto si modifican la misma cuenta (dos escrituras) o si leen y modifican la misma cuenta (lectura + escritura). Las transacciones en conflicto se colocan en entradas distintas y se ejecutan secuencialmente, mientras que las que no tienen conflictos se ejecutan en paralelo.

Seis hilos procesan transacciones en paralelo: cuatro se dedican a las transacciones que no son votos y dos gestionan exclusivamente las transacciones de voto. Los votos de consenso se tratan como transacciones privilegiadas dentro de la etapa bancaria: tienen un precio uniforme de 0.000005 SOL, consumen 2,100 unidades de cómputo (CU) y los ejecuta el programa de votación. 

Una vez agrupadas las transacciones en entradas, la máquina virtual de Solana (SVM) las ejecuta. Se bloquean las cuentas necesarias para la transacción y se comprueba que esta sea reciente, pero que no se haya procesado antes. Luego se cargan las cuentas y se ejecuta la lógica de la transacción, lo que actualiza sus estados. Se envía un hash de la entrada al servicio de prueba de historial (PoH) para registrarlo. Si todo resulta correcto, los cambios se confirman en el banco y se liberan los bloqueos de cada cuenta.

El protocolo no impone un orden para las transacciones válidas dentro de un bloque. El estado final de la cadena es el resultado de todas las transacciones confirmadas. Este estado siempre puede recrearse de forma determinista a partir del historial de la blockchain (es decir, reproduciendo el libro mayor desde el bloque génesis o desde una instantánea).

Cada banco tiene un BankHash correspondiente, un hash SHA256 de lo siguiente:

  • BankHash principal: el BankHash del bloque principal inmediato
  • DeltaHash de cuenta: una raíz de árbol de Merkle de orden 16 de todas las cuentas que sufrieron cambios de estado en el bloque actual
  • Recuento de firmas: el número total de firmas de transacciones en el bloque actual
  • Último hash de bloque
Código
hashv(&[
	parent_bankhash,
	accounts_delta_hash,
	num_sigs,
	blockhash,
])

El BankHash es el compromiso criptográfico que los validadores votan en cada ranura.

Consenso

Los validadores necesitan tres cuentas para facilitar el proceso de votación:

Cuenta de identidad

Esta cuenta del sistema firma y paga las comisiones de todas las transacciones de voto. Es un par de claves activo almacenado directamente en el hardware del servidor. Como indica su nombre, la clave pública de esta cuenta funciona como la identidad del validador en la red. La cuenta de identidad es necesaria para crear una cuenta de voto.

Cuenta de voto

Esta es la cuenta a la que los delegadores asignan sus SOL. La dirección se utiliza para buscar la cuenta, no para firmar transacciones.

Cuenta de retiro

Esta cuenta se utiliza para retirar fondos de la cuenta de voto. Puede cambiar la cuenta de identidad. La clave privada de esta cuenta suele almacenarse en una billetera multifirma segura o en una billetera fría, y debe ser distinta de los pares de claves de identidad y autoridad de voto del validador.

Cada voto (ejemplo) firmado por el validador incluye su clave pública y un hash que identifica el bloque por el que vota. Cuando los validadores envían votos correctos y exitosos, obtienen créditos.

La red no espera a que todos los validadores acepten un bloque recién producido antes de crear el siguiente. Por eso, no es raro que dos bloques distintos estén vinculados al mismo bloque principal, lo que crea bifurcaciones. Los validadores deben votar por estas bifurcaciones y utilizar Tower BFT, una variante de la tolerancia práctica a fallas bizantinas (pBFT) original, para determinar cuál adoptar. 

Cuando existen bifurcaciones rivales, la red finaliza una sola y los validadores abandonan los bloques de las bifurcaciones descartadas. Cada ranura tiene un líder predeterminado y solo se acepta el bloque de ese líder; no puede haber dos bloques propuestos para una misma ranura. Por lo tanto, el número de posibles bifurcaciones se limita a una lista de omisiones de tipo «presente/ausente» que puede surgir en los límites de las ranuras de rotación de líderes. 

Una vez que un validador elige una bifurcación, queda comprometido con ella hasta que vence un periodo de bloqueo. Esto significa que debe mantener su elección durante un periodo mínimo. Este mecanismo incentiva a los validadores a votar con cuidado por la bifurcación que consideran que tiene más posibilidades de incluirse, es decir, la bifurcación «más pesada».

Un bloque se considera confirmado de forma optimista cuando una supermayoría de dos tercios vota por él. Se considera finalizado una vez que se han creado 31 bloques encima. En toda la historia de Solana, nunca ha ocurrido que un bloque confirmado de forma optimista no llegara a finalizarse.

Cuando se finaliza una bifurcación, el bloque se arraiga con las actualizaciones de cuentas del banco y sus antecesores se escriben en el disco. Además, se podan todas las actualizaciones de cuentas de bancos anteriores que no sean antecesores del banco finalizado.

Transacciones de voto y transacciones que no son votos

Como hemos visto en Solana, los procesos de ejecución de transacciones y el logro de consenso mediante Tower BFT están estrechamente relacionados. Tanto las transacciones de voto como las que no son votos siguen la misma ruta: se agrupan en entradas, la SVM las ejecuta, se registran en el flujo de prueba de historial (PoH) y se distribuyen por la red mediante Turbine. Este proceso unificado garantiza que los validadores tengan una visión coherente del estado de consenso, ya que propagar los votos únicamente mediante el servicio gossip podría generar discrepancias entre ellos. Estas diferencias podrían hacer que los validadores tuvieran perspectivas distintas sobre qué bifurcación tiene más probabilidades de ser correcta. La creación continua de bloques requiere una votación continua, especialmente mientras se confirman los bloques anteriores.

Un efecto secundario de esta agrupación es la controversia en torno a las métricas de transacciones por segundo (TPS) de Solana. En su forma bruta, incluyen tanto las transacciones de voto como las que no son votos, algo que no sucede en la mayoría de las redes comparables del sector. Esto ha llevado a adoptar una métrica de «TPS reales», que excluye las transacciones de voto, como medida más precisa de la capacidad de transacción.

Al examinar la actividad reciente de Solana, observamos que las transacciones de voto superan a las que no son votos, con un promedio ligeramente inferior a 1,000 por bloque.

Las transacciones de voto representan solo una pequeña fracción del total de unidades de cómputo por bloque. En promedio, consumen poco más de 2 millones de CU por bloque y se mantienen en un rango constante de entre 2.1 y 2.3 millones de CU. Esto representa solo el 4.5 % del límite de cómputo de 48 millones de CU de los bloques de Solana.

Las transacciones de voto son muy predecibles en cuanto al tiempo y el cómputo que requieren frente a las transacciones que no son votos. Este es un punto crucial que retomaremos más adelante. Las CU de las transacciones que no son votos son irregulares, lo que provoca un uso ineficiente del hardware. ‍

Garantizar tiempos de ejecución precisos en el entorno de ejecución es difícil, ya que se trata más bien de una medición aproximada. En promedio, los bloques intentan mantenerse dentro de los 400 milisegundos, pero ocasionalmente se producen picos. Estos picos pueden considerarse errores, y se trabaja continuamente para identificarlos y corregirlos, lo que genera mejoras constantes.

Una época comprende 432,000 ranuras. Si cada una durara exactamente 400 milisegundos, una época duraría exactamente 48 horas. Sin embargo, como muestran los datos históricos, las épocas rara vez alcanzan este objetivo, si es que alguna vez lo hacen. Durante el último año, normalmente han durado entre 2.1 y 2.3 días.

La ejecución síncrona exige que todos los validadores con stake que participan en el consenso estén sobredimensionados para el peor tiempo de ejecución posible en cualquier bloque. Por eso, los requisitos de hardware de los validadores de Solana son relativamente altos.

Con esto concluye nuestro repaso del funcionamiento actual del consenso y la ejecución en Solana, centrado principalmente en las partes relevantes para los análisis posteriores. Para obtener explicaciones más completas, recomendamos leer nuestras publicaciones anteriores del blog de Helius sobre consenso, PoH, Turbine y cómo funciona Solana. En las siguientes secciones examinaremos los cambios futuros en el diseño del protocolo de Solana.

APEX, 2022

La primera propuesta formal de Yakovenko para AE data de abril de 2022 y se tituló APEX (ejecución asíncrona de programas). Esta propuesta relativamente breve presenta detalles prácticos sobre cómo separar el consenso de la ejecución. Introduce el concepto de dividir el estado en dos dominios aislados: el «Dominio 0» predeterminado y el «Dominio 1» del programa de votación. Esta configuración separa el programa de votación del resto del banco.‍

Todas las cuentas pertenecen a un solo dominio. Las transacciones no pueden leer ni modificar cuentas de varios dominios. Cualquier transacción que lo haga falla de inmediato y se ignora. El programa del sistema existe en ambos dominios y el programa de votación es el único programa adicional del Dominio 1.

Una instrucción especial del sistema (SystemInstruction::MoveDomains) proporciona un mecanismo para que las cuentas se muevan entre dominios una vez por época, lo que facilita la transferencia de SOL hacia y desde las cuentas de voto.

La propuesta también introduce el concepto de ForkHash, una contraparte de BankHash. El cálculo de ForkHash solo evalúa las instrucciones del programa de votación del Dominio 1, mientras que BankHash evalúa todas las instrucciones ajenas al programa de votación del Dominio 0. Las instrucciones de voto hacen referencia a ForkHash. El cálculo de BankHash se realiza fuera de la raíz por la que votan los validadores de consenso. Antes, seleccionar una bifurcación y votar por ella requería evaluar y ejecutar por completo todas las transacciones del banco. Ahora, las únicas transacciones evaluadas durante la selección de bifurcación son las relacionadas con el programa de votación.

Este diseño inicial deja muchas preguntas sin respuesta, pero establece el concepto fundamental de dominios aislados, que retomaremos más adelante.

Líderes sin banco

Un líder sin banco puede producir bloques sin ejecutar las transacciones que no son votos, un requisito previo fundamental para implementar AE. En una publicación titulada El camino hacia un sistema sin bancos, Andrew Fitzgerald, ingeniero de Anza, amplía una propuesta anterior de líderes sin banco (SIMD-005, diciembre de 2022, cerrada) de Tao Zhu, también de Anza. Fitzgerald describe varios cambios necesarios para introducir líderes sin banco en Solana e identifica específicamente tres categorías clave de restricciones impuestas por el protocolo que limitan la implementación de AE: restricciones de bloque, restricciones de entrada y restricciones de transacción.

En la actualidad, infringir cualquiera de estas restricciones invalida todo el bloque. Si se eliminaran, el protocolo de Solana abriría un camino para AE y aportaría más flexibilidad a la producción y validación de bloques. A continuación se resumen los distintos tipos de restricciones:‍

Restricciones de bloque

Estas restricciones se aplican a todo el bloque e incluyen lo siguiente: 

  • Los bloques deben incluir 64 ticks
  • La última entrada del bloque debe ser un tick
  • Las transacciones de todas las entradas deben respetar los límites del bloque

Restricciones de entrada

La principal restricción de esta categoría es que las entradas no pueden contener transacciones en conflicto. En noviembre del año pasado, Fitzgerald presentó SIMD 0083: flexibilización de las restricciones de entrada, que aborda específicamente este problema. El SIMD fue aceptado.

Restricciones a nivel de transacción

Esta es la categoría más amplia y puede dividirse en tres subcategorías:

Restricciones estáticas

Son restricciones que pueden verificarse sin conocer ningún estado adicional. Incluyen la verificación de firmas, el tamaño de la transacción, el número de cuentas incluidas en la lista de direcciones de lectura y escritura, y el cumplimiento del formato de datos de la transacción (es decir, una transacción debe poder deserializarse).‍

No es necesario modificar esta subcategoría de restricciones a nivel de transacción.

Restricciones del estado del banco

Incluyen comprobar que la firma de la transacción sea única para garantizar que no se haya incluido ya en un bloque reciente y verificar su antigüedad (es decir, las transacciones deben incluir un hash de bloque reciente).

Esta subcategoría requiere conocer el estado reciente del banco.

Restricciones de transacción basadas en el estado de las cuentas

Es la subcategoría de restricciones más estricta e incluye la resolución de tablas de búsqueda de direcciones (ALT), comprobaciones de nonce, comprobaciones del pagador de comisiones y comprobaciones de ejecutabilidad.

Esta subcategoría requiere conocer las transacciones anteriores.

Fitzgerald propuso formalmente cambios para esta categoría de restricciones en SIMD 0082: flexibilización de las restricciones de transacción, que sigue abierta.

Como señala Fitzgerald, el principal requisito de AE es que la verificación de bloques no dependa del estado de las cuentas. Si verificar un bloque requiere los resultados de transacciones anteriores, el bloque no puede ejecutarse de forma asíncrona. Por ello, es necesario eliminar las dependencias del estado de las cuentas durante la verificación de bloques. Además, muchas de estas restricciones son innecesariamente estrictas.

Por ejemplo, una transacción cuyo firmante no tenga suficientes lamports para pagar las comisiones no debería ejecutarse ni con el protocolo actual ni con los cambios propuestos. Sin embargo, con los cambios propuestos, incluir una transacción así no invalidará el resto del bloque.

En general, el trabajo de Fitzgerald ofrece un marco práctico para modificar la etapa bancaria y preparar el camino para AE. También describe muchos de los pasos que alteran el consenso y que son necesarios para hacer realidad AE.

APExB 2023: AE se encuentra con MCBP

La ejecución asíncrona de programas convertirá todo el estado de Solana en un rollup.

Anatoly Yakovenko
Anatoly Yakovenko
Cofundador de Solana

En marzo de 2023, casi un año después del diseño inicial de APEX, Yakovenko presentó una propuesta más completa y detallada titulada Ejecución y difusión asíncronas de programas (APExB) SIMD 0023. Esta propuesta va más allá de implementar AE y presenta una visión más amplia que incluye la integración de múltiples productores de bloques simultáneos (MCBP).

La propuesta introduce el concepto de «constructores», entidades distintas de los líderes. Los constructores son nodos con stake que crean UserBlocks compuestos exclusivamente por transacciones sin votos. Estos UserBlocks se propagan por el árbol de Turbine y tienen sus propios «UserBlockSlots». De forma predeterminada, hay dos UserBlockSlots por slot normal.

Los constructores tienen su propio cronograma, independiente del cronograma de los líderes. Se pueden programar varios constructores para crear UserBlocks al mismo tiempo. Las unidades de cómputo se dividen de manera uniforme entre los constructores y los slots de UserBlock. Por ejemplo, un bloque con dos constructores, dos slots de UserBlock y un límite de 48 millones de CU tendrá un límite de 12 millones de CU por slot de UserBlock (48/4).

Los líderes crean bloques de votos de consenso como siempre, de acuerdo con el cronograma de líderes, mientras los constructores producen y transmiten simultáneamente UserBlocks de transacciones de usuarios. Los UserBlocks especifican su número de slot y están firmados por el constructor para impedir que el líder manipule o excluya parte del bloque. Cuando el líder recibe un UserBlock mediante Turbine, genera un UserBlockEntry usando un hash del UserBlock y agrega este UserBlockEntry a la prueba de historial (PoH).

Los validadores no pueden votar por bloques cuyos UserBlocks asociados aún no hayan recibido; de lo contrario, no hay forma de garantizar que todos puedan ejecutar los datos, ya que podrían retenerse. Sin embargo, pueden votar por los bloques de los líderes ejecutando solo los votos antes de ejecutar las transacciones del UserBlock. Los validadores solo ejecutan UserBlocks en la bifurcación más pesada y solo deben enviar su BankHash más reciente al votar, que puede corresponder a un slot principal anterior. Los validadores votan por VoteHashes, que cumplen la misma función que los ForkHashes en la propuesta APEX de 2022: en esencia, un BankHash solo para transacciones de votos.

Cronograma de constructores

Si hay diez constructores de UserBlock por bloque de red, a cada uno se le asignará el 10 % de los shreds de Turbine y el 10 % del cómputo disponible. Los constructores se programan mediante dos procesos: aleatorio y persistente.

En el límite de cada época, los constructores aleatorios se asignan mediante un proceso de selección ponderado por stake. Los slots persistentes de UserBlock se asignan mediante una subasta holandesa y se otorgan a los mejores postores dispuestos a quemar la mayor cantidad de SOL.

Orden de prioridad de las transacciones 

Se supone que cada UserBlock se creó simultáneamente durante el UserBlockSlot en el que el líder lo codificó. Para cada UserBlock dentro del UserBlockSlot, las transacciones se ordenan por comisión de prioridad antes de ejecutarse. Si las transacciones de dos bloques distintos tienen la misma prioridad, se ordenan según qué UserBlock aparezca primero en la PoH del líder. Esto significa que las comisiones de prioridad determinan la prioridad de ejecución. Las transacciones duplicadas o no válidas de UserBlocks se omiten sin cambiar el estado. Si varios UserBlockEntries contienen la misma transacción, se omite la segunda.

Arriba: En el escenario 1, la transacción B tendrá prioridad aunque llegue más tarde al flujo de PoH. En el escenario 2, la transacción C tendrá prioridad porque tiene la misma comisión de prioridad que la transacción D, pero su bloque aparece antes en el flujo de PoH.

Con este diseño, los constructores capturarán todo el MEV. La propuesta deja abierta la cuestión de cómo deben repartirse las comisiones de las transacciones de usuarios entre constructores y líderes.

Los constructores también pueden crear BundleTransactions, que son grupos de transacciones dentro del UserBlock diseñados para ejecutarse en un único lote ordenado. Estas transacciones también pueden agregar una comisión de prioridad para que todo el paquete tenga prioridad y se ejecute como un lote, de forma similar a la implementación actual de los paquetes de Jito.

Límites de época

Los pesos de stake influyen en la elección de bifurcaciones y se actualizan en cada límite de época. Esto tiene implicaciones importantes para el diseño. Los validadores deben ponerse al día con la ejecución de transacciones sin votos antes de poder seguir votando más allá de ese límite de época.

Sin embargo, Yakovenko señala: «Los nodos no pueden quedarse tan atrás porque los límites generales de CU están configurados para la ejecución síncrona. Pero con la opción de ejecución asíncrona, es mucho más fácil ponerse al día. El procesamiento puro del ledger, sin lidiar con la red, es entre 20 y 30 veces más rápido».

Consideraciones

Tener varios constructores hace más compleja la gestión de recursos. Los clientes pueden elegir el constructor más cercano, pero las comisiones de prioridad pueden variar para cada UserBlock, y probablemente los usuarios no sabrán qué bloque puede saturarse al enviar sus transacciones.

Entre los beneficios se incluye la previsibilidad de la programación. Las aplicaciones pueden ofertar por el porcentaje de ancho de banda del bloque que necesitan para funcionar y crear secuenciadores dedicados que garanticen la liquidación final en la cadena. Incluir constructores aleatorios de UserBlock es crucial, ya que impide que los constructores de bloques persistentes censuren transacciones y eviten que finalmente se incorporen.

APE en Solana en 2024

En un artículo de X titulado Ejecución asíncrona de programas (APE), publicado en junio de este año, Yakovenko desarrolla con más detalle el concepto de dominios de ejecución descrito inicialmente en la propuesta APEX de 2022.

Los dominios de ejecución, originalmente Dominio 0 y Dominio 1, ahora se denominan Dominio de Ejecución de Votos (VED) y Dominio de Ejecución de Usuarios (UED). Su propósito sigue siendo el mismo: aislar por completo la votación de consenso de la ejecución de transacciones.

Los dominios de ejecución se definen como conjuntos distintos de programas, junto con las claves y los valores con los que interactúan, que se ejecutan independientemente de otros conjuntos:

  • Los dominios de ejecución pueden ejecutarse en distintos hilos y núcleos, y completarse en momentos diferentes en máquinas físicamente separadas 
  • El dominio de ejecución A no puede leer ni escribir ningún valor del dominio de ejecución B 
  • Los dominios pueden compartir un estado que se mantenga coherente durante la ejecución de cualquiera de ellos
  • El pagador de comisiones determina el dominio en el que se ejecuta una transacción
  • Se necesita un protocolo para sincronizar el estado entre dominios y facilitar el movimiento de claves y valores

Componentes del Dominio de Ejecución de Votos (VED)

  • SystemProgram: se usa para transferencias
  • VoteProgram: el programa principal para votar. Este programa es estático y debe estar presente tanto en el UED como en el VED
  • Sysvars de VoteProgram: variables usadas para votar
  • Autoridad de voto: cuentas autorizadas para votar
  • Pagador de comisiones de voto: cuentas que pagan las comisiones relacionadas con la votación
  • Financiador del pagador de comisiones: una cuenta actualizable que puede usarse para transferir SOL al VED

Las cuentas que no están en el VED se consideran parte del UED.

Las cuentas de voto deben activarse. Se incluyen en el VED en la época siguiente a su activación. Una vez desactivadas, se eliminan del VED en la época siguiente. Se definen procesos formales para transferir fondos hacia y desde el VED.

Las cuentas registran el dominio de ejecución al que están asignadas mediante una convención similar a los permisos de archivos de Linux (R para lectura, W para escritura y X para ejecución). Hay cuatro asignaciones válidas:

Solo las cuentas de Vote Program y System Program pueden moverse entre el VED y el UED. System Program proporciona una interfaz para mover cuentas de System y cuentas de Vote Program hacia y desde el VED. Este enfoque elimina la necesidad de una cuenta FeePayerFunding explícita. Cualquier cuenta de System puede reasignarse entre el VED y el UED para transferir fondos entre dominios.

Los líderes solo ejecutan el dominio VED para los bloques que crean, lo que significa que pueden tener información parcial o incompleta sobre el estado de los pagadores de comisiones del UED. Después de recibir un bloque, los validadores ejecutan primero las transacciones del VED. El estado resultante del VED se usa para calcular el hash del VED, que los validadores utilizan después para votar. 

La reproducción del UED omite las transacciones con pagadores de comisiones no válidos. Las actualizaciones del estado del UED calculan el Bankhash, conocido como hash del UED. Si un tercio o más de los validadores envían hashes del UED diferentes, todos los nodos deben detenerse y alertar a los operadores.

Activaciones de nuevas funciones

Ahora que el consenso está desacoplado de la ejecución, VoteProgram debe diseñarse para gestionar situaciones en las que los votos del VED crucen los límites de época. Esto puede hacer que las nuevas funciones se activen en momentos distintos a las transacciones que interactúan con VoteProgram en el UED.

Arquitectura final de 2024

Dada la diversidad de aplicaciones y desarrolladores principales, vale la pena planificar un único cambio importante de protocolo por año. Si tenemos que elegir uno, votaría por la ejecución asíncrona.

Anatoly Yakovenko
Anatoly Yakovenko
Cofundador de Solana

A principios de 2024, Yakovenko publicó Arquitectura final, un documento que plantea una visión audaz del futuro de Solana como una red de 10 000 nodos con tiempos de bloque de 120 milisegundos. El documento reafirma y amplía propuestas de diseño anteriores, a la vez que destaca la adopción de AE como el camino para alcanzar esta ambiciosa visión.

Líderes sin Bank

En resumen:

● Los líderes mantienen una caché de los saldos de las cuentas que pagan comisiones

● Si una cuenta que paga comisiones se usa como cuenta con permiso de escritura para originar una transferencia del sistema, o se pasa como cuenta con permiso de escritura junto con el programa del sistema a otro programa, el saldo destinado a pagar comisiones se establece en 0

● Los bloques se empaquetan según las CU declaradas hasta llenarse, de acuerdo con el orden de prioridad de las comisiones locales y restando las comisiones de transacción de la caché del saldo del pagador 

● La caché de saldos de las cuentas que pagan comisiones se repone mediante el cálculo de BankHash 

Al principio, los líderes pueden obtener los saldos de las cuentas de los pagadores de comisiones consultando varios nodos completos o RPC. En el caso poco frecuente de que los nodos proporcionen datos incorrectos, el resultado serían transacciones fallidas y no una falla de consenso. Si los saldos de los pagadores de comisiones están desactualizados, podría generarse spam dentro de los bloques sin afectar el consenso. El costo del spam de transacciones fallidas es relativamente bajo e implica principalmente el ancho de banda de Turbine necesario para propagar las transacciones y el espacio de almacenamiento adicional que ocupan en el ledger. Además, los equipos de Temporal y Firedancer trabajan activamente en herramientas que mitigan el spam antes de que llegue a los bloques. Para ello, implementan mecanismos como el filtrado de transacciones no válidas, la deduplicación y el bloqueo de transacciones destinadas a fallar por conflictos de bloqueo de lectura y escritura.

Este problema es fácil de detectar y supervisar. Los operadores pueden monitorear el rendimiento de los líderes y evaluar el nivel de spam en los bloques. Así pueden resolver rápidamente los problemas y cambiar a una fuente de datos alternativa si es necesario. Como los validadores buscan maximizar sus ingresos, tienen incentivos para mantener una caché precisa de los saldos de las cuentas que pagan comisiones.

Subcomités de tamaño fijo

Implementar AE en una gran red de 10 000 nodos exige introducir comités de votación rotativos de tamaño fijo, lo que representa un cambio significativo en el mecanismo de consenso. Este cambio estabiliza los costos de recursos de la votación de consenso, sin importar el número total de nodos con stake. Yakovenko propone que sería suficiente un comité rotativo de 200 o 400 nodos. Esta configuración permite que los validadores participen en la votación de consenso con requisitos mínimos de estado, limitados al cuórum, los pesos de stake y los saldos de las cuentas de voto. El uso de memoria es pequeño, y el archivo de instantánea correspondiente puede distribuirse y reinicializarse fácilmente al reiniciar.

La verdadera ironía será que, después de la ejecución asíncrona, un validador de consenso de Solana podría ejecutarse en un FPGA. Turbine + tower para 10 000 cuentas de voto cabrían fácilmente en un FPGA. Quizá se necesiten unos 4 MB de estado para hacer el seguimiento.

Anatoly Yakovenko
Anatoly Yakovenko
Cofundador de Solana

Usar subcomités rotativos de tamaño fijo en protocolos tolerantes a fallas bizantinas (BFT) es un concepto establecido que ya implementan en producción redes similares como Tron en producción. Se basa en el muestreo de comités, que selecciona un comité más pequeño para gestionar el consenso y transmite los resultados a toda la red de réplicas.

Un enfoque inicial para Solana podría simplemente asignar un número fijo de CU a los votos y seleccionar en cada época a los principales validadores por stake que quepan en esas CU para seguir la elección de bifurcaciones. Los demás validadores seguirían votando y obteniendo recompensas, pero sus votos no se tendrían en cuenta para elegir la bifurcación.

Cuentas de voto

● Las cuentas de voto deben tener suficiente SOL para cubrir dos épocas de votos 

● Las transacciones de voto deben ser votos simples

● Se permite retirar SOL de la cuenta de voto si el saldo supera el valor de los votos de una época

● Para retirar todos los lamports, la instrucción Vote CLOSE debe exigir que transcurra una época completa. Las cuentas de voto se marcan para CLOSE en la primera época, pero solo pueden ser CLOSE en la segunda

CLOSE permite retirar todo el SOL y eliminar la cuenta de voto. Una vez que una cuenta se marca para CLOSE, solo puede eliminarse y no puede volver a abrirse

● Los votos contienen un VoteBankHash en lugar de un BankHash normal 

BankHashes

Los validadores calculan un VoteBankHash para las transacciones de voto simples usando el mismo formato que el BankHash actual e ignorando todas las demás transacciones. Estos VoteBankHashes incorporan el VoteBankHash anterior en lugar del BankHash completo.

Para los bloques confirmados de forma optimista por una supermayoría de dos tercios, los validadores también empiezan a calcular el UserBankHash, que incluye todas las transiciones de estado excepto las ya consideradas en el VoteBankHash.

Se calcula un BankHash para cada slot combinando el VoteBankHash, el UserBankHash y el BankHash anterior. El 99,5 % superior de los validadores envía este BankHash como parte de su voto cada 100 slots. Además, algunos nodos pueden difundir el BankHash por la red gossip para indicar que no se detectó ningún no determinismo.

Supongamos que menos de dos tercios de los validadores envían el BankHash completo. En ese caso, los líderes pueden reducir en un 50 % el espacio del bloque para las transacciones de usuarios y las cuentas con permiso de escritura, lo que evita exploits capaces de aumentar excesivamente el tiempo de reproducción.

El estado solo debe calcularse una vez por época para establecer el siguiente cuórum y garantizar que los nodos de consenso y los líderes se mantengan sincronizados. La ejecución puede agregarse y procesarse por lotes en máquinas separadas de los nodos de consenso. Los usuarios que necesiten ejecución síncrona —la mayoría de las aplicaciones y los RPC— pueden dedicar recursos de hardware a procesar cada transición de estado en tiempo real sin esperar al resto de la red.

Consideraciones

Los proveedores de RPC que ofrecen datos de estado en tiempo real a los usuarios no tienen una firma para verificar que el estado calculado localmente coincida con el estado calculado por el resto de la red. Sin embargo, cuando una bifurcación se finaliza, la red converge en un único estado canónico correcto que puede calcularse de forma determinista. Para minimizar el riesgo de errores de ejecución o corrupción de datos, los operadores que quieran proporcionar datos de estado precisos deben ejecutar varios nodos. Si se detecta alguna discrepancia en la ejecución del estado, las operaciones deben detenerse de inmediato.

Además, los usuarios pueden enviar transacciones que validen el BankHash o provoquen una cancelación. La red solo procesará estas transacciones si el BankHash calculado coincide con el que su proveedor de RPC proporcionó al usuario.

Conclusión

Yakovenko imagina un futuro audaz para Solana, con tiempos de bloque reducidos a 120 milisegundos y un aumento drástico en el número de nodos, todo gracias a la adopción de AE. Sin embargo, hacer realidad este futuro exige alinear con esta visión a los distintos equipos de clientes y a la comunidad general de desarrolladores de Solana, además de resolver los importantes desafíos de ingeniería que implica implementar estos cambios. 

Miembros destacados de la comunidad han expresado inquietudes sobre muchos de estos cambios propuestos. Richard Patel, del equipo de Firedancer, advirtió que «implementar la ejecución asíncrona para los productores de bloques es bastante complejo y conlleva riesgos importantes».

Aunque apoya AE, Zano Sherwani, de Jito Labs, criticó MCBP y afirmó: «Múltiples proponentes simultáneos es una solución terrible que busca un problema que resolver. La complejidad que introduce en el protocolo no se justifica por aquello que intenta resolver, si es que intenta resolver algo».

En un podcast reciente, cuando le preguntaron sobre varios constructores de bloques, Mert Mumtaz, de Helius, respondió: «No estoy del todo convencido».

Sin duda, AE tiene el potencial de ofrecer beneficios significativos de rendimiento. Los tiempos de bloque más cortos permiten confirmaciones más rápidas y mejoran la experiencia del usuario. También refuerzan la resistencia a la censura y reducen el intervalo disponible para reordenar transacciones.

Sin embargo, también debemos evaluar cuidadosamente las desventajas, incluido el posible aumento de la complejidad del protocolo y una mayor dependencia de los proveedores de RPC. En situaciones específicas, estos proveedores pueden ser los únicos participantes con una vista actualizada y en tiempo real del estado de la cadena.

AE representa una actualización importante para Solana. Con este artículo, buscamos dar a conocer entre la comunidad de desarrolladores de Solana los interesantes cambios que introducirá AE y fomentar un debate más informado sobre este importante tema.

Muchas gracias a 0xIchigo y Anatoly Yakovenko por revisar versiones anteriores de este trabajo.

Recursos adicionales

Suscríbete a Helius

Mantente al día con las novedades del desarrollo en Solana y recibe actualizaciones cuando publiquemos

Imagen ampliada