НОВОЕ: кольца конфиденциальности Solana уже доступны в основной сети
Асинхронное выполнение программ: рассвет новой APE-эпохи Solana
Блог/Исследования

Асинхронное выполнение программ: рассвет новой APE-эпохи Solana

ИсследовательLostin в X
Чтение: 29 мин

Введение

Среди жарких дискуссий и насыщенных анонсами основных докладов на оживлённой конференции Breakpoint этого года сооснователь Solana Анатолий Яковенко нашёл время для одного импровизированного технического воркшопа, который не записывали. Вооружившись флипчартом и маркерами, он подробно разобрал тему, которую активно продвигает как следующий этап развития Solana и которой посвящена эта статья, — асинхронное выполнение.

Чтобы познакомиться с амбициозной концепцией асинхронного выполнения (далее — AE), начнём с общего объяснения основных принципов и целей AE. Затем рассмотрим существующие механизмы выполнения и консенсуса Solana, чтобы заложить основу для сравнительного анализа предлагаемых архитектур. После этого разберём различные предложения, связанные с AE, начиная с Bankless Leaders — необходимого промежуточного этапа этого перехода. Мы также рассмотрим первые проекты 2022 года и в хронологическом порядке перейдём к более поздним предложениям по «конечной архитектуре». Они выходят за рамки AE и предусматривают реализацию нескольких параллельных производителей блоков.

AE с высоты 10 000 футов

Об этом довольно странно думать. Всё, что он [валидатор] делает, — создаёт блоки и голосует. Ему никогда не нужно выполнять ни один из этих блоков. Создавая блоки, он не знает, какие именно блоки создаёт… Важно лишь согласовать порядок. Значения его не интересуют.

Anatoly Yakovenko
Anatoly Yakovenko
Сооснователь Solana

В контексте базового протокола Solana AE означает архитектурный подход, при котором выполнение отделяется от консенсуса и оба процесса могут работать независимо друг от друга. Сеть достигает консенсуса относительно порядка транзакций, фактически не выполняя их. Когда порядок согласован, любой участник может выполнить транзакции и установить истинное состояние.

При таком подходе лидеры создают блоки без выполнения транзакций, не связанных с голосованием, и распространяют их по сети через Turbine. Валидаторы также могут голосовать за блоки, не выполняя транзакции, не связанные с голосованием. Консенсус охватывает только порядок и доступность транзакций, что значительно сокращает время и количество шагов для его достижения. Перефразируя обзор Джона Шарбонно из DBA: порядок определяет истину, а выполнение раскрывает её.

Этот подход существенно отличается от текущего механизма консенсуса, при котором лидеры выполняют транзакции до их включения в блоки, а все валидаторы повторно выполняют транзакции блока перед голосованием.

AE возможно по следующим причинам:

  1. Выбор форка не зависит от выполнения программ
  2. При детерминированной функции перехода состояния можно вычислить только одно корректное состояние. В конечном итоге все вычислят одно и то же итоговое состояние
  3. Недействительные транзакции можно отбрасывать. Издержки сети из-за спама неуспешными транзакциями относительно невелики: это пропускная способность Turbine, необходимая для распространения транзакций, и дополнительное место для хранения транзакций в реестре
  4. Машины, которым необходимо вычислять полное состояние в реальном времени с низкой задержкой, например системы специализированных поставщиков RPC-сервисов, можно выделять специально для этой задачи

У AE много потенциальных преимуществ.

Яковенко даже утверждает: «Асинхронное выполнение — один из редких случаев, когда компромиссов практически нет».

  1. Более короткое время блока (200 миллисекунд)
  2. Более предсказуемое время блока
  3. Более низкие требования к валидаторам
  4. Улучшенный пользовательский опыт (более быстрая финализация)
  5. Повышенная устойчивость к цензуре
  6. Сокращённое окно для изменения порядка транзакций
  7. Перенос неиспользованной ёмкости между блоками
  8. Создание пути к нескольким параллельным производителям блоков (подробнее об этом далее)

В этой статье мы подробно рассмотрим, как именно AE обеспечивает эти преимущества.

AE можно понять и иначе: этот подход позволяет программе голосования работать независимо от всех остальных программ. Для консенсуса в пределах эпохи необходимы только программа голосования и системная программа, которая требуется всегда.

Обсуждения AE в Solana продолжаются уже несколько лет. Первое формальное предложение Анатолия Яковенко, первоначально названное APEX (Asynchronous Program Execution), появилось в апреле 2022 года. Конкретные сведения о практической реализации AE в Solana распределены по нескольким SIMD и статьям. Мы рассмотрим их преимущественно в хронологическом порядке. Яковенко, безусловно, остаётся самым заметным публичным сторонником и защитником AE в сообществе Solana и редко упускает возможность рассказать об этой теме в интервью и подкастах.

Терминология

Полезно кратко определить два ключевых термина, которые будут часто встречаться при обсуждении AE: Bankless Leaders и Multiple Concurrent Block Producers (MCBP). Вкратце:

  • Bankless Leader: лидер, способный создавать блоки без выполнения транзакций
  • Asynchronous Execution (AE): полное разделение консенсуса и выполнения
  • Multiple Concurrent Block Producers (MCBP): как следует из названия, несколько блоков, создаваемых параллельно в одном слоте‍

Bankless Leaders — необходимый шаг к полноценному AE. Аналогичным образом успешная реализация AE необходима для последующего внедрения Multiple Concurrent Block Producers (MCBP), также называемых Multiple Concurrent Leaders (MCL). AE часто обсуждают вместе с MCBP. Яковенко считает оба механизма важнейшими частями «конечной архитектуры» Solana.

Solana — не единственный блокчейн, изучающий такие архитектурные улучшения. Monad планирует реализовать AE, разделив консенсус и выполнение на отдельные потоки. Исследовательское сообщество Ethereum также уже некоторое время изучает возможность внедрения нескольких параллельных авторов предложений.

Предложения Яковенко по-прежнему активно обсуждаются в сообществе, поскольку их реализация потребует значительных изменений базового протокола Solana. Не все считают AE лучшим направлением развития. Без преувеличения, полная реализация предложенной Яковенко конечной архитектуры радикально изменит работу Solana и повысит общую сложность протокола.

Прежде чем перейти к более подробному рассмотрению AE, необходимо освежить знания о текущей работе выполнения и консенсуса в Solana, уделив особое внимание аспектам, которые встретятся далее в статье. Мы также проанализируем данные о транзакциях голосования и остальных транзакциях, чтобы получить дополнительную информацию для дальнейшего обсуждения. Читатели, которые уже хорошо знакомы с этими функциями и уверенно понимают их, могут пропустить следующий раздел.

Синхронное выполнение (Solana сегодня)

Выполнение

Solana использует непрерывное построение блоков: блоки динамически собираются и передаются по мере создания в течение выделенного слота длительностью 400 миллисекунд. Перед ротацией лидерам назначаются четыре последовательных слота (1,6 секунды). Чтобы сеть приняла блок, лидер должен проверить и выполнить каждую транзакцию в блоке. Кроме того, все остальные активные валидаторы, участвующие в консенсусе, повторно проверяют и выполняют каждую транзакцию блока.

Лидер получает пакеты транзакций через Gulfstream по протоколу QUIC. Они поступают в модуль обработки транзакций (TPU) — базовую логику лидера, отвечающую за создание блоков. TPU получает пакеты через три открытых порта:

  • tpu: обрабатывает обычные транзакции, такие как переводы токенов, выпуск NFT и инструкции программ
  • tpu_vote: обрабатывает исключительно транзакции голосования
  • tpu_forwards: если текущий лидер не может обработать все транзакции, через этот порт он перенаправляет необработанные пакеты следующему лидеру‍

До начала любого упорядочивания или выполнения все пакеты транзакций проходят строгую валидацию и базовые проверки. В их число входят проверка подписей, проверка правильного количества подписей и удаление дублирующихся транзакций. Обратите внимание: для транзакций голосования и остальных транзакций используются отдельные процессы проверки подписей.

Построение блока происходит на этапе Banking Stage. Банк — это состояние на уровне конкретного блока. Транзакции обрабатываются параллельно и упаковываются в записи реестра — группы из 64 неконфликтующих транзакций. Каждая транзакция содержит полный список аккаунтов, из которых она будет читать данные и в которые будет их записывать. Благодаря такой архитектуре валидаторы могут легко выбирать для выполнения в каждой записи только неконфликтующие транзакции. Транзакции конфликтуют, если записывают данные в один аккаунт (две операции записи) либо читают данные из одного аккаунта и записывают в него (чтение + запись). Конфликтующие транзакции попадают в разные записи и выполняются последовательно, а неконфликтующие — параллельно.

Шесть потоков обрабатывают транзакции параллельно: четыре предназначены для транзакций, не связанных с голосованием, а два — исключительно для транзакций голосования. На этапе Banking Stage голоса консенсуса обрабатываются как привилегированные транзакции: их единая цена составляет 0,000005 SOL, они потребляют 2 100 вычислительных единиц (CU) и выполняются программой голосования. 

После группировки транзакций в записи их выполняет виртуальная машина Solana (SVM). Необходимые для транзакции аккаунты блокируются. Проверки подтверждают, что транзакция актуальна, но ещё не была обработана. Затем аккаунты загружаются, а логика транзакции выполняется, обновляя их состояние. Хеш записи отправляется в сервис Proof of History (PoH) для регистрации. При успешном выполнении все изменения фиксируются в банке, а блокировки каждого аккаунта снимаются.

Протокол не определяет порядок действительных транзакций внутри блока. Итоговое состояние цепочки формируется в результате всех подтверждённых транзакций. Его всегда можно детерминированно восстановить по истории блокчейна, например повторно выполнив реестр от Genesis или снимка состояния.

У каждого банка есть соответствующий BankHash — SHA256-хеш следующих элементов:

  • Родительский BankHash — BankHash непосредственного родительского блока
  • DeltaHash аккаунтов — 16-арный корень дерева Меркла всех аккаунтов, состояние которых изменилось в текущем блоке
  • Количество подписей — общее число подписей транзакций в текущем блоке
  • Последний хеш блока
Код
hashv(&[
	parent_bankhash,
	accounts_delta_hash,
	num_sigs,
	blockhash,
])

BankHash — это криптографическое обязательство, за которое валидаторы голосуют в каждом слоте.

Консенсус

Для голосования валидаторам необходимы три аккаунта:

Аккаунт идентификации

Этот системный аккаунт подписывает и оплачивает комиссии за все транзакции голосования. Это горячая пара ключей, которая хранится непосредственно на серверном оборудовании. Как следует из названия, публичный ключ этого аккаунта служит сетевым идентификатором валидатора. Аккаунт идентификации необходим для создания аккаунта голосования.

Аккаунт голосования

На этот аккаунт делегаторы делегируют свои SOL. Адрес используется для поиска аккаунта, а не для подписания транзакций.

Аккаунт вывода средств

Этот аккаунт используется для вывода средств из аккаунта голосования. С его помощью можно изменить аккаунт идентификации. Закрытый ключ этого аккаунта обычно хранится в защищённом мультиподписном или холодном кошельке и должен отличаться от пар ключей идентификации валидатора и полномочий голосования.

Каждый голос (пример), подписанный валидатором, содержит публичный ключ валидатора и хеш, идентифицирующий блок, за который он голосует. За корректные и успешные голоса валидаторы получают баллы.

Сеть не ждёт, пока все валидаторы согласуют новый блок, прежде чем создавать следующий. Поэтому два разных блока нередко связываются с одним родительским блоком, создавая форки. Валидаторы должны голосовать за эти форки и использовать Tower BFT, вариант исходного алгоритма Practical Byzantine Fault Tolerance (pBFT), чтобы определить, какой из них принять. 

При наличии конкурирующих форков сеть финализирует один из них, а валидаторы отбрасывают блоки из отклонённых форков. Для каждого слота заранее назначается лидер, и сеть принимает только блок этого лидера: для одного слота нельзя предложить два блока. Поэтому количество потенциальных форков ограничено списком пропусков по принципу «есть/нет», которые могут возникать на границах слотов ротации лидеров. 

Выбрав форк, валидатор остаётся привязан к нему до истечения периода блокировки, то есть должен придерживаться своего выбора в течение минимального срока. Этот механизм стимулирует валидаторов тщательно выбирать форк с наибольшими шансами на включение — то есть «самый тяжёлый» форк.

Блок считается оптимистически подтверждённым, когда за него голосует квалифицированное большинство в две трети. Он считается финализированным после создания поверх него 31 блока. За всю историю Solana ни разу не было случая, когда оптимистически подтверждённый блок не был финализирован.

После финализации форка блок становится корневым с обновлениями аккаунтов из банка, а его предки записываются на диск. Кроме того, удаляются все обновления аккаунтов из более ранних банков, которые не являются предками финализированного банка.

Транзакции голосования и остальные транзакции

Как мы увидели, в Solana процессы выполнения транзакций и достижения консенсуса через Tower BFT тесно связаны. Транзакции голосования и остальные транзакции проходят один путь: объединяются в записи, выполняются SVM, получают временную метку в потоке Proof of History (PoH) и распространяются по сети через Turbine. Этот единый процесс обеспечивает согласованное представление валидаторов о состоянии консенсуса, поскольку распространение голосов только через сервис gossip может привести к расхождениям между валидаторами. Из-за таких расхождений валидаторы могут по-разному оценивать, какой форк с большей вероятностью является правильным. Непрерывное построение блоков требует непрерывного голосования, особенно во время подтверждения предыдущих блоков.

Один из побочных эффектов такого объединения — споры вокруг показателей количества транзакций в секунду (TPS) у Solana. В необработанном виде они включают как транзакции голосования, так и остальные транзакции, что нехарактерно для большинства сопоставимых сетей в отрасли. Поэтому в качестве более точной оценки пропускной способности транзакций стал использоваться показатель «реального TPS», исключающий транзакции голосования.

Анализ недавней активности Solana показывает, что транзакций голосования больше, чем остальных: в среднем чуть менее 1 000 на блок.

Транзакции голосования составляют лишь небольшую долю всех вычислительных единиц блока: в среднем чуть более 2 миллионов CU на блок и стабильно от 2,1 до 2,3 миллиона CU. Это всего 4,5% от лимита блоков Solana в 48 миллионов CU.

По сравнению с остальными транзакциями время выполнения и объём вычислений для транзакций голосования очень предсказуемы. Это важный момент, к которому мы вернёмся далее. Количество CU у транзакций, не связанных с голосованием, непостоянно, что приводит к неэффективному использованию оборудования. ‍

Гарантировать точное время выполнения в среде исполнения сложно, поскольку этот показатель носит скорее приблизительный характер. Обычно длительность блока стремятся удерживать в пределах 400 миллисекунд, но иногда возникают всплески. Эти всплески можно считать ошибками. Постоянная работа по их выявлению и устранению приводит к непрерывным улучшениям.

Эпоха состоит из 432 000 слотов. Если бы каждый из них длился ровно 400 миллисекунд, эпоха занимала бы точно 48 часов. Однако исторические данные показывают, что эпохи редко достигают этой цели, если достигают вообще. За последний год эпохи обычно длились от 2,1 до 2,3 дня.

При синхронном выполнении все валидаторы со стейком, участвующие в консенсусе, должны иметь избыточные ресурсы для худшего возможного времени выполнения любого блока. Поэтому требования к оборудованию валидаторов Solana относительно высоки.

На этом завершим обзор текущей работы консенсуса и выполнения в Solana, сосредоточенный преимущественно на аспектах, важных для дальнейшего обсуждения. Для более полного обзора рекомендуем прочитать предыдущие статьи в блоге Helius о консенсусе, PoH, Turbine и принципах работы Solana. В следующих разделах мы рассмотрим будущие изменения архитектуры протокола Solana.

APEX, 2022 год

Первое формальное предложение Яковенко по AE относится к апрелю 2022 года и называется APEX (Asynchronous Program EXecution). В этом сравнительно коротком предложении изложены практические детали разделения консенсуса и выполнения, а также введена концепция разделения состояния на два изолированных домена: стандартный Domain 0 и Domain 1 программы голосования. Такая схема отделяет программу голосования от остальной части банка.‍

Каждый аккаунт относится только к одному домену. Транзакции не могут читать данные из аккаунтов или записывать их в аккаунты из нескольких доменов. Такие транзакции немедленно завершаются с ошибкой и игнорируются. Системная программа присутствует в обоих доменах, а программа голосования является единственной другой программой в Domain 1.

Специальная системная инструкция (SystemInstruction::MoveDomains) позволяет аккаунтам переходить между доменами один раз за эпоху, чтобы обеспечить перевод SOL на аккаунты голосования и с них.

Предложение также вводит понятие ForkHash — аналога BankHash. При вычислении ForkHash оцениваются только инструкции программы голосования из Domain 1, а при вычислении BankHash — все инструкции, не относящиеся к программе голосования, из Domain 0. Инструкции голосования ссылаются на ForkHash. Вычисление BankHash выполняется вне корня, за который голосуют валидаторы консенсуса. Раньше для выбора форка и голосования за него требовалось полностью оценить и выполнить все транзакции банка. Теперь при выборе форка оцениваются только транзакции с участием программы голосования.

Этот ранний проект оставляет много вопросов без ответа, но закладывает основную концепцию изолированных доменов, к которой мы вернёмся далее.

Bankless Leaders

Bankless Leader — это лидер, который может создавать блоки без выполнения транзакций, не связанных с голосованием. Это важнейшее условие для реализации AE. В статье The Road to Bankless инженер Anza Эндрю Фицджеральд развивает более раннее предложение по Bankless Leader (SIMD-005, декабрь 2022 года, закрытое), подготовленное Тао Чжу, также из Anza. Фицджеральд описывает несколько изменений, необходимых для внедрения Bankless Leaders в Solana. В частности, он выделяет три основные категории ограничений протокола, препятствующих реализации AE: ограничения блока, ограничения записи и ограничения транзакции.

Сейчас нарушение любого из этих ограничений делает недействительным весь блок. Устранив их, протокол Solana откроет путь к AE и сделает создание и валидацию блоков более гибкими. Ниже кратко описаны разные типы ограничений:‍

Ограничения блока

Эти ограничения распространяются на весь блок и включают следующие требования: 

  • Блоки должны содержать 64 тика
  • Последняя запись блока должна быть тиком
  • Транзакции во всех записях блока должны укладываться в лимиты блока

Ограничения записи

Главное ограничение этой категории состоит в том, что записи не могут содержать конфликтующие транзакции. В ноябре прошлого года Фицджеральд представил SIMD 0083: ослабление ограничений записи, непосредственно посвящённый этой проблеме. SIMD был принят.

Ограничения на уровне транзакций

Это крупнейшая категория, которую можно разделить на три подкатегории:

Статические ограничения

Ограничения, которые можно проверить без сведений о каком-либо дополнительном состоянии. К ним относятся проверка подписи, размер транзакции, количество аккаунтов в списке адресов для чтения и записи, а также соответствие формату данных транзакции — то есть возможность десериализовать транзакцию‍

Эту подкатегорию ограничений на уровне транзакций изменять не требуется.

Ограничения состояния банка

К ним относятся проверка уникальности подписи транзакции, подтверждающая, что транзакция ещё не была включена в недавний блок, и проверка давности — транзакции должны содержать недавний хеш блока

Для этой подкатегории необходимы сведения о недавнем состоянии банка.

Ограничения транзакции по состоянию аккаунта

Наиболее строгая подкатегория ограничений, включающая разрешение таблицы поиска адресов (ALT), проверки nonce, плательщика комиссии и исполняемости

Для этой подкатегории необходимы сведения о предыдущих транзакциях.

Фицджеральд официально предложил изменить эту категорию ограничений в документе SIMD 0082: ослабление ограничений транзакций, который сейчас остаётся открытым.

Как отмечает Фицджеральд, главное требование для AE состоит в том, что проверка блока не должна зависеть от состояния аккаунтов. Если для проверки блока нужны результаты предыдущих транзакций, блок нельзя выполнять асинхронно. Поэтому необходимо устранить зависимость проверки блока от состояния аккаунтов. Кроме того, многие из этих ограничений неоправданно строги.

Например, транзакция, подписанту которой не хватает лампортов для оплаты комиссий, не должна выполняться ни в текущем протоколе, ни после предлагаемых изменений. Однако после изменений включение такой транзакции не сделает недействительной остальную часть блока.

В целом работа Фицджеральда предлагает практическую схему модификации этапа Banking Stage, которая подготовит переход к AE, и описывает множество необходимых для реализации AE изменений консенсуса.

APExB 2023: встреча AE и MCBP

Асинхронное выполнение программ превратит всё состояние Solana в роллап.

Anatoly Yakovenko
Anatoly Yakovenko
Сооснователь Solana

В марте 2023 года, почти через год после появления первоначального проекта APEX, Yakovenko представил более полное и подробное предложение под названием «Асинхронное выполнение и распространение программ (APExB), SIMD 0023». Предложение выходит за рамки реализации AE и описывает более широкую концепцию, включающую интеграцию нескольких параллельных производителей блоков (MCBP).

В предложении вводится понятие «сборщиков» — отдельных от лидеров участников. Сборщики — это ноды со стейком, которые создают UserBlocks исключительно из неголосующих транзакций. Эти UserBlocks распространяются через дерево Turbine и имеют собственные «UserBlockSlots». По умолчанию на каждый обычный слот приходится два UserBlockSlots.

У сборщиков есть собственное расписание, не зависящее от расписания лидеров. Несколько сборщиков могут одновременно создавать UserBlocks. Вычислительные единицы поровну распределяются между сборщиками и слотами UserBlock. Например, в блоке с двумя сборщиками, двумя слотами UserBlock и лимитом в 48 миллионов CU лимит CU слота UserBlock составит 12 миллионов (48/4).

Лидеры, как обычно, создают блоки голосов консенсуса согласно расписанию лидеров, а сборщики параллельно производят и передают UserBlocks пользовательских транзакций. UserBlocks указывают номер своего слота и подписываются сборщиком, чтобы лидер не мог изменить или исключить часть блока. Получив UserBlock через Turbine, лидер генерирует UserBlockEntry на основе хеша UserBlock и добавляет этот UserBlockEntry в Proof of History (PoH).

Валидаторы не могут голосовать за блоки, для которых ещё не получили соответствующие UserBlocks. Иначе нельзя гарантировать, что все смогут выполнить данные, поскольку их могут скрыть. Однако валидаторы могут голосовать за блоки лидера, выполнив только голоса до выполнения транзакций UserBlock. Валидаторы выполняют UserBlocks только в самой тяжёлой ветке и при голосовании должны отправлять лишь свой последний BankHash, который может относиться к более старому родительскому слоту. Валидаторы голосуют за VoteHashes, которые выполняют ту же функцию, что и ForkHashes в предложении APEX 2022 года, — по сути, это BankHash только для голосующих транзакций.

Расписание сборщиков

Если на один сетевой блок приходится десять сборщиков UserBlock, каждый из них получает 10% шардов Turbine и 10% доступных вычислительных ресурсов. Сборщики назначаются двумя способами: случайно и на постоянной основе.

На границе каждой эпохи случайные сборщики назначаются с помощью процесса выбора, взвешенного по стейку. Постоянные слоты UserBlock распределяются через голландский аукцион и достаются участникам, готовым сжечь больше всего SOL.

Приоритетный порядок транзакций 

Считается, что каждый UserBlock был создан одновременно с другими в течение UserBlockSlot, в котором лидер его закодировал. В каждом UserBlock внутри UserBlockSlot транзакции перед выполнением упорядочиваются по приоритетной комиссии. Если транзакции из двух разных блоков имеют одинаковый приоритет, первой идёт транзакция из того UserBlock, который раньше появился в PoH лидера. Это означает, что приоритетные комиссии определяют приоритет выполнения. Дублирующиеся или недействительные транзакции UserBlocks пропускаются без изменения состояния. Если одна транзакция присутствует в нескольких UserBlockEntries, второй экземпляр пропускается.

Выше: в сценарии 1 транзакция B получит приоритет, несмотря на более позднее появление в потоке PoH. В сценарии 2 приоритет получит транзакция C: её приоритетная комиссия равна комиссии транзакции D, но её блок находится раньше в потоке PoH.

В этой архитектуре сборщики будут получать весь MEV. Вопрос о том, как сборщикам и лидерам делить комиссии за пользовательские транзакции, остаётся открытым.

Сборщики также могут создавать BundleTransactions — группы транзакций внутри UserBlock, предназначенные для выполнения единым упорядоченным пакетом. К этим транзакциям также можно добавить приоритетную комиссию, чтобы весь пакет получил приоритет при выполнении, как в текущей реализации пакетов Jito.

Границы эпох

Вес стейка влияет на выбор ветки и обновляется на границе каждой эпохи. Это имеет важные последствия для архитектуры. Прежде чем продолжить голосование за пределами границы эпохи, валидаторы должны завершить выполнение неголосующих транзакций.

Однако, как отмечает Yakovenko, «[н]оды не могут настолько сильно отстать, поскольку общие лимиты CU установлены для синхронного выполнения. Но благодаря возможности асинхронного выполнения наверстать отставание гораздо проще. Обработка исходного реестра без взаимодействия с сетью происходит в 20–30 раз быстрее».

Аспекты реализации

При наличии нескольких сборщиков управление ресурсами усложняется. Клиенты могут выбрать ближайшего сборщика, но приоритетные комиссии могут различаться для каждого UserBlock, а пользователи, скорее всего, не будут знать, какой блок может оказаться переполненным при отправке транзакций.

К преимуществам относится предсказуемость расписания. Приложения могут предлагать цену за необходимую им долю пропускной способности блока и создавать выделенные секвенсоры, гарантирующие последующее включение в цепочку. Добавление случайных сборщиков UserBlock крайне важно: оно не позволяет постоянным сборщикам блоков цензурировать транзакции и препятствовать их последующему включению.

APE в Solana в 2024 году

В опубликованной в июне этого года статье в X под названием «Асинхронное выполнение программ (APE)» Yakovenko подробнее раскрывает концепцию доменов выполнения, впервые описанную в предложении APEX 2022 года.

Домены выполнения, ранее называвшиеся Domain 0 и Domain 1, теперь переименованы в домен выполнения голосов (VED) и домен выполнения пользовательских транзакций (UED). Их назначение осталось прежним — полностью изолировать голосование в рамках консенсуса от выполнения транзакций.

Домены выполнения определяются как отдельные наборы программ вместе с ключами и значениями, с которыми они взаимодействуют. Они выполняются независимо от других наборов:

  • Домены выполнения могут работать в разных потоках и ядрах и завершать работу в разное время на физически отдельных машинах 
  • Домен выполнения A не может читать или записывать значения в домене выполнения B 
  • Домены могут совместно использовать состояние, которое остаётся согласованным во время выполнения любого из них
  • Плательщик комиссии определяет домен, в котором выполняется транзакция
  • Для синхронизации состояния между доменами и перемещения ключей и значений необходим протокол

Компоненты домена выполнения голосов (VED)

  • SystemProgram: используется для переводов
  • VoteProgram: основная программа для голосования. Эта программа статична и должна присутствовать как в UED, так и в VED
  • Системные переменные VoteProgram: переменные для голосования
  • Центр полномочий голосования: аккаунты, имеющие право голоса
  • Плательщик комиссии за голосование: аккаунты, оплачивающие комиссии, связанные с голосованием
  • Источник средств плательщика комиссии: обновляемый аккаунт, который можно использовать для перевода SOL в VED

Аккаунты, не входящие в VED, считаются частью UED.

Аккаунты голосования необходимо активировать. Они включаются в VED в следующую после активации эпоху. После деактивации они удаляются из VED в следующую эпоху. Для перемещения средств в VED и из него предусмотрены формальные процессы.

Аккаунты отслеживают, к какому домену выполнения они относятся, по принципу, похожему на права доступа к файлам в Linux (R — чтение, W — запись, X — выполнение). Допустимы четыре варианта сопоставления:

Между VED и UED могут перемещаться только аккаунты Vote Program и System Program. System Program предоставляет интерфейс для перемещения системных аккаунтов и аккаунтов Vote Program в VED и обратно. Такой подход устраняет необходимость в отдельном аккаунте FeePayerFunding. Любой системный аккаунт можно переназначить между VED и UED, чтобы перемещать средства между доменами.

Лидеры выполняют только домен VED для создаваемых ими блоков, поэтому у них может быть частичная или неполная информация о состоянии плательщиков комиссий UED. После получения блока валидаторы сначала выполняют транзакции VED. Полученное состояние VED используется для вычисления хеша VED, который затем применяется валидаторами при голосовании. 

При повторном выполнении UED транзакции с недействительными плательщиками комиссий пропускаются. При обновлении состояния UED вычисляется Bankhash, известный как хеш UED. Если не менее трети валидаторов отправят разные хеши UED, все ноды должны остановиться и уведомить операторов.

Активация новых функций

Теперь, когда консенсус отделён от выполнения, VoteProgram должна учитывать сценарии, в которых голоса VED пересекают границы эпох. В результате новые функции могут активироваться в другое время, чем транзакции, взаимодействующие с VoteProgram в UED.

Endgame Architecture 2024

Учитывая разнообразие приложений и основных разработчиков, имеет смысл планировать одно крупное изменение протокола в год. Если нужно выбрать одно, я бы проголосовал за асинхронное выполнение.

Anatoly Yakovenko
Anatoly Yakovenko
Сооснователь Solana

В начале 2024 года Yakovenko опубликовал документ Endgame Architecture, в котором представил смелое видение будущего Solana: сеть из 10 000 нод со временем блока 120 миллисекунд. Документ подтверждает и развивает предыдущие архитектурные предложения, подчёркивая, что внедрение AE — это путь к реализации данного амбициозного видения.

Лидеры без Bank

Подведём итог:

● Лидеры поддерживают кеш балансов аккаунтов, оплачивающих комиссии

● Если аккаунт плательщика комиссии используется как доступный для записи аккаунт — источник системного перевода или передаётся другой программе как доступный для записи аккаунт вместе с системной программой, баланс для оплаты комиссий устанавливается в 0

● Блоки заполняются на основе заявленных CU, пока не будет исчерпан доступный объём блока с учётом локального порядка приоритетов комиссий и вычитания комиссий за транзакции из кеша балансов плательщиков 

● Кеш балансов аккаунтов, оплачивающих комиссии, пополняется при вычислении BankHash 

Изначально лидеры могут получать балансы аккаунтов плательщиков комиссий, запрашивая данные у нескольких полных нод или RPC. В редких случаях, когда ноды предоставляют неверные данные, результатом станут неудачные транзакции, а не сбой консенсуса. Устаревшие балансы плательщиков комиссий могут привести к спаму внутри блоков, но не повлияют на консенсус. Стоимость спама из неудачных транзакций сравнительно невелика. В основном она связана с пропускной способностью Turbine, необходимой для распространения транзакций, и дополнительным местом, которое они занимают в реестре. Кроме того, команды Temporal и Firedancer активно работают над инструментами, которые сокращают объём спама до его попадания в блоки. Для этого используются такие механизмы, как фильтрация недействительных транзакций, дедупликация и отклонение транзакций, которые неизбежно завершатся неудачей из-за конфликтов блокировок чтения и записи.

Эту проблему легко обнаруживать и отслеживать. Операторы могут контролировать производительность лидеров и оценивать уровень спама в блоках, что позволяет быстро устранять проблемы и при необходимости переключаться на другой источник данных. Поскольку валидаторы заинтересованы в максимизации дохода, у них есть стимул поддерживать точный кеш балансов аккаунтов плательщиков комиссий.

Подкомитеты фиксированного размера

Для внедрения AE в крупной сети из 10 000 нод нужны сменяемые комитеты голосования фиксированного размера. Это существенно меняет механизм консенсуса. Такое изменение стабилизирует затраты ресурсов на голосование в рамках консенсуса независимо от общего количества нод со стейком. Yakovenko предполагает, что будет достаточно сменяемого комитета из 200 или 400 нод. Такая структура позволяет валидаторам участвовать в голосовании с минимальными требованиями к состоянию: достаточно данных о кворуме, весах стейка и балансах аккаунтов голосования. Объём необходимой памяти невелик, а соответствующий файл снимка можно легко распространять и повторно инициализировать после перезапуска.

Настоящая ирония будет в том, что после внедрения асинхронного выполнения валидатор консенсуса Solana сможет работать на FPGA. Turbine и tower для 10 тысяч аккаунтов голосования легко поместятся на FPGA. Для отслеживания состояния может потребоваться около 4 МБ.

Anatoly Yakovenko
Anatoly Yakovenko
Сооснователь Solana

Использование сменяемых подкомитетов фиксированного размера в протоколах с византийской отказоустойчивостью (BFT) — это устоявшаяся концепция, уже реализованная в рабочей среде в аналогичных сетях, таких как Tron. Она основана на выборке комитета: для обработки консенсуса выбирается небольшой комитет, который передаёт результаты всей сети реплик.

В рамках первоначального подхода Solana можно просто выделять определённое количество CU для голосов. В каждую эпоху для отслеживания выбора ветки будут выбираться ведущие валидаторы по размеру стейка, чьи голоса укладываются в эти CU. Другие валидаторы продолжат голосовать и получать вознаграждения, но их голоса не будут учитываться при выборе ветки.

Аккаунты голосования

● На аккаунтах голосования должно быть достаточно SOL для оплаты голосов в течение двух эпох 

● Голосующие транзакции должны содержать простые голоса

● Вывод SOL из аккаунта голосования разрешён, если баланс превышает стоимость голосов за одну эпоху

● Чтобы удалить все лампорты, после инструкции Vote CLOSE должна пройти целая эпоха. Аккаунты голосования помечаются для CLOSE в первой эпохе, но выполнить CLOSE можно только во второй эпохе

CLOSE позволяет вывести все SOL и удалить аккаунт голосования. После того как аккаунт помечен для CLOSE, его можно только удалить — повторно открыть его нельзя

● Голоса содержат VoteBankHash вместо обычного BankHash 

BankHashes

Валидаторы вычисляют VoteBankHash для простых голосующих транзакций в том же формате, что и текущий BankHash, игнорируя все остальные транзакции. Эти VoteBankHashes включают предыдущий VoteBankHash, а не полный BankHash.

Для блоков, оптимистично подтверждённых квалифицированным большинством в две трети, валидаторы также начинают вычислять UserBankHash. Он включает все переходы состояния, кроме уже учтённых в VoteBankHash.

Для каждого слота вычисляется BankHash путём объединения VoteBankHash, UserBankHash и предыдущего BankHash. 99,5% ведущих валидаторов отправляют этот BankHash в составе своего голоса каждый сотый слот. Кроме того, некоторые ноды могут транслировать BankHash через gossip-сеть, сигнализируя, что недетерминированность не обнаружена.

Предположим, что полный BankHash отправили менее двух третей валидаторов. В этом случае лидеры могут сократить на 50% объём блока для пользовательских транзакций и доступных для записи аккаунтов, предотвращая атаки, способные чрезмерно увеличить время повторного выполнения.

Состояние достаточно вычислять один раз за эпоху, чтобы сформировать следующий кворум и обеспечить синхронизацию нод консенсуса и лидеров. Выполнение можно агрегировать и обрабатывать пакетами на машинах, отделённых от нод консенсуса. Пользователи, которым требуется синхронное выполнение — большинство приложений и RPC, — могут выделить аппаратные ресурсы для обработки каждого перехода состояния в реальном времени, не дожидаясь остальной сети.

Аспекты реализации

У RPC-провайдеров, предоставляющих пользователям данные о состоянии в реальном времени, нет подписи, позволяющей проверить, совпадает ли локально вычисленное состояние с состоянием, вычисленным остальной сетью. Однако после финализации ветки сеть сходится к единому правильному каноническому состоянию, которое можно вычислить детерминированно. Чтобы снизить риск ошибок среды выполнения или повреждения данных, операторам, стремящимся предоставлять точные данные о состоянии, следует запускать несколько нод. При обнаружении любых расхождений в выполнении состояния работу необходимо немедленно остановить.

Кроме того, пользователи могут отправлять транзакции, которые подтверждают BankHash или инициируют отмену. Сеть обработает такие транзакции, только если вычисленный BankHash совпадает со значением, предоставленным пользователю его RPC-провайдером.

Заключение

Yakovenko видит смелое будущее Solana, в котором благодаря внедрению AE время блока сократится до 120 миллисекунд, а количество нод значительно возрастёт. Однако для реализации этого будущего необходимо объединить вокруг данной концепции независимые команды клиентских разработчиков и широкое сообщество разработчиков Solana, а также решить серьёзные инженерные задачи, связанные с внедрением таких изменений. 

Известные участники сообщества выразили обеспокоенность многими из предложенных изменений. Richard Patel из команды Firedancer предупредил, что «реализация асинхронного выполнения для производителей блоков довольно сложна и сопряжена с существенными рисками».

Хотя Zano Sherwani из Jito Labs поддерживает AE, он раскритиковал MCBP, заявив: «Несколько параллельных авторов предложений — ужасное решение, которое ищет проблему. Привносимая им в протокол сложность не оправдана тем, что оно пытается решить, если вообще что-то решает».

Когда Mert Mumtaz из Helius спросили о нескольких сборщиках блоков в недавнем подкасте, он ответил: «Я не до конца убеждён».

AE, несомненно, способно значительно повысить производительность. Сокращение времени блока ускоряет подтверждения и улучшает пользовательский опыт, одновременно повышая устойчивость к цензуре и сокращая окно для изменения порядка транзакций.

Однако необходимо тщательно оценить и недостатки, включая потенциальное усложнение протокола и рост зависимости от RPC-провайдеров. В некоторых сценариях только у этих провайдеров может быть актуальное представление о состоянии цепочки в реальном времени.

AE — это крупное обновление Solana. Этой статьёй мы хотим рассказать сообществу разработчиков Solana о важных изменениях, которые принесёт AE, и способствовать более содержательному обсуждению этой темы.

Большое спасибо 0xIchigo и Anatoly Yakovenko за рецензирование ранних версий этой работы.

Дополнительные материалы

Подпишитесь на Helius

Следите за новостями разработки на Solana и получайте уведомления о наших публикациях

Увеличенное изображение