밀리초 경쟁에서 승리하기: 샤드, LaserStream, 그리고 Solana의 우위

샤드란 무엇인가요?

샤드는 Solana의 고성능 데이터 전파를 가능하게 하는 기본 단위로, 온체인 상태 변경을 가장 먼저 확인할 수 있게 합니다.

Solana는 속도와 처리량을 극대화하도록 설계되었습니다. 이를 위해 블록을 하나의 큰 단위로 네트워크에 전송하지 않습니다. 대신 블록을 샤드라는 작은 패킷으로 나눕니다. 샤드는 Solana 데이터 전파의 원자 단위입니다. 

이 샤드는 블록으로 조립되기 전 트랜잭션 데이터의 일부를 나타냅니다. 각 샤드의 크기는 약 1.2KB이며, 표준 네트워크 패킷의 최대 전송 단위(MTU)에 맞도록 최적화되어 단편화 없이 매우 빠르게 전송됩니다. 

샤드는 두 가지 유형으로 나뉩니다.

데이터 샤드

데이터 샤드는 블록의 핵심 트랜잭션 데이터를 고정 크기 조각으로 나누어 담습니다. 여기에는 효율적인 처리를 위해 개수가 앞에 붙은 트랜잭션 그룹인 직렬화된 엔트리 배치가 포함됩니다.

코딩 샤드

코딩 샤드는 패리티 데이터를 생성하는 순방향 오류 정정 기법인 Reed-Solomon 소거 코딩을 사용해 중복성을 제공합니다. 이를 통해 누락되거나 손상된 샤드를 복원할 수 있습니다. 코딩 샤드는 데이터 샤드와 함께 순방향 오류 정정(FEC) 세트로 구성됩니다. 일반적으로 최대 50%의 패킷 손실을 허용할 수 있도록 균형 잡힌 비율(예: 데이터 샤드 32개 대 코딩 샤드 32개)을 사용합니다. 리더는 높은 신뢰성을 유지하기 위해 네트워크 상태에 따라 이 비율을 조정할 수 있습니다.

Solana에서 샤드는 어떻게 전파되나요?

이 과정은 리더, 즉 현재 블록 생성을 담당하는 검증인이 트랜잭션을 배치로 묶고 엔트리로 직렬화하면서 시작됩니다. 그런 다음 이 엔트리를 샤딩하여 샤드라고 하는 더 작은 세그먼트로 나눕니다. 모든 샤드는 Solana의 샤드 사양에 정의된 레거시 시스템(각 샤드를 개별 서명) 또는 Merkle 기반 방식(전체 FEC 세트의 Merkle 루트에 서명)을 사용해 리더가 서명합니다. 이를 통해 진위성과 데이터 무결성을 보장합니다. 

샤드는 Solana의 다계층 팬아웃 기반 전파 시스템인 Turbine을 통해 다른 검증인에게 전송됩니다. Turbine에서 리더는 루트 노드에 샤드를 전송하고, 루트 노드는 이를 트리 구조의 다음 검증인 계층으로 분배합니다. 각 계층은 계층당 200개 노드의 팬아웃으로 다음 계층에 전달합니다. 활성 검증인 수에 따라 일반적으로 2~3홉을 거칩니다. 이 트리 구조는 대역폭을 최소화하면서 트랜잭션을 밀리초 단위로 네트워크 전체에 배포합니다.

스테이크 가중 셔플은 스테이크가 많은 검증인에 대한 전송을 우선합니다. Turbine은 먼저 검증인이 보유한 스테이크 양, 즉 스테이크 가중치에 따라 검증인을 정렬합니다. 스테이크가 많은 검증인은 목록 앞쪽에 배치되며, 결정론적 셔플 후에도 리더와 가까운 트리의 초기 계층에 배치되는 경향이 있습니다. 따라서 홉 수가 적을수록 지연 시간이 짧습니다. 즉, 스테이크가 많은 검증인이 샤드를 더 빨리 받습니다.   

참고: 향후 Alpenglow가 구현되면 Turbine은 Rotor로 대체됩니다. 이러한 변경 후에도 검증인의 스테이크는 어떤 피어에 브로드캐스트할지 결정하는 데 계속 영향을 줍니다.

샤드는 어떻게 블록으로 재조립되나요?

검증인은 샤드를 받으면 먼저 서명을 검증해 진위성을 확인합니다. 그런 다음 Reed-Solomon 소거 코딩을 사용해 FEC 세트에서 사용 가능한 코딩 샤드로 누락되거나 손상된 데이터 샤드를 복원합니다. 

그런 다음 복원된 데이터 샤드의 샤딩을 해제합니다. 즉, 샤드 인덱스를 사용해 페이로드를 순서대로 연결하고 직렬화된 엔트리 배치를 다시 구성합니다. 

이 배치는 개별 트랜잭션과 엔트리로 역직렬화되며, 이후 완전한 블록으로 조립할 수 있습니다.

샤드가 중요한 이유 

샤드가 중요한 이유는 타이밍이 핵심인 네트워크에서 대응 시간을 단축하기 때문입니다. 

샤드는 Solana의 고성능 이점을 활용하는 데 필수적입니다. 특히 고빈도 거래, 견적 요청(RFQ) 데스크, 청산 엔진, 오라클 업데이트처럼 지연 시간에 민감한 애플리케이션에서 중요합니다. 

대부분의 다른 블록체인에서는 애플리케이션이 완전한 블록 생성과 확인을 기다려야 하므로 수백 밀리초에서 수 초까지 지연될 수 있습니다. 반면 샤드는 새롭게 발생하는 온체인 이벤트를 가장 먼저 확인할 수 있게 합니다. 

원시 샤드는 다루기 까다로울 수 있습니다. 수신자가 진위성을 검증하고, 누락된 데이터 샤드를 복원하고, 샤딩을 해제해 트랜잭션과 엔트리로 역직렬화한 다음, 최종적으로 스왑이나 계정 변경처럼 대응 가능한 이벤트를 파싱해야 하기 때문입니다.

이 파이프라인을 직접 구축하지 않고도 샤드의 지연 시간 우위를 확보하려면 Preprocessed Transactions를 사용하세요. 샤딩 해제를 대신 처리하고, processed 확정 수준보다 최대 8ms 먼저 서명된 트랜잭션을 WebSocket으로 스트리밍합니다.

하지만 대기 중인 트랜잭션과 계정 업데이트를 이렇게 “미리 확인”하면 비교가 어려울 정도로 큰 이점을 얻을 수 있으며, 경쟁 상황에서 성공률이 직접 높아집니다.

예를 들어 담보 비율을 모니터링하는 청산 봇은 WebSockets처럼 느린 방식을 사용하는 경쟁자보다 훨씬 먼저 샤드를 통해 취약한 포지션을 감지하고 대응하여 청산에 성공할 수 있습니다. 

샤드 지연 시간 계층

샤드 지연 시간은 모든 소스에서 동일하지 않다는 점이 중요합니다.

스테이크가 많은 검증인

상당한 양의 스테이크를 보유한 검증인은 Turbine 전파 트리에서 가장 높은 우선순위를 받습니다. 이들은 리더로부터 직접 또는 초기 팬아웃 계층에서 샤드를 수신하는 경우가 많으며, 스테이크 가중 서비스 품질(SWQoS)의 이점을 얻습니다.

스테이크를 보유한 검증인

스테이크가 보통 수준인 검증인은 전파 대기열에서 우선순위가 낮고 샤드가 추가 홉을 거쳐야 하므로 어느 정도 지연이 발생합니다. 합의에 참여하므로 안정적인 접근이 보장되지만, 네트워크 위치와 현재 스테이크 분포에 따라 지연 시간이 조금씩 달라질 수 있습니다. 스테이크가 적은 검증인은 스테이크가 많은 검증인과 비교할 때 경쟁이 매우 치열하고 시간에 민감한 작업에는 적합하지 않습니다.

스테이크가 없는 검증인

스테이크가 없는 검증인은 스테이킹된 노드가 누리는 서비스 품질 이점이 없으며, 지연 시간이 핵심인 작업에서 Solana 실시간 데이터를 스트리밍하는 데 적합하지 않습니다. Turbine 팬아웃에서 가장 마지막으로 샤드를 받습니다.

트리의 앞쪽에 있을수록 나머지 네트워크가 따라오기 전에 대응할 시간이 더 많습니다. 

전 세계 지역별 편차 

중요한 점은 Turbine이 위치에 구애받지 않는다는 것입니다. 물리적 거리와 네트워크 상태가 Turbine 홉 외의 추가 지연을 유발하므로, 전 세계 전파 과정에서 지연 시간 편차가 커질 수 있습니다. 

예를 들어 리전 간을 이동하는 샤드(예: 미국 기반 리더에서 아시아 태평양 지역 검증인으로 이동)는 대륙 간 라우팅, 패킷 재전송, 피어링 문제로 지연될 수 있습니다. 이는 Turbine 초기 계층에 있는 스테이크가 많은 검증인도 마찬가지입니다.

이러한 지리적 분산은 최적화 기회를 만듭니다. 스테이크가 많은 단일 검증인이 로컬에서는 뛰어난 성능을 내더라도 최적의 위치에 있지 않으면 전 세계적으로는 뒤처질 수 있습니다. 분산 샤드 네트워크로 여러 소스에서 가장 빠른 샤드를 집계하면 이러한 문제를 완화할 수 있습니다. 편차를 줄이고 일관된 수신 속도를 달성할 수 있기 때문입니다. 이러한 시스템은 전 세계 환경에서 최상위 스테이크 검증인보다 일관되게 뛰어난 성능을 낼 수 있습니다.

지연 시간이 핵심인 시스템을 구축하는 개발자가 경쟁 우위를 유지하려면 최적화된 소스에서 샤드에 안정적으로 접근해야 합니다. 하지만 복구, 검증, 전 세계 배포를 효과적으로 처리하려면 견고한 인프라가 필요합니다. 또한 현재 Solana의 인기 실시간 데이터 스트리밍 도구 대부분은 샤드를 활용하지 않습니다.

Solana 데이터 스트리밍

Solana에서 실시간 데이터를 스트리밍하려는 개발자는 몇 가지 옵션을 선택할 수 있습니다. 각 옵션은 지연 시간, 신뢰성, 복잡성 측면에서 서로 다른 장단점이 있습니다.

webhook

webhook은 이벤트 기반 업데이트를 지원하며, 특정 계정이나 프로그램에 변경이 발생하면 애플리케이션으로 데이터를 푸시합니다. 프로그래밍 방식으로 쉽게 통합할 수 있으며, Helius Dashboard에서 코드를 작성하지 않고도 직접 설정할 수 있습니다. 개발자는 특정 트랜잭션 유형에 대해 사람이 읽을 수 있도록 파싱된 데이터와 원시 트랜잭션 페이로드를 스트리밍할 수 있습니다. 이러한 업데이트를 서식이 적용된 메시지로 특정 Discord 채널에 직접 전송할 수도 있습니다.

webhook은 신뢰성이 매우 높고 Solana의 여러 유명 기업이 사용하지만, 트랜잭션이 확인된 후에 알림을 보냅니다. 따라서 webhook은 샤드 수준 데이터보다 수백 밀리초 느릴 수 있어 고빈도 거래나 청산처럼 지연 시간이 핵심인 작업에는 너무 느립니다.

표준 WebSockets

Solana의 JSON RPC API는 계정 변경을 위한 accountSubscribe, 트랜잭션 로그를 위한 logSubscribe, 프로그램 이벤트를 위한 programSubscribe 같은 WebSocket 구독을 지원합니다. WebSockets는 클라이언트와 RPC 제공업체 사이의 연결을 지속적으로 유지하며, 트랜잭션과 계정 변경이 처리되는 즉시 업데이트를 스트리밍합니다. WebSockets는 양방향 방식이며, 폴링 오버헤드를 줄이면서 특정 계정이나 이벤트를 실시간으로 모니터링하는 데 적합합니다.

하지만 webhook과 마찬가지로 WebSockets도 샤드 재조립 후, 즉 processed, confirmed, finalized 확정 수준에서 데이터를 전송합니다. 확정 수준에 따라 400ms에서 30초까지 지연 시간이 추가됩니다. 

WebSockets는 연결이 불안정한 방식으로도 간주됩니다. 다양한 문제로 연결이 끊길 수 있으므로 별도의 재시도 로직이 필요합니다. 폴링으로 보완하지 않으면 연결 해제로 데이터가 영구적으로 손실될 수 있어 실시간 신뢰성이 저하됩니다. 

Enhanced WebSockets

Enhanced WebSockets는 표준 WebSockets를 크게 개선한 방식으로, 여러 성능 최적화와 향상된 필터링 기능을 제공합니다. 특히 이벤트 파싱을 개선하고 노이즈를 줄여 프로덕션 환경에서 개발자가 더 편리하게 사용할 수 있습니다.

Enhanced WebSockets는 표준 WebSockets보다 지연 시간을 줄일 수 있으며 일반적인 스트리밍 애플리케이션에 매우 적합합니다. 예를 들어 표준 WebSockets 및 webhook과 비교하면 Enhanced WebSockets로 Pump AMM 데이터를 스트리밍할 때 뚜렷한 성능 차이가 나타납니다. 

하지만 Enhanced WebSockets도 기본적으로 샤드 재조립 후 데이터를 전송합니다. 따라서 밀리초 하나하나가 중요한 애플리케이션에서는 활용도가 제한됩니다. 또한 기능이 향상되었지만 자동 재생이나 장애 조치가 없어 데이터 공백을 수동으로 처리해야 합니다. 

Yellowstone gRPC

Yellowstone gRPC는 지연 시간이 짧은 검증인-클라이언트 스트리밍 프로토콜로, 샤드 수준의 데이터에 접근할 수 있습니다. 각 확정 수준에 대한 업데이트를 더 빠르게 전송할 수 있으므로 WebSockets와 webhook보다 훨씬 빠릅니다. 

Yellowstone은 구독을 즉시 생성하고 취소할 수 있는 양방향 스트리밍을 제공합니다. 또한 고급 필터링 기능을 통해 특정 트랜잭션, 계정 또는 프로그램 업데이트에 대한 응답으로 수신할 데이터를 정밀하게 제어할 수 있습니다.

Yellowstone은 속도 제한이나 크레딧 없이 커스텀 노드 구성을 위한 격리된 하드웨어를 보장받으려는 사용자에게 적합합니다. 하지만 몇 가지 중요한 단점이 있습니다.

1. 인프라 부담

Yellowstone gRPC의 성능을 온전히 활용하려면 자체 전용 노드가 필요합니다. 하드웨어 접근 권한과 올바른 구성은 물론, 지속적인 하드웨어 관리와 관련 문제를 디버깅할 수 있는 전문 지식도 필요합니다.

2. 지연 시간 편차

Yellowstone gRPC가 샤드 수준으로 데이터를 전송할 수 있다고 해서 항상 최적의 방식으로 전송하는 것은 아닙니다. 지연 시간은 제공업체와 전용 노드가 샤드에 최적화된 소스, 즉 스테이크가 많은 검증인과 연결되어 있는지에 따라 달라질 수 있습니다. 스테이크가 보통이거나 적은 검증인과 연결하면 Turbine의 첫 번째 계층에 일관되게 배치되지 않으므로 많은 샤드를 여전히 뒤늦게 받게 됩니다.

3. 장애 위험

단일 전용 노드에 의존하면 단일 장애점이 발생합니다. Yellowstone gRPC에는 기본 재생 기능도 없어 이 위험이 더욱 커집니다.

4. 리소스 요구 사항

Yellowstone으로 데이터를 스트리밍하면서 전용 노드에 집약적인 RPC 호출을 과도하게 보내면 성능이 저하될 수 있습니다. 

오랫동안 많은 팀이 Solana 실시간 데이터를 위해 Yellowstone gRPC를 대표적인 스트리밍 서비스로 사용해 왔습니다. 빠르고 고급 사용자에게 적합하지만, 전 세계에 전용 노드군을 두지 않고 일관된 글로벌 저지연 서비스를 운영하기는 어렵습니다.

LaserStream

LaserStream은 샤드 수준 수신 속도와 전 세계 분산 서비스의 신뢰성 및 도달 범위를 결합합니다. 여러 전용 노드를 운영하는 비용이나 부담도 없습니다. 

LaserStream은 다음 기능으로 이를 실현합니다.

• 다중 소스 수신: LaserStream은 지연 시간이 가장 짧은 샤드를 수신하며 전 세계에서 경쟁사보다 일관되게 뛰어난 성능을 제공합니다.
• 글로벌 커버리지: LaserStream은 전 세계 여러 리전에서 제공되므로 개발자는 자신의 인프라와 가장 가까운 엔드포인트를 사용할 수 있습니다. 각 리전은 중복성을 위해 여러 서버를 운영하며 자동 장애 조치를 지원합니다.
• 데이터 공백 제거: LaserStream의 과거 데이터 재생을 사용하면 최대 48시간 전의 최근 블록체인 데이터를 다시 재생할 수 있습니다. 연결 해제를 처리하고 데이터 연속성을 보장하는 데 유용합니다. 
• 개발자 친화적인 경험: LaserStream은 Yellowstone gRPC를 그대로 대체할 수 있습니다. 마이그레이션도, 새로운 문법도, 골치 아픈 작업도 필요 없습니다.

요약하면 LaserStream은 Yellowstone gRPC와 WebSockets를 확장성, 짧은 지연 시간, 내결함성 측면에서 개선한 솔루션입니다. 수백만 규모의 스테이크를 보유하거나 고성능 인프라를 직접 운영하지 않아도 네트워크에서 온체인 이벤트가 발생하는 즉시 일관되게 제공합니다. 

LaserStream은 Solana에서 초저지연 데이터 스트리밍에 샤드의 성능을 활용하는 가장 쉬운 방법입니다.

클라이언트와 성능

LaserStream 클라이언트는 Go, Rust, JavaScript/TypeScript로 제공됩니다. 이 클라이언트는 어떤 슬롯까지 스트리밍했는지 지속적으로 추적하며 연결이 끊기면 자동으로 재생합니다. 어떤 이유로든 연결이 끊기면 클라이언트가 자동으로 다시 연결하고 마지막으로 처리한 슬롯부터 스트리밍을 재개합니다.

LaserStream의 JavaScript 클라이언트는 네이티브 Rust 바인딩을 사용한다는 점에서 특히 주목할 만합니다. 덕분에 1.3GB/s의 처리량을 제공합니다. 최대 30MB/s인 현재 Yellowstone gRPC JavaScript 클라이언트보다 40배 향상된 수치입니다. 

Solana가 계속 확장되면 Yellowstone gRPC JavaScript 클라이언트는 이를 따라가기 어려워집니다. LaserStream JavaScript 클라이언트의 넉넉한 성능 여유 덕분에 수요가 증가해도 애플리케이션을 네트워크와 함께 안정적으로 확장할 수 있습니다. 

실제 성과

지연 시간이 짧은 DEX 애그리게이터 DFlow는 최근 가격 엔진에 데이터를 공급하기 위해 LaserStream을 통합했습니다. 전용 노드에 대한 걱정 없이 전 세계로 확장하고, 엔지니어링 리소스를 절약해 라우팅과 비즈니스 코드에 집중할 수 있다는 점이 통합을 결정한 핵심 이유였습니다. 

통합 이후 DFlow는 반복적인 엔지니어링 작업을 8시간 이상 절감하고, 중단 없는 데이터 스트리밍으로 100% 가동 시간을 유지했으며, 더 빠른 트랜잭션 확인을 통해 견적 속도를 개선한 것으로 알려졌습니다. 

지금 바로 더 빠르게 스트리밍하세요.

밀리초는 단순한 지연 시간이 아니라 기회입니다. LaserStream을 사용하면 네트워크를 따라가는 데 그치지 않습니다. 네트워크보다 앞서갑니다. 

거래, 청산 또는 오라클을 위한 1초 미만의 데이터가 필요하신가요? LaserStream을 사용해 가장 빠른 Solana 데이터를 이용하세요. 

고급 사용자이며 원시 샤드 전송에 관심이 있다면 이 양식을 작성해 문의해 주세요.

추가 자료

• LaserStream
• Agave의 샤드 모듈
• Solana의 샤드 사양