밀리초 경쟁에서 승리하기: 샤드, LaserStream, 그리고 Solana의 기술적 우위

샤드란 무엇인가요?

샤드는 Solana의 고성능 데이터 전파를 가능하게 하는 기본 단위로, 온체인 상태 변경을 조기에 확인할 수 있게 합니다.

Solana는 속도와 처리량을 극대화하도록 설계되었습니다. 이를 위해 블록을 하나의 큰 단위로 네트워크 전체에 전송하지 않습니다. 대신 블록을 샤드라는 더 작은 패킷으로 나눕니다. 샤드는 Solana 데이터 전파의 최소 단위입니다. 

이 샤드는 블록으로 조립되기 전 트랜잭션 데이터의 일부를 나타냅니다. 각 샤드는 약 1.2KB 크기이며, 표준 네트워크 패킷의 최대 전송 단위(MTU)에 맞게 최적화되어 조각화 없이 매우 빠르게 전송됩니다. 

샤드는 두 가지 유형으로 나뉩니다.

데이터 샤드

데이터 샤드는 블록의 핵심 트랜잭션 데이터를 고정 크기로 나누어 담습니다. 여기에는 효율적인 처리를 위해 개수가 앞에 붙은 트랜잭션 그룹인 직렬화된 엔트리 배치가 포함됩니다.

코딩 샤드

코딩 샤드는 패리티 데이터를 생성하는 순방향 오류 정정 기법인 Reed-Solomon 소거 코딩을 사용해 중복성을 제공합니다. 이를 통해 누락되거나 손상된 샤드를 복구할 수 있습니다. 코딩 샤드는 데이터 샤드와 함께 순방향 오류 정정(FEC) 세트로 구성되며, 일반적으로 균형 잡힌 비율(예: 데이터 샤드 32개와 코딩 샤드 32개)을 사용해 최대 50%의 패킷 손실을 허용합니다. 리더는 네트워크 상태에 따라 이 비율을 조정하여 높은 안정성을 유지할 수 있습니다.

Solana에서 샤드는 어떻게 전파되나요?

프로세스는 리더, 즉 현재 블록 생성을 담당하는 검증인이 트랜잭션을 배치 처리하고 엔트리로 직렬화하면서 시작됩니다. 그런 다음 이 엔트리를 더 작은 세그먼트인 샤드로 나누는, 즉 샤딩 작업을 수행합니다. 모든 샤드는 Solana의 샤드 사양에 정의된 레거시 시스템(각 샤드에 개별 서명) 또는 Merkle 기반 체계(전체 FEC 세트의 Merkle 루트에 서명)를 사용해 리더가 서명합니다. 이를 통해 진위와 데이터 무결성을 보장합니다. 

샤드는 Solana의 다계층 팬아웃 기반 전파 시스템인 Turbine을 통해 다른 검증인에게 전송됩니다. Turbine에서 리더는 샤드를 루트 노드로 전송하고, 루트 노드는 트리 구조를 따라 다음 계층의 검증인에게 샤드를 배포합니다. 각 계층은 노드 200개의 팬아웃으로 다음 계층에 전달하며, 활성 검증인 수에 따라 일반적으로 2~3홉을 거칩니다. 이 트리 구조는 대역폭을 최소화하면서 트랜잭션을 밀리초 단위로 네트워크 전체에 배포합니다.

지분 가중 셔플은 스테이킹 규모가 큰 검증인에 대한 전송을 우선합니다. Turbine은 먼저 검증인이 보유한 스테이킹 수량, 즉 지분 가중치에 따라 검증인을 정렬합니다. 지분이 많은 검증인은 목록 앞쪽에 배치되며, 결정론적 셔플 후에도 리더와 가까운 트리의 초기 계층에 위치하는 경향이 있습니다. 홉 수가 적을수록 지연 시간도 짧아집니다. 따라서 스테이킹 규모가 큰 검증인이 샤드를 더 빨리 받습니다.   

참고: 향후 Alpenglow가 구현되면 Turbine은 Rotor로 대체됩니다. 이러한 변경 이후에도 검증인의 지분은 어떤 피어에 브로드캐스트할지 결정하는 데 계속 영향을 줍니다.

샤드는 어떻게 블록으로 재조립되나요?

검증인이 샤드를 수신하면 먼저 서명을 확인해 진위를 검증합니다. 그런 다음 Reed-Solomon 소거 코딩을 사용하여 FEC 세트에서 사용 가능한 코딩 샤드로 누락되거나 손상된 데이터 샤드를 복구합니다. 

이후 복구된 데이터 샤드의 샤딩을 해제합니다. 즉, 샤드 인덱스에 따라 페이로드를 순서대로 연결하여 직렬화된 엔트리 배치를 다시 구성합니다. 

그런 다음 이 배치를 개별 트랜잭션과 엔트리로 역직렬화하고, 이를 완전한 블록으로 조립할 수 있습니다.

샤드가 중요한 이유는 무엇인가요? 

타이밍이 무엇보다 중요한 네트워크에서 샤드는 대응 가능한 시간을 단축하기 때문에 중요합니다. 

샤드는 Solana의 고성능 이점을 활용하는 데 핵심적인 역할을 합니다. 특히 고빈도 거래, 견적 요청(RFQ) 데스크, 청산 엔진, 오라클 업데이트처럼 지연 시간에 민감한 애플리케이션에서 중요합니다. 

대부분의 다른 블록체인에서는 애플리케이션이 블록 생성과 확인이 완료될 때까지 기다려야 하므로 수백 밀리초에서 수초까지 지연될 수 있습니다. 반면 샤드는 새롭게 발생하는 온체인 이벤트를 가장 먼저 확인할 수 있게 합니다. 

원시 샤드를 직접 다루기는 까다로울 수 있습니다. 수신자가 진위를 검증하고 누락된 데이터 샤드를 복구한 뒤 샤딩을 해제해 트랜잭션과 엔트리로 역직렬화해야 하기 때문입니다. 마지막으로 스왑이나 계정 변경처럼 대응 가능한 이벤트를 파싱해야 합니다.

이러한 파이프라인을 직접 구축하지 않고 샤드의 지연 시간 우위를 활용하려면 Preprocessed Transactions를 사용하세요. 샤딩 해제를 대신 처리하고 processed 확정 수준보다 최대 8ms 빠르게 서명된 트랜잭션을 WebSocket으로 스트리밍합니다.

하지만 대기 중인 트랜잭션과 계정 업데이트를 이렇게 “미리 확인”하면 비교할 수 없는 이점을 얻을 수 있으며, 경쟁이 치열한 상황에서 성공률을 직접 높일 수 있습니다.

예를 들어 담보 비율을 모니터링하는 청산 봇은 WebSockets처럼 느린 방식을 사용하는 경쟁자보다 훨씬 먼저 샤드로 취약한 포지션을 감지하고 대응하여 청산에 성공할 수 있습니다. 

마찬가지로 시장 비효율성을 포착하는 차익 거래자와 가격을 제시하는 저지연 DEX 애그리게이터도 밀리초가 수익성을 좌우하기 때문에 이러한 지연 시간 우위를 활용할 수 있습니다.

샤드 지연 시간 계층

샤드 지연 시간은 모든 소스에서 동일하지 않다는 점이 중요합니다.

스테이킹 규모가 큰 검증인

많은 지분을 보유한 검증인은 Turbine 전파 트리에서 가장 높은 우선순위를 받습니다. 지분 가중 서비스 품질(SWQoS)의 이점을 활용해 리더에게서 직접 또는 초기 팬아웃 계층에서 샤드를 수신하는 경우가 많습니다.

스테이킹된 검증인

적당한 지분을 보유한 검증인은 전파 대기열의 우선순위가 낮아 샤드가 추가 홉을 거쳐야 하므로 중간 정도의 지연이 발생합니다. 합의에 참여하므로 안정적으로 액세스할 수 있지만, 네트워크 위치와 현재 지분 분포에 따라 지연 시간이 다소 달라질 수 있습니다. 스테이킹 규모가 작은 검증인은 규모가 큰 검증인과 비교할 때 경쟁이 매우 치열하고 시간에 민감한 작업에는 적합하지 않습니다.

스테이킹되지 않은 검증인

지분이 없는 검증인은 스테이킹된 노드가 누리는 서비스 품질 이점이 없으며, 지연 시간이 중요한 작업에서 Solana 실시간 데이터를 스트리밍하기에 적합하지 않습니다. Turbine 팬아웃에서 가장 마지막에 샤드를 받습니다.

트리에서 앞쪽에 있을수록 나머지 네트워크가 따라오기 전에 대응할 시간이 더 많습니다. 

전 세계적 편차 

중요한 점은 Turbine이 위치에 구애받지 않는다는 것입니다. 물리적 거리와 네트워크 상태로 인해 Turbine 홉 외의 지연이 발생하므로 전 세계 전파 과정에서 지연 시간 편차가 커질 수 있습니다. 

예를 들어 리전 간에 이동하는 샤드(예: 미국 기반 리더에서 아시아 태평양 지역 검증인으로 전송)는 대륙 간 라우팅, 패킷 재전송, 피어링 문제로 인해 지연될 수 있습니다. 이는 Turbine 초기 계층의 스테이킹 규모가 큰 검증인도 마찬가지입니다.

이러한 지리적 분산은 최적화의 기회가 됩니다. 스테이킹 규모가 큰 단일 검증인은 로컬에서 뛰어난 성능을 낼 수 있지만, 위치가 최적이 아니라면 전 세계적으로는 뒤처질 수 있습니다. 여러 소스에서 가장 빠른 샤드를 집계하는 분산형 샤드 네트워크를 사용하면 편차를 줄이고 일관된 수집 속도를 달성할 수 있습니다. 이러한 시스템은 전 세계 환경에서 최상위 지분 검증인보다 일관되게 뛰어난 성능을 낼 수 있습니다.

지연 시간이 중요한 시스템을 구축하는 개발자가 경쟁 우위를 유지하려면 최적화된 소스에서 샤드에 안정적으로 액세스하는 것이 필수입니다. 하지만 복구, 검증, 전 세계 배포를 효과적으로 처리하려면 견고한 인프라가 필요합니다. 게다가 현재 Solana에서 널리 사용되는 대부분의 실시간 데이터 스트리밍 도구는 샤드를 활용하지 않습니다.

Solana에서 데이터 스트리밍하기

Solana에서 실시간 데이터를 스트리밍하려는 개발자는 몇 가지 옵션을 선택할 수 있습니다. 각 옵션은 지연 시간, 안정성, 복잡성 측면에서 서로 다른 장단점이 있습니다.

Webhook

Webhook은 이벤트 기반 업데이트를 지원하며, 특정 계정이나 프로그램에 변경이 발생하면 애플리케이션으로 데이터를 푸시합니다. 프로그래밍 방식으로 간단히 통합할 수 있으며, Helius 대시보드에서 코드를 작성하지 않고도 바로 설정할 수 있습니다. 개발자는 특정 트랜잭션 유형에 대해 사람이 읽을 수 있도록 파싱된 데이터와 원시 트랜잭션 페이로드를 스트리밍할 수 있습니다. 이러한 업데이트를 서식이 적용된 메시지로 특정 Discord 채널에 직접 스트리밍하는 것도 가능합니다.

Webhook은 안정성이 매우 높고 Solana의 여러 유명 기업에서 사용하지만, 트랜잭션이 확인된 후에 알림을 보냅니다. 따라서 샤드 수준 데이터보다 수백 밀리초 늦을 수 있어 고빈도 거래나 청산처럼 지연 시간이 중요한 작업에는 너무 느립니다.

표준 WebSockets

Solana의 JSON RPC API는 계정 변경을 위한 accountSubscribe, 트랜잭션 로그를 위한 logSubscribe, 프로그램 이벤트를 위한 programSubscribe 같은 WebSocket 구독을 지원합니다. WebSockets는 클라이언트와 RPC 제공자 사이에 지속적인 연결을 유지하며, 트랜잭션과 계정 변경이 처리되는 즉시 업데이트를 스트리밍합니다. WebSockets는 양방향이며 폴링 오버헤드를 줄이면서 특정 계정이나 이벤트를 실시간으로 모니터링하는 데 적합합니다.

하지만 WebSockets도 Webhook과 마찬가지로 샤드 재조립 후, 즉 processed, confirmed, finalized 확정 수준에서 데이터를 전송합니다. 확정 수준에 따라 400ms에서 30초까지 지연이 추가됩니다. 

WebSockets는 연결이 불안정한 유형으로도 간주됩니다. 다양한 문제로 연결이 끊길 수 있어 사용자 지정 재시도 로직이 필요합니다. 폴링으로 보완하지 않으면 연결 해제로 인해 데이터가 영구적으로 손실될 수 있으며, 이는 실시간 안정성을 저해합니다. 

Enhanced WebSockets

Enhanced WebSockets는 표준 WebSockets를 크게 개선한 솔루션으로, 여러 성능 최적화와 향상된 필터링 기능을 제공합니다. 특히 이벤트 파싱을 개선하고 노이즈를 줄여 프로덕션에서 개발자가 더 쉽게 사용할 수 있습니다.

Enhanced WebSockets는 표준 WebSockets보다 지연 시간을 줄일 수 있으며 일반적인 스트리밍 애플리케이션에 매우 적합합니다. 예를 들어 표준 WebSockets 및 Webhook과 비교하면 Enhanced WebSockets로 Pump AMM 데이터를 스트리밍할 때 뚜렷한 성능 차이가 있습니다. 

하지만 Enhanced WebSockets 역시 기본적으로 샤드 재조립 후에 데이터를 전송합니다. 따라서 밀리초 하나하나가 중요한 애플리케이션에서는 활용이 제한됩니다. 또한 기능이 향상되었지만 자동 재생이나 장애 조치가 없어 데이터 공백을 수동으로 처리해야 합니다. 

Yellowstone gRPC

Yellowstone gRPC는 검증인에서 클라이언트로 데이터를 전송하는 저지연 스트리밍 프로토콜로, 샤드 수준의 데이터에 액세스할 수 있습니다. 각 확정 수준에서 더 빠르게 업데이트를 전송할 수 있으므로 WebSockets와 Webhook보다 훨씬 빠릅니다. 

Yellowstone은 구독을 즉시 생성하고 취소할 수 있는 양방향 스트리밍을 제공합니다. 또한 고급 필터링 기능을 통해 특정 트랜잭션, 계정 또는 프로그램 업데이트에 대한 응답으로 받을 데이터를 정밀하게 제어할 수 있습니다.

Yellowstone은 속도 제한과 크레딧 없이 사용자 지정 노드 구성을 위한 격리된 전용 하드웨어를 보장받으려는 사용자에게 적합합니다. 하지만 몇 가지 큰 단점이 있습니다.

1. 인프라 부담

Yellowstone gRPC의 성능을 최대한 활용하려면 자체 전용 노드가 필요합니다. 하드웨어에 액세스하고 올바르게 구성해야 하며, 해당 하드웨어를 지속적으로 관리해야 합니다. 하드웨어 관련 문제를 디버깅할 수 있는 전문성도 필요합니다.

2. 지연 시간 편차

Yellowstone gRPC가 샤드 수준에서 데이터를 전송할 수 있다고 해서 항상 최적의 방식으로 전송한다는 뜻은 아닙니다. 지연 시간은 제공자와 전용 노드가 샤드에 최적화된 소스, 즉 스테이킹 규모가 큰 검증인과 연결되어 있는지에 따라 달라집니다. 보통 또는 적은 지분을 보유한 검증인과 연결하면 Turbine의 첫 번째 계층에 일관되게 배치되지 않으므로 많은 샤드를 여전히 뒤늦게 받게 됩니다.

3. 장애 위험

단일 전용 노드에 의존하면 단일 장애점이 생깁니다. Yellowstone gRPC에는 기본 재생 기능도 없어 위험이 더 커집니다.

4. 리소스 요구량

Yellowstone으로 데이터를 스트리밍하면서 집약적인 RPC 호출로 전용 노드에 과부하를 주면 성능이 저하될 수 있습니다. 

오랫동안 많은 팀이 Solana 실시간 데이터 스트리밍 서비스로 Yellowstone gRPC를 선택해 왔습니다. 속도가 빠르고 고급 사용자에게 적합하지만, 전 세계에 전용 노드 전체를 구축하지 않고는 일관되고 전 세계적인 저지연 서비스로 운영하기 어렵습니다.

LaserStream

LaserStream은 여러 전용 노드를 운영하는 비용이나 운영 부담 없이 샤드 수준 수집의 속도와 전 세계에 분산된 서비스의 안정성 및 도달 범위를 결합합니다. 

LaserStream은 다음과 같은 방식으로 이를 구현합니다.

• 다중 소스 수집: LaserStream은 지연 시간이 가장 짧은 샤드를 수집하여 전 세계에서 경쟁 솔루션보다 일관되게 뛰어난 성능을 제공합니다.
• 전 세계 지원: LaserStream은 전 세계 여러 리전에서 제공되므로 개발자는 자신의 인프라와 가장 가까운 엔드포인트를 사용할 수 있습니다. 각 리전은 이중화를 위해 여러 서버를 운영하며 자동 장애 조치를 지원합니다.
• 데이터 공백 없음: LaserStream의 과거 데이터 재생을 사용하면 최대 48시간 전까지 최근 블록체인 데이터를 다시 재생할 수 있습니다. 연결 해제를 처리하고 데이터 연속성을 보장하는 데 유용합니다. 
• 개발자 친화적인 경험: LaserStream은 Yellowstone gRPC를 그대로 대체할 수 있습니다. 마이그레이션도, 새로운 구문도, 골칫거리도 없습니다.

요약하면 LaserStream은 Yellowstone gRPC와 WebSockets보다 확장성, 지연 시간, 내결함성이 뛰어난 솔루션입니다. 수백만 규모의 지분이나 자체 고성능 인프라 운영 없이도 온체인 이벤트가 네트워크에서 발생하는 즉시 일관되게 제공합니다. 

LaserStream은 Solana에서 초저지연 데이터 스트리밍을 위해 샤드의 성능을 활용하는 가장 쉬운 방법입니다.

클라이언트와 성능

LaserStream 클라이언트는 Go, Rust, JavaScript/TypeScript로 제공됩니다. 이러한 클라이언트는 스트리밍된 슬롯을 계속 추적하며 연결이 끊기면 자동으로 재생합니다. 어떤 이유로든 연결이 끊기면 클라이언트가 자동으로 다시 연결하고 마지막으로 처리한 슬롯부터 스트리밍을 재개합니다.

LaserStream의 JavaScript 클라이언트는 네이티브 Rust 바인딩을 사용한다는 점에서 특히 주목할 만합니다. 이를 통해 1.3GB/s의 처리량을 제공합니다. 최대 처리량이 30MB/s인 현재 Yellowstone gRPC JavaScript 클라이언트보다 40배 향상된 수치입니다. 

Solana가 계속 확장됨에 따라 Yellowstone gRPC JavaScript 클라이언트는 이를 따라가기 어려워질 것입니다. LaserStream JavaScript 클라이언트의 충분한 성능 여유를 통해 수요가 증가해도 애플리케이션을 네트워크와 함께 안전하게 확장할 수 있습니다. 

실제 도입 성과

저지연 DEX 애그리게이터 DFlow는 최근 가격 엔진에 데이터를 공급하기 위해 LaserStream을 통합했습니다. 전용 노드를 걱정하지 않고 전 세계로 확장할 수 있고, 엔지니어링 역량을 라우팅과 비즈니스 코드에 집중할 수 있다는 점이 통합 결정의 핵심이었습니다. 

통합 이후 DFlow는 반복되는 엔지니어링 작업을 8시간 이상 줄이고, 중단 없는 데이터 스트리밍으로 100% 가동 시간을 유지했으며, 더 빠른 트랜잭션 확인을 통해 견적 속도를 개선한 것으로 알려졌습니다. 

지금 바로 더 빠르게 스트리밍하세요.

밀리초는 단순한 지연 시간이 아니라 기회입니다. LaserStream을 사용하면 네트워크를 따라가는 데 그치지 않습니다. 한발 앞서 나갈 수 있습니다. 

거래, 청산, 오라클에 1초 미만의 데이터가 필요하신가요? LaserStream을 사용해 가장 빠른 Solana 데이터에 액세스하세요. 

고급 사용자라면 원시 샤드 전송을 이용할 수도 있습니다. 다음 양식을 작성해 문의하세요.

추가 자료

• LaserStream
• Agave의 샤드 모듈
• Solana의 샤드 사양