Solana 데이터 색인 방법

​

개요

​

사용 시기

• 제품이 빠르면서 필터링된 쿼리가 필요하지만 직접 RPC 호출은 너무 느린 경우 (예: 지갑의 토큰 계정 및 잔액, 거래쌍의 전체 이력)
• 온체인 데이터를 필터링, 집계, 결합하거나 오프체인 데이터와 결합해야 하는 경우 (CEX 가격, KYC, 라벨)
• 거래 손익 계산, 보유자 분석, NFT 판매 이력 등 미리 처리된 쿼리 가능 데이터를 필요로 하는 경우
• 많은 사용자를 지원해야 하고 체인에 대한 요청 대기 시간을 감당할 수 없는 경우

​

Solana 데이터 색인이란?

1. 역사 데이터 백필링: 아카이브 RPC 방법을 사용하여 모든 역사 데이터를 쿼리
2. 새 데이터 스트리밍: 네트워크에 의해 확인된 새로운 블록 처리
3. 데이터 파싱 및 변환: 확인된 블록에서 관련 데이터 추출 (예: 거래, 상태 변경 등)
4. 데이터를 데이터베이스에 조직화: 새로운 데이터로 색인 업데이트

​

대부분의 기업이 Solana 색인을 구축하는 이유는?

​

지갑 예시

​

거래 예시

​

필터링 예시

​

PnL 예시

• 주어진 기간 동안 그들의 지갑과 관련된 모든 거래 찾기
• 스왑 거래를 필터링하고 구매 또는 판매로 레이블 지정
• 사용자가 각 스왑 동안 지불한 수수료 확인
• 각 거래 시점의 각 토큰에 대한 역사적 가격 데이터 얻기
• 각 거래의 PnL을 집계하여 거래자의 총 PnL 계산

​

1단계: 역사 데이터 얻기

1. getTransactionsForAddress (권장)
2. getSignaturesForAddress 및 getTransaction
3. getBlock

​

방법 1: getTransactionsForAddress (권장)

​

이 방법을 사용하는 단계

• 필요한 데이터의 기간을 결정하고 필터를 설정합니다.
• 모든 거래 세부정보를 얻기 위해 transactionDetails를 full로 설정합니다.
• 필요하다면 관련 토큰 계정 거래를 포함할 수 있도록 tokenAccounts 필터를 구성합니다.
• paginationToken를 사용하여 결과를 페이지 매기기 합니다.
• 각 반복에서 필요한 데이터를 추출하고 데이터베이스에 저장합니다.

​

getTransactionsForAddress 사용의 이점

​

방법 2: getSignaturesForAddress 및 getTransaction

​

이 방법을 사용하는 단계

• getSignaturesForAddress 호출
• 이 호출의 마지막으로 받은 거래 서명을 저장
• 다음 getSignaturesForAddress 호출을 위한 before 매개변수를 이 서명으로 설정
• 필요할 때까지 이 과정을 반복
• 이렇게 검색된 각 거래 서명에 대해 getTransaction를 호출하여 전체 거래 세부정보를 가져옴
• 관련 데이터를 데이터베이스에 삽입

​

이 방법의 단점

• 최신 거래에서 시작하여 역방향으로 작업
• 각 거래마다 추가 RPC 호출
• 동시 처리 관리를 위한 스레드 안전 큐 구축
• 누락된 데이터를 방지하고 속도 제한을 막기 위한 재시도와 백오프 로직 구축
• 소유한 주소에 연결된 토큰 계정의 거래는 포함되지 않음

​

방법 3: getBlock 사용

​

이 방법을 사용하는 단계

• 쿼리할 시간 범위 결정
• 이 시간 범위를 슬롯 번호로 변환
• 해당 블록을 순차적으로 가져오기 (순방향 또는 역방향)
• 각 블록의 색인과 관련된 거래 필터링
• 관련 정보를 색인에 저장

​

2단계: Solana 데이터를 데이터베이스와 동기화

​

옵션 1: SQL 데이터베이스

​

구현 예:

CREATE TABLE token_transfers (
    id BIGSERIAL PRIMARY KEY,
    slot BIGINT NOT NULL,
    timestamp TIMESTAMP NOT NULL,
    signature BYTEA NOT NULL UNIQUE,
    token_mint BYTEA NOT NULL,
    source_address BYTEA NOT NULL,
    destination_address BYTEA NOT NULL,
    amount BIGINT NOT NULL,
    decimals SMALLINT NOT NULL,
    program_id BYTEA
);

CREATE INDEX idx_source_address ON token_transfers (source_address);
CREATE INDEX idx_destination_address ON token_transfers (destination_address);
CREATE INDEX idx_token_mint ON token_transfers (token_mint);

CREATE INDEX idx_large_transfers ON token_transfers(amount) WHERE amount > 1000000;

​

옵션 2: 컬럼형 데이터베이스

​

구현 예:

CREATE TABLE token_transfers (
    block_time DateTime,
    slot UInt64,
    signature FixedString(64),
    token_mint FixedString(32),
    source_address FixedString(32),
    destination_address FixedString(32),
    amount UInt64,
    decimals UInt8,
    program_id FixedString(32),
    date Date DEFAULT toDate(block_time)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (token_mint, date)
SETTINGS index_granularity = 8192;

SELECT date, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v'
AND block_time BETWEEN '2025-01-01' AND '2025-01-31'

​

옵션 3: 데이터 레이크

​

구현 예:

s3://solana_index/token_transfers/YYYY/MM/DD/part-00000.parquet

SELECT block_time, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v' AND block_time BETWEEN TIMESTAMP '2025-01-01 00:00:00' AND TIMESTAMP '2025-01-31 23:59:59';

​

색인 프레임워크 사용

​

주요 기능:

• 인기 있는 프로그램(Token 프로그램, DeFi 프로토콜, Metaplex)에 대한 미리 생성된 디코더
• 구성 가능한 데이터 소스(RPC, LaserStream, Enhanced WebSockets)
• 백필링 및 실시간 스트리밍에 대한 내장 지원
• 여러 저장소 백엔드에 출력(Postgres 기본 제공)
• 완전한 사용자 정의 가능: 사용자 정의 데이터 소스, 디코더 및 데이터 싱크 설정 가능

​

3단계: 색인을 최신 상태로 유지

​

방법 1: LaserStream (권장)

• 24시간 역사적 재생: 인덱서가 연결이 끊어지면 LaserStream이 누락된 모든 거래를 자동으로 재생합니다 [/laserstream/historical-replay)]
• 자동 재연결: LaserStream SDKs (Rust, Go, JS/TS)가 네트워크 중단을 매끄럽게 처리합니다
• 노드 페일오버: 여러 노드에서 데이터를 동시 집계하여 최대 가동 시간을 보장합니다

​

색인을 위한 LaserStream 사용 방법

• 필터를 최대한 좁게 설정하세요: 인덱스할 실제 데이터만 구독하여 대역폭 소비와 필요한 처리를 최소화하세요.
• confirmed 커밋 수준 사용: 이는 지연 시간과 최종성을 균형 있게 합니다. processed 수준은 너무 신뢰할 수 없을 수 있으며, finalized는 ~13초의 지연 시간을 추가합니다
• failed: false를 설정하세요: 실패한 거래를 추적할 필요가 없는 경우에만 사용합니다
• 투표 거래 제외 (vote: false): 인덱싱에 관련이 없습니다

{
  transactions: {
    "transfers": {
      vote: false,
      failed: false,
      accountsInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    }
  },
  commitment: CommitmentLevel.CONFIRMED,
  accounts: {},
  slots: {},
  transactionsStatus: {},
  blocks: {},
  blocksMeta: {},
  entry: {},
  accountsDataSlice: []
}

​

방법 2: LaserStream WebSocket 사용

• 응용 프로그램이 간헐적인 데이터 격차를 감당할 수 있는 경우
• 실시간 업데이트가 중요하지만 필수는 아닌 경우
• 누락된 데이터를 감지하고 백필링하는 기존 인프라가 있는 경우
• 예산 제약이 크고 스트리밍 비용을 최소화해야 하는 경우
• LaserStream으로 전환하기 전 프로토타입화 또는 테스트 중인 경우

• 속도: LaserStream WebSocket은 LaserStream gRPC와 동일한 백엔드에서 실행되지만 WebSocket 프로토콜은 JSON 프레이밍 및 메시지당 오버헤드를 추가합니다 — 동일한 데이터에 대한 가장 낮은 지연 시간을 원한다면 LaserStream gRPC를 사용하십시오
• 신뢰성: 역사적 재생 보장이 없습니다. WebSocket이 연결이 끊어지면 RPC 메서드를 사용하여 격차를 수동으로 감지하고 백필링해야 합니다
• 복잡성: 데이터 완전성을 보장하기 위해 추가 모니터링 인프라가 필요합니다

​

색인을 위한 WebSockets 사용 방법

{
  jsonrpc: '2.0',
  id: 1,
  method: 'transactionSubscribe',
  params: [
    {
      failed: false,
      accountInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    },
    {
      commitment: 'confirmed',
      encoding: 'jsonParsed',
      transactionDetails: 'full',
      maxSupportedTransactionVersion: 0
    }
  ]
}

​

시작하기

1. 효율적으로 역사 데이터를 가져오기
2. 데이터를 빠르게 검색할 수 있도록 변환 및 저장하기
3. 색인된 Solana 데이터를 실시간으로 업데이트하기

​

보완 옵션

• DAS API — 자산 데이터를 직접 인덱싱하지 않고도 NFT, 대체 가능한 토큰 및 압축 자산(메타데이터, 소유권, 잔액, 소유자/컬렉션/생성자별)을 쿼리합니다.
• 지갑 API — USD 값을 가진 간단한 응답 형태의 지갑 잔액, 역사, 전송 및 신원을 위한 고급 REST 엔드포인트.

​

다음 단계

• 무료 Helius 계정에 가입하여 API 액세스
• 백필링을 위한 getTransactionsForAddress 가이드 읽기
• 실시간 스트리밍을 위한 LaserStream 개요 탐색
• 모든 아카이브 방법에 대한 역사 데이터 개요 검토하기