Solana 데이터를 인덱싱하는 방법

​

개요

​

사용해야 하는 경우

• 제품에 직접 RPC 호출로는 너무 느린 고속 필터링 쿼리가 필요한 경우(예: 지갑의 토큰 계정과 잔액 또는 거래 페어의 전체 내역)
• 온체인 데이터를 필터링, 집계 또는 조인하거나 오프체인 데이터(CEX 가격, KYC, 레이블)와 결합해야 하는 경우
• 사전 처리되어 쿼리할 수 있는 데이터가 필요한 PnL, 보유자 분석 또는 NFT 판매 내역 등을 계산하는 경우
• 많은 사용자에게 서비스를 제공하며 체인에 대한 요청별 지연 시간을 감당할 수 없는 경우

​

Solana 데이터 인덱싱이란 무엇인가요?

1. 과거 데이터 백필: 아카이브 RPC 메서드를 사용해 모든 과거 데이터를 쿼리합니다.
2. 새 데이터 스트리밍: 네트워크에서 확인된 새 블록을 처리합니다.
3. 데이터 파싱 및 변환: 확인된 블록에서 관련 데이터(예: 트랜잭션, 상태 변경 등)를 추출합니다.
4. 데이터베이스에 데이터 구성: 새 데이터로 인덱스를 업데이트합니다.

​

대부분의 기업이 Solana 인덱스를 구축하는 이유는 무엇인가요?

​

지갑 예시

​

거래 예시

​

필터링 예시

​

PnL 예시

• 지정된 기간에 해당 지갑과 연결된 모든 트랜잭션 찾기
• 스왑 트랜잭션을 선별하고 매수 또는 매도로 레이블 지정하기
• 각 스왑에서 사용자가 지불한 수수료 계산하기
• 각 거래 시점의 각 토큰 과거 가격 데이터 가져오기
• 각 트랜잭션의 PnL을 집계하여 트레이더의 총 PnL 계산하기

​

1단계: 과거 데이터 가져오기

1. getTransactionsForAddress(권장)
2. getSignaturesForAddress 및 getTransaction
3. getBlock

​

방법 1: getTransactionsForAddress(권장)

​

이 메서드를 사용하는 단계

• 데이터가 필요한 기간을 결정하고 그에 맞게 필터 설정하기
• 모든 트랜잭션 세부 정보를 가져오도록 transactionDetails을 full으로 설정하기
• 필요한 경우 연결된 토큰 계정 트랜잭션이 포함되도록 tokenAccounts 필터 구성하기
• paginationToken을 사용하여 결과를 페이지 단위로 가져오기
• 각 반복에서 필요한 데이터를 추출하여 데이터베이스에 저장하기

​

getTransactionsForAddress 사용의 이점

​

방법 2: getSignaturesForAddress 및 getTransaction

​

이 메서드를 사용하는 단계

• getSignaturesForAddress 호출하기
• 이 호출에서 마지막으로 수신한 트랜잭션의 서명 저장하기
• 다음 getSignaturesForAddress 호출에서는 before 매개변수를 이 서명으로 설정하기
• 필요한 만큼 루프에서 이 과정 반복하기
• 이 방식으로 검색한 각 트랜잭션 서명에 대해 getTransaction을 호출하여 전체 트랜잭션 세부 정보 가져오기
• 관련 데이터를 데이터베이스에 삽입하기

​

이 메서드의 단점

• 최신 트랜잭션부터 시작하여 과거 방향으로 작업하기
• 각 트랜잭션마다 RPC 호출 한 번 더 수행하기
• 동시 처리를 위한 스레드 안전 큐 구축하기
• 데이터 누락과 속도 제한을 방지하기 위한 재시도 및 백오프 로직 구축하기
• 주소가 소유한 연결 토큰 계정 관련 트랜잭션은 포함되지 않음

​

방법 3: getBlock 사용

​

이 메서드를 사용하는 단계

• 쿼리할 기간 결정하기
• 이 기간을 슬롯 번호로 변환하기
• 해당 블록을 순차적으로 가져오기(정방향 또는 역방향)
• 각 블록에서 인덱스와 관련된 트랜잭션 필터링하기
• 트랜잭션의 관련 정보를 인덱스에 저장하기

​

2단계: Solana 데이터를 데이터베이스와 동기화하기

​

옵션 1: SQL 데이터베이스

​

구현 예시:

CREATE TABLE token_transfers (
    id BIGSERIAL PRIMARY KEY,
    slot BIGINT NOT NULL,
    timestamp TIMESTAMP NOT NULL,
    signature BYTEA NOT NULL UNIQUE,
    token_mint BYTEA NOT NULL,
    source_address BYTEA NOT NULL,
    destination_address BYTEA NOT NULL,
    amount BIGINT NOT NULL,
    decimals SMALLINT NOT NULL,
    program_id BYTEA
);

CREATE INDEX idx_source_address ON token_transfers (source_address);
CREATE INDEX idx_destination_address ON token_transfers (destination_address);
CREATE INDEX idx_token_mint ON token_transfers (token_mint);

CREATE INDEX idx_large_transfers ON token_transfers(amount) WHERE amount > 1000000;

​

옵션 2: 컬럼형 데이터베이스

​

구현 예시:

CREATE TABLE token_transfers (
    block_time DateTime,
    slot UInt64,
    signature FixedString(64),
    token_mint FixedString(32),
    source_address FixedString(32),
    destination_address FixedString(32),
    amount UInt64,
    decimals UInt8,
    program_id FixedString(32),
    date Date DEFAULT toDate(block_time)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (token_mint, date)
SETTINGS index_granularity = 8192;

SELECT date, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v'
AND block_time BETWEEN '2025-01-01' AND '2025-01-31'

​

옵션 3: 데이터 레이크

​

구현 예시:

s3://solana_index/token_transfers/YYYY/MM/DD/part-00000.parquet

SELECT block_time, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v' AND block_time BETWEEN TIMESTAMP '2025-01-01 00:00:00' AND TIMESTAMP '2025-01-31 23:59:59';

​

인덱싱 프레임워크 사용

​

주요 기능:

• 인기 프로그램(Token 프로그램, DeFi 프로토콜, Metaplex)을 위한 사전 구축된 디코더
• 구성 가능한 데이터 소스(RPC, LaserStream, Enhanced WebSockets)
• 백필과 실시간 스트리밍 모두 기본 지원
• 여러 스토리지 백엔드로 출력(Postgres 기본 제공)
• 완전한 사용자 지정 지원: 자체 데이터 소스, 디코더 및 데이터 싱크를 설정할 수 있음

​

3단계: 인덱스를 최신 상태로 유지하기

​

방법 1: LaserStream(권장)

• 48시간 과거 재생: 인덱서의 연결이 끊기면 LaserStream이 중단된 지점부터 누락된 모든 트랜잭션을 자동으로 재생합니다.
• 자동 재연결: LaserStream SDK(Rust, Go, JS/TS)가 네트워크 중단을 원활하게 처리합니다.
• 노드 장애 조치: LaserStream 연결은 여러 노드의 데이터를 동시에 집계하여 가동 시간을 극대화합니다.

​

인덱싱에 LaserStream을 사용하는 방법

• 필터 범위를 최대한 좁히세요: 대역폭 사용량과 필요한 처리 작업을 최소화하도록 실제로 인덱싱해야 하는 데이터만 구독하세요.
• confirmed 커밋먼트 수준을 사용하세요: 이 수준은 지연 시간과 최종성 사이에서 균형을 제공합니다. processed 수준은 안정성이 지나치게 낮을 수 있으며, finalized은 ~13초의 지연 시간을 추가합니다.
• 실패한 트랜잭션을 구체적으로 추적해야 하는 경우가 아니라면 failed: false을 설정하세요.
• 인덱싱과 관련이 없으므로 투표 트랜잭션을 제외하세요(vote: false).

{
  transactions: {
    "transfers": {
      vote: false,
      failed: false,
      accountsInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    }
  },
  commitment: CommitmentLevel.CONFIRMED,
  accounts: {},
  slots: {},
  transactionsStatus: {},
  blocks: {},
  blocksMeta: {},
  entry: {},
  accountsDataSlice: []
}

​

방법 2: LaserStream WebSocket 사용

• 애플리케이션에서 간헐적인 데이터 누락을 허용할 수 있는 경우
• 실시간 업데이트가 중요하지만 미션 크리티컬하지는 않은 경우
• 누락된 데이터를 감지하고 백필할 기존 인프라가 있는 경우
• 예산 제약이 크고 스트리밍 비용을 최소화해야 하는 경우
• LaserStream을 본격적으로 도입하기 전에 프로토타입을 만들거나 테스트하는 경우

• 속도: LaserStream WebSocket은 LaserStream gRPC와 동일한 백엔드에서 실행되지만 WebSocket 프로토콜에는 JSON 프레이밍과 메시지별 오버헤드가 추가됩니다. 동일한 데이터에서 가능한 한 가장 짧은 지연 시간을 얻으려면 LaserStream gRPC를 사용하세요.
• 안정성: 과거 데이터 재생이 보장되지 않습니다. WebSocket 연결이 끊어지면 RPC 메서드를 사용하여 누락 구간을 직접 감지하고 백필해야 합니다.
• 복잡성: 데이터 완전성을 보장하려면 추가 모니터링 인프라가 필요합니다.

​

인덱싱에 WebSocket을 사용하는 방법

{
  jsonrpc: '2.0',
  id: 1,
  method: 'transactionSubscribe',
  params: [
    {
      failed: false,
      accountInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    },
    {
      commitment: 'confirmed',
      encoding: 'jsonParsed',
      transactionDetails: 'full',
      maxSupportedTransactionVersion: 1
    }
  ]
}

​

시작하기

1. 과거 데이터를 효율적으로 가져오기
2. 빠른 검색을 위해 데이터 변환 및 저장하기
3. 인덱싱된 Solana 데이터를 실시간으로 최신 상태로 유지하기

​

보완 옵션

• DAS API — 자산 데이터를 직접 인덱싱하지 않고 NFT, 대체 가능 토큰 및 압축 자산(메타데이터, 소유권, 잔액, 소유자/컬렉션/생성자별)을 쿼리합니다.
• Wallet API — USD 가치와 더 간단한 응답 구조를 제공하는 지갑 잔액, 내역, 전송 및 ID용 고수준 REST 엔드포인트입니다.

​

다음 단계

• API 액세스를 위해 무료 Helius 계정에 가입하세요.
• 백필에 관한 getTransactionsForAddress 가이드를 읽어보세요.
• 실시간 스트리밍에 관한 LaserStream 개요를 살펴보세요.
• 모든 아카이브 메서드에 관한 과거 데이터 개요를 검토하세요.