Cách lập chỉ mục dữ liệu Solana

​

Tổng quan

​

Khi nào nên sử dụng

• Sản phẩm của bạn cần các truy vấn được lọc và có tốc độ cao mà lệnh gọi RPC trực tiếp không thể đáp ứng (ví dụ: tài khoản token và số dư của một ví hoặc toàn bộ lịch sử của một cặp giao dịch)
• Bạn cần lọc, tổng hợp hoặc kết hợp dữ liệu trên chuỗi, hoặc kết hợp dữ liệu đó với dữ liệu ngoài chuỗi (giá CEX, KYC, nhãn)
• Bạn đang tính toán các thông tin như PnL, phân tích người nắm giữ hoặc lịch sử bán NFT vốn yêu cầu dữ liệu có thể truy vấn và đã được xử lý trước
• Bạn phục vụ nhiều người dùng và không thể chấp nhận độ trễ của từng yêu cầu khi truy vấn chuỗi

​

Lập chỉ mục dữ liệu Solana nghĩa là gì?

1. Nạp dữ liệu lịch sử: dùng các phương thức RPC lưu trữ để truy vấn toàn bộ dữ liệu lịch sử
2. Truyền dữ liệu mới: xử lý các khối mới khi được mạng xác nhận
3. Phân tích cú pháp và chuyển đổi dữ liệu: trích xuất dữ liệu liên quan từ các khối đã xác nhận (ví dụ: giao dịch, thay đổi trạng thái, v.v.)
4. Sắp xếp dữ liệu vào cơ sở dữ liệu: cập nhật chỉ mục bằng dữ liệu mới

​

Tại sao hầu hết công ty đều xây dựng chỉ mục Solana?

​

Ví dụ về ví

​

Ví dụ về giao dịch

​

Ví dụ về lọc dữ liệu

​

Ví dụ về PnL

• Tìm mọi giao dịch liên kết với ví của họ trong một khoảng thời gian nhất định
• Lọc các giao dịch hoán đổi và gắn nhãn là mua hoặc bán
• Xác định tổng phí người dùng đã trả trong mỗi lần hoán đổi
• Lấy dữ liệu giá lịch sử của từng token tại thời điểm diễn ra mỗi giao dịch
• Tổng hợp PnL của từng giao dịch để tính tổng PnL của nhà giao dịch

​

Bước 1: Lấy dữ liệu lịch sử

1. getTransactionsForAddress (khuyên dùng)
2. getSignaturesForAddress và getTransaction
3. getBlock

​

Phương pháp 1: getTransactionsForAddress (khuyên dùng)

​

Các bước sử dụng phương pháp này

• Xác định khoảng thời gian cần lấy dữ liệu và đặt bộ lọc tương ứng
• Đặt transactionDetails thành full để lấy đầy đủ chi tiết giao dịch
• Cấu hình bộ lọc tokenAccounts để bao gồm các giao dịch của tài khoản token liên kết nếu cần
• Phân trang qua các kết quả bằng paginationToken
• Trong mỗi lần lặp, trích xuất dữ liệu cần thiết và lưu vào cơ sở dữ liệu

​

Lợi ích của việc sử dụng getTransactionsForAddress

​

Phương pháp 2: getSignaturesForAddress và getTransaction

​

Các bước sử dụng phương pháp này

• Gọi getSignaturesForAddress
• Lưu chữ ký của giao dịch cuối cùng nhận được từ lệnh gọi này
• Trong lần gọi getSignaturesForAddress tiếp theo, đặt tham số before thành chữ ký này
• Lặp lại quá trình này trong thời gian cần thiết
• Với mỗi chữ ký giao dịch được truy xuất theo cách này, gọi getTransaction để lấy đầy đủ chi tiết giao dịch
• Chèn dữ liệu liên quan vào cơ sở dữ liệu

​

Nhược điểm của phương pháp này

• Bắt đầu từ giao dịch mới nhất và lần ngược về trước
• Thực hiện thêm một lệnh gọi RPC cho mỗi giao dịch
• Xây dựng hàng đợi an toàn theo luồng để xử lý đồng thời
• Xây dựng logic thử lại và thời gian chờ tăng dần để tránh bỏ sót dữ liệu và bị giới hạn tốc độ
• Không bao gồm các giao dịch liên quan đến tài khoản token liên kết thuộc sở hữu của địa chỉ

​

Phương pháp 3: Sử dụng getBlock

​

Các bước sử dụng phương pháp này

• Chọn một khoảng thời gian để truy vấn
• Chuyển đổi khoảng thời gian này thành các số slot
• Truy xuất tuần tự các khối tương ứng (theo chiều xuôi hoặc ngược)
• Với mỗi khối, lọc các giao dịch liên quan đến chỉ mục
• Lưu thông tin liên quan từ các giao dịch đó vào chỉ mục

​

Bước 2: Đồng bộ dữ liệu Solana với cơ sở dữ liệu

​

Lựa chọn 1: Cơ sở dữ liệu SQL

​

Ví dụ triển khai:

CREATE TABLE token_transfers (
    id BIGSERIAL PRIMARY KEY,
    slot BIGINT NOT NULL,
    timestamp TIMESTAMP NOT NULL,
    signature BYTEA NOT NULL UNIQUE,
    token_mint BYTEA NOT NULL,
    source_address BYTEA NOT NULL,
    destination_address BYTEA NOT NULL,
    amount BIGINT NOT NULL,
    decimals SMALLINT NOT NULL,
    program_id BYTEA
);

CREATE INDEX idx_source_address ON token_transfers (source_address);
CREATE INDEX idx_destination_address ON token_transfers (destination_address);
CREATE INDEX idx_token_mint ON token_transfers (token_mint);

CREATE INDEX idx_large_transfers ON token_transfers(amount) WHERE amount > 1000000;

​

Lựa chọn 2: Cơ sở dữ liệu dạng cột

​

Ví dụ triển khai:

CREATE TABLE token_transfers (
    block_time DateTime,
    slot UInt64,
    signature FixedString(64),
    token_mint FixedString(32),
    source_address FixedString(32),
    destination_address FixedString(32),
    amount UInt64,
    decimals UInt8,
    program_id FixedString(32),
    date Date DEFAULT toDate(block_time)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (token_mint, date)
SETTINGS index_granularity = 8192;

SELECT date, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v'
AND block_time BETWEEN '2025-01-01' AND '2025-01-31'

​

Lựa chọn 3: Hồ dữ liệu

​

Ví dụ triển khai:

s3://solana_index/token_transfers/YYYY/MM/DD/part-00000.parquet

SELECT block_time, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v' AND block_time BETWEEN TIMESTAMP '2025-01-01 00:00:00' AND TIMESTAMP '2025-01-31 23:59:59';

​

Sử dụng các framework lập chỉ mục

​

Các tính năng chính:

• Bộ giải mã dựng sẵn cho các chương trình phổ biến (chương trình Token, giao thức DeFi, Metaplex)
• Nguồn dữ liệu có thể cấu hình (RPC, LaserStream, WebSocket nâng cao)
• Hỗ trợ tích hợp cho cả việc nạp dữ liệu lịch sử và truyền dữ liệu thời gian thực
• Xuất dữ liệu tới nhiều hệ thống lưu trữ phụ trợ (tích hợp sẵn Postgres)
• Hoàn toàn có thể tùy chỉnh: bạn có thể thiết lập nguồn dữ liệu, bộ giải mã và đích dữ liệu riêng

​

Bước 3: Duy trì cập nhật chỉ mục

​

Phương pháp 1: LaserStream (khuyên dùng)

• Phát lại lịch sử trong 24 giờ: nếu trình lập chỉ mục bị ngắt kết nối, LaserStream tự động phát lại tất cả giao dịch bị bỏ lỡ kể từ vị trí bạn đã dừng
• Tự động kết nối lại: các SDK LaserStream của chúng tôi (Rust, Go, JS/TS) tự động xử lý gián đoạn mạng cho bạn
• Chuyển đổi dự phòng giữa các nút: kết nối LaserStream của bạn tổng hợp dữ liệu đồng thời từ nhiều nút, bảo đảm thời gian hoạt động tối đa

​

Cách sử dụng LaserStream để lập chỉ mục

• Thu hẹp bộ lọc tối đa có thể: Chỉ đăng ký dữ liệu mà bạn thực sự cần lập chỉ mục để giảm thiểu mức sử dụng băng thông và khối lượng xử lý cần thiết.
• Sử dụng mức cam kết confirmed: Mức này cân bằng giữa độ trễ và tính hoàn tất. Mức processed có thể không đủ tin cậy, trong khi finalized làm tăng độ trễ thêm ~13 giây
• Đặt failed: false trừ khi bạn cần theo dõi cụ thể các giao dịch thất bại
• Loại trừ giao dịch bỏ phiếu (vote: false) vì chúng không liên quan đến việc lập chỉ mục

{
  transactions: {
    "transfers": {
      vote: false,
      failed: false,
      accountsInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    }
  },
  commitment: CommitmentLevel.CONFIRMED,
  accounts: {},
  slots: {},
  transactionsStatus: {},
  blocks: {},
  blocksMeta: {},
  entry: {},
  accountsDataSlice: []
}

​

Phương pháp 2: Sử dụng LaserStream WebSocket

• Ứng dụng của bạn có thể chấp nhận tình trạng thiếu dữ liệu không thường xuyên
• Các bản cập nhật theo thời gian thực quan trọng nhưng không mang tính sống còn
• Bạn có sẵn cơ sở hạ tầng để phát hiện và nạp bù dữ liệu bị thiếu
• Ngân sách bị hạn chế đáng kể và bạn cần giảm thiểu chi phí truyền dữ liệu
• Bạn đang tạo nguyên mẫu hoặc thử nghiệm trước khi cam kết sử dụng LaserStream

• Tốc độ: LaserStream WebSocket chạy trên cùng hệ thống phụ trợ với LaserStream gRPC, nhưng giao thức WebSocket bổ sung khung JSON và chi phí xử lý trên mỗi thông điệp — để đạt độ trễ thấp nhất có thể trên cùng dữ liệu, hãy dùng LaserStream gRPC
• Độ tin cậy: Không bảo đảm phát lại dữ liệu lịch sử. Nếu WebSocket bị ngắt kết nối, bạn sẽ phải tự phát hiện và nạp bù các khoảng trống bằng phương thức RPC
• Độ phức tạp: Cần thêm cơ sở hạ tầng giám sát để bảo đảm dữ liệu đầy đủ

​

Cách sử dụng WebSocket để lập chỉ mục

{
  jsonrpc: '2.0',
  id: 1,
  method: 'transactionSubscribe',
  params: [
    {
      failed: false,
      accountInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    },
    {
      commitment: 'confirmed',
      encoding: 'jsonParsed',
      transactionDetails: 'full',
      maxSupportedTransactionVersion: 1
    }
  ]
}

​

Bắt đầu

1. Truy xuất dữ liệu lịch sử một cách hiệu quả
2. Chuyển đổi và lưu trữ dữ liệu để truy xuất nhanh
3. Duy trì cập nhật dữ liệu Solana đã lập chỉ mục theo thời gian thực

​

Các lựa chọn bổ sung

• DAS API — truy vấn NFT, token có thể thay thế và tài sản nén (siêu dữ liệu, quyền sở hữu, số dư, theo chủ sở hữu/bộ sưu tập/nhà sáng tạo) mà không cần tự lập chỉ mục dữ liệu tài sản.
• Wallet API — các điểm cuối REST cấp cao dành cho số dư ví, lịch sử, giao dịch chuyển và danh tính, kèm giá trị USD và cấu trúc phản hồi đơn giản hơn.

​

Các bước tiếp theo

• Đăng ký tài khoản Helius miễn phí để có quyền truy cập API
• Đọc hướng dẫn getTransactionsForAddress để nạp dữ liệu lịch sử
• Khám phá tổng quan về LaserStream để tìm hiểu cách truyền dữ liệu thời gian thực
• Xem tổng quan về dữ liệu lịch sử để tìm hiểu tất cả phương thức lưu trữ