So werden Solana-Daten indexiert

​

Übersicht

​

Wann dies zu verwenden ist

• Ihr Produkt schnelle, gefilterte Abfragen benötigt, für die direkte RPC-Aufrufe zu langsam sind (z. B. die Token-Konten und Salden einer Wallet oder die vollständige Geschichte eines Handelspaars)
• Sie benötigen, um On-Chain-Daten zu filtern, zu aggregieren oder zu verknüpfen, oder um sie mit Off-Chain-Daten zu kombinieren (CEX-Preise, KYC, Labels)
• Sie berechnen Dinge wie PnL, Inhaberanalysen oder NFT-Verkaufsgeschichte, die vorverarbeitete, abfragbare Daten erfordern
• Sie bedienen viele Benutzer und können sich keine Latenz pro Anfrage gegen die Kette leisten

​

Was bedeutet Solana-Daten zu indexieren?

1. Historische Daten auffüllen: Verwenden Sie Archiv-RPC-Methoden, um alle historischen Daten abzufragen
2. Neue Daten streamen: Verarbeiten Sie neue Blöcke, wenn sie vom Netzwerk bestätigt werden
3. Daten parsen und transformieren: Extrahieren Sie relevante Daten aus den bestätigten Blöcken (z. B. Transaktionen, Zustandsänderungen usw.)
4. Daten in eine Datenbank organisieren: Aktualisieren Sie den Index mit den neuen Daten

​

Warum erstellen die meisten Unternehmen Solana-Indizes?

​

Wallet-Beispiel

​

Handelsbeispiel

​

Filterbeispiel

​

PnL-Beispiel

• Jede Transaktion in einem bestimmten Zeitraum, die mit seiner Wallet in Verbindung steht, finden
• Swap-Transaktionen herausfiltern und als Käufe oder Verkäufe markieren
• Bestimmen, wie viele Gebühren der Benutzer während jedes Swaps gezahlt hat
• Die historischen Preisdaten für jedes Token zum Zeitpunkt jedes Trades abrufen
• Den PnL jeder Transaktion aggregieren, um den Gesamterlös des Traders zu berechnen

​

Schritt 1: Holen Sie sich die historischen Daten

1. getTransactionsForAddress (empfohlen)
2. getSignaturesForAddress und getTransaction
3. getBlock

​

Methode 1: getTransactionsForAddress (empfohlen)

​

Schritte zur Verwendung dieser Methode

• Bestimmen Sie den Zeitraum, für den Sie Daten benötigen, und setzen Sie den Filter entsprechend
• Setzen Sie transactionDetails auf full, um alle Transaktionsdetails abzurufen
• Konfigurieren Sie den tokenAccounts Filter, um bei Bedarf Transaktionen mit zugehörigen Token-Konten einzuschließen
• Paginieren Sie durch die Ergebnisse mithilfe von paginationToken
• Extrahieren Sie bei jeder Iteration die benötigten Daten und speichern Sie sie in Ihrer Datenbank

​

Vorteile der Verwendung von getTransactionsForAddress

​

Methode 2: getSignaturesForAddress und getTransaction

​

Schritte zur Verwendung dieser Methode

• Aufruf von getSignaturesForAddress
• Speichern der Signatur der letzten empfangenen Transaktion dieses Aufrufs
• Für den nächsten Aufruf von getSignaturesForAddress, setzen Sie den before Parameter auf diese Signatur
• Wiederholen Sie dies in einer Schleife, solange es erforderlich ist
• Für jede auf diese Weise abgerufene Transaktionssignatur rufen Sie getTransaction auf, um die vollständigen Transaktionsdetails zu erhalten
• Die relevanten Daten in Ihrer Datenbank einfügen

​

Nachteile dieser Methode

• Bei der neuesten Transaktion beginnen und rückwärts arbeiten
• Einen zusätzlichen RPC-Aufruf für jede Transaktion machen
• Eine threadsichere Warteschlange für die gleichzeitige Verarbeitung aufbauen
• Logik für Wiederholungen und Zurücksetzungen aufbauen, um verpasste Daten zu vermeiden und nicht rate-limitiert zu werden
• Transaktionen mit zugehörigen Token-Konten, die der Adresse gehören, nicht einschließen

​

Methode 3: Verwendung von getBlock

​

Schritte zur Verwendung dieser Methode

• Entscheiden Sie sich für einen Zeitrahmen, den Sie abfragen möchten
• Konvertieren Sie diesen Zeitrahmen in Slot-Nummern
• Abrufen der entsprechenden Blöcke sequentiell (vorwärts oder rückwärts)
• Filtern Sie für jeden Block die Transaktionen, die für Ihren Index relevant sind
• Speichern Sie die relevanten Informationen daraus in Ihrem Index

​

Schritt 2: Synchronisieren Sie Solana-Daten mit Ihrer Datenbank

​

Option 1: SQL-Datenbanken

​

Implementierungsbeispiel:

CREATE TABLE token_transfers (
    id BIGSERIAL PRIMARY KEY,
    slot BIGINT NOT NULL,
    timestamp TIMESTAMP NOT NULL,
    signature BYTEA NOT NULL UNIQUE,
    token_mint BYTEA NOT NULL,
    source_address BYTEA NOT NULL,
    destination_address BYTEA NOT NULL,
    amount BIGINT NOT NULL,
    decimals SMALLINT NOT NULL,
    program_id BYTEA
);

CREATE INDEX idx_source_address ON token_transfers (source_address);
CREATE INDEX idx_destination_address ON token_transfers (destination_address);
CREATE INDEX idx_token_mint ON token_transfers (token_mint);

CREATE INDEX idx_large_transfers ON token_transfers(amount) WHERE amount > 1000000;

​

Option 2: Säulendatenbanken

​

Implementierungsbeispiel:

CREATE TABLE token_transfers (
    block_time DateTime,
    slot UInt64,
    signature FixedString(64),
    token_mint FixedString(32),
    source_address FixedString(32),
    destination_address FixedString(32),
    amount UInt64,
    decimals UInt8,
    program_id FixedString(32),
    date Date DEFAULT toDate(block_time)
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (token_mint, date)
SETTINGS index_granularity = 8192;

SELECT date, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v'
AND block_time BETWEEN '2025-01-01' AND '2025-01-31'

​

Option 3: Datenseen

​

Implementierungsbeispiel:

s3://solana_index/token_transfers/YYYY/MM/DD/part-00000.parquet

SELECT block_time, signature, source_address, destination_address, amount
FROM token_transfers
WHERE token_mint = 'EPjFWdd5AufqSSqeM2qN1xzybapC8G4wEGGkZwyTDt1v' AND block_time BETWEEN TIMESTAMP '2025-01-01 00:00:00' AND TIMESTAMP '2025-01-31 23:59:59';

​

Verwenden Sie Indexierungs-Frameworks

​

Hauptmerkmale:

• Vorgefertigte Decoder für beliebte Programme (Token-Programm, DeFi-Protokolle, Metaplex)
• Konfigurierbare Datenquellen (RPC, LaserStream, erweiterte WebSockets)
• Eingebauter Support für sowohl Auffüllen als auch Echtzeit-Streaming
• Ausgaben an mehrere Speichersysteme (Postgres ist bereits integriert)
• Vollständig anpassbar: Sie können Ihre eigenen Datenquellen, Decoder und Data Sinks einrichten

​

Schritt 3: Halten Sie Ihren Index auf dem neuesten Stand

​

Methode 1: LaserStream (empfohlen)

• 24-Stunden-Wiederholung: Wenn Ihr Indexer die Verbindung verliert, spielt LaserStream automatisch alle verpassten Transaktionen vom letzten Stand ab
• Automatische Wiederverbindung: Unsere LaserStream SDKs (Rust, Go, JS/TS) handhaben Netzwerkunterbrechungen nahtlos für Sie
• Node-Failover: Ihre LaserStream-Verbindung aggregiert Daten von mehreren Nodes gleichzeitig, um maximale Betriebszeit sicherzustellen

​

Wie man LaserStream für die Indexierung verwendet

• Verfeinern Sie Ihren Filter so weit wie möglich: Abonnieren Sie nur die Daten, die Sie tatsächlich indexieren müssen, um den Bandbreitenverbrauch und die erforderliche Verarbeitung zu minimieren.
• Verwenden Sie das confirmed-Verpflichtungsniveau: Dies balanciert Latenz und Finalität. Das processed Niveau könnte zu unzuverlässig sein, während finalized etwa 13 Sekunden Latenz hinzufügt
• Setzen Sie failed: false, es sei denn, Sie müssen gescheiterte Transaktionen verfolgen
• Schließen Sie Abstimmungstransaktionen (vote: false) aus, da sie nicht für das Indexieren relevant sind

{
  transactions: {
    "transfers": {
      vote: false,
      failed: false,
      accountsInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    }
  },
  commitment: CommitmentLevel.CONFIRMED,
  accounts: {},
  slots: {},
  transactionsStatus: {},
  blocks: {},
  blocksMeta: {},
  entry: {},
  accountsDataSlice: []
}

​

Methode 2: Verwenden von LaserStream WebSocket

• Ihre Anwendung gelegentliche Datenlücken tolerieren kann
• Echtzeit-Updates wichtig, aber nicht geschäftskritisch sind
• Sie bereits vorhandene Infrastruktur haben, um fehlende Daten zu erkennen und aufzufüllen
• Budgetbeschränkungen erheblich sind und Sie die Streaming-Kosten minimieren müssen
• Sie Prototyping oder Tests durchführen, bevor Sie sich für LaserStream entscheiden

• Geschwindigkeit: LaserStream WebSocket läuft auf dem gleichen Backend wie LaserStream gRPC, aber das WebSocket-Protokoll fügt JSON-Framing und Overhead pro Nachricht hinzu — für die niedrigstmögliche Latenz bei den gleichen Daten verwenden Sie LaserStream gRPC
• Zuverlässigkeit: Keine Garantie für die wiederholte Wiedergabe. Wenn Ihre WebSocket-Verbindung getrennt wird, müssen Sie manuell Lücken mit Hilfe von RPC-Methoden erkennen und auffüllen
• Komplexität: Erfordert zusätzliche Überwachungsinfrastruktur, um die Vollständigkeit der Daten sicherzustellen

​

Wie man WebSockets für die Indexierung verwendet

{
  jsonrpc: '2.0',
  id: 1,
  method: 'transactionSubscribe',
  params: [
    {
      failed: false,
      accountInclude: [
        '​​TokenkegQfeZyiNwAJbNbGKPFXCWuBvf9Ss623VQ5DA',
        'TokenzQdBNbLqP5VEhdkAS6EPFLC1PHnBqCXEpPxuEb'
      ]
    },
    {
      commitment: 'confirmed',
      encoding: 'jsonParsed',
      transactionDetails: 'full',
      maxSupportedTransactionVersion: 1
    }
  ]
}

​

Erste Schritte

1. Effizientes Abrufen historischer Daten
2. Transformieren und Speichern von Daten für schnelle Abrufe
3. Halten Sie indexierte Solana-Daten in Echtzeit auf dem neuesten Stand

​

Ergänzende Optionen

• DAS API — Abfrage von NFTs, Fungible Tokens und komprimierten Assets (Metadaten, Eigentum, Salden, nach Eigentümer/Sammlung/Ersteller), ohne Asset-Daten selbst indexieren zu müssen.
• Wallet API — High-Level-REST-Endpunkte für Wallet-Salden, Verlauf, Übertragungen und Identität, mit USD-Werten und einer einfacheren Antwortform.

​

Nächste Schritte

• Melden Sie sich für ein kostenloses Helius-Konto an, um API-Zugriff zu erhalten
• Lesen Sie den getTransactionsForAddress-Leitfaden zum Auffüllen
• Erkunden Sie die LaserStream-Übersicht für Echtzeit-Streaming
• Überprüfen Sie die Übersicht über historische Daten für alle Archivierungsmethoden