Dieser Artikel untersucht die Entwicklung der Zugänglichkeit von Blockchain-Daten und vergleicht die Merkmale von drei Datendienstprotokollen - The Graph, Chainbase und Space and Time - in Bezug auf Architektur und KI-Technologieanwendungen. Es wird darauf hingewiesen, dass sich Blockchain-Datendienste zunehmend zu mehr Intelligenz und Sicherheit entwickeln und auch in Zukunft eine wichtige Rolle als grundlegende Infrastruktur in der Branche spielen werden.
Angesichts der ersten Welle von dApps im Jahr 2017, darunter Etheroll, ETHLend und CryptoKitties, sehen wir heute eine blühende Vielfalt an Finanz-, Gaming- und Social-dApps, die auf verschiedenen Blockchains basieren. Wenn wir über dezentrale On-Chain-Anwendungen sprechen, haben wir jemals über die Quellen der verschiedenen Daten nachgedacht, die diese dApps bei ihren Interaktionen nutzen?
Im Jahr 2024 liegt der Fokus auf KI und Web3. In der Welt der künstlichen Intelligenz ist Daten wie das Lebenselixier für ihr Wachstum und ihre Evolution. Genau wie Pflanzen auf Sonnenlicht und Wasser angewiesen sind, um gedeihen zu können, sind KI-Systeme auf riesige Mengen an Daten angewiesen, um kontinuierlich zu "lernen" und zu "denken". Ohne Daten sind selbst die anspruchsvollsten KI-Algorithmen nur Luftschlösser, die ihre beabsichtigte Intelligenz und Wirksamkeit nicht entfalten können.
Dieser Artikel analysiert die Entwicklung der Blockchain-Datenindizierung aus der Perspektive der Datenzugänglichkeit und vergleicht das etablierte Datenindizierungsprotokoll The Graph mit den aufkommenden Blockchain-Datendienstprotokollen Chainbase und Space and Time. Er untersucht insbesondere die Ähnlichkeiten und Unterschiede in den Datendiensten und der Produktarchitektur zwischen diesen beiden neuen Protokollen, die KI-Technologie integrieren.
2.1 Datenquellen: Blockchain-Knoten
Vom Moment an, in dem wir anfangen zu verstehen, "was Blockchain ist," stoßen wir oft auf den Satz: Blockchain ist ein dezentrales Hauptbuch. Blockchain-Knoten bilden das Fundament des gesamten Blockchain-Netzwerks und sind dafür verantwortlich, alle On-Chain-Transaktionsdaten aufzuzeichnen, zu speichern und zu verbreiten. Jeder Knoten besitzt eine vollständige Kopie der Blockchain-Daten und gewährleistet so die Dezentralisierung des Netzwerks. Für gewöhnliche Benutzer ist es jedoch keine leichte Aufgabe, einen Blockchain-Knoten zu erstellen und zu pflegen. Dies erfordert nicht nur spezialisierte technische Fähigkeiten, sondern verursacht auch hohe Hardware- und Bandbreitenkosten. Darüber hinaus sind die Abfragefähigkeiten gewöhnlicher Knoten begrenzt, was es schwierig macht, Daten im vom Entwickler benötigten Format abzurufen. Daher verlassen sich Benutzer in der Praxis, obwohl theoretisch jeder seinen eigenen Knoten betreiben kann, oft auf Dienste von Drittanbietern.
Um dieses Problem zu lösen, sind RPC-Knotenanbieter (Remote Procedure Call) entstanden. Diese Anbieter kümmern sich um die Kosten und die Verwaltung von Knoten und bieten Daten über RPC-Endpunkte an, sodass Benutzer auf Blockchain-Daten zugreifen können, ohne ihre eigenen Knoten zu erstellen. Öffentliche RPC-Endpunkte sind kostenlos, haben aber Ratenbegrenzungen, die sich negativ auf die Benutzererfahrung von dApps auswirken können. Private RPC-Endpunkte bieten eine bessere Leistung, indem sie die Überlastung reduzieren, aber selbst ein einfacher Datenabruf erfordert eine umfangreiche Hin- und Herkommunikation. Dies macht sie anforderungslastig und ineffizient für komplexe Datenabfragen. Darüber hinaus stehen private RPC-Endpunkte häufig vor Skalierbarkeitsproblemen und sind nicht mit verschiedenen Netzwerken kompatibel. Die standardisierten API-Schnittstellen, die von den Node-Anbietern bereitgestellt werden, senken jedoch die Hürden für den Zugriff auf On-Chain-Daten für Benutzer und legen den Grundstein für die anschließende Datenanalyse und Anwendungen.
2.2 Datenparsen: Von Rohdaten zu verwendbaren Daten
Die von Blockchain-Knoten erhaltenen Daten sind oft rohe Daten, die verschlüsselt und codiert wurden. Obwohl diese Daten die Integrität und Sicherheit der Blockchain beibehalten, erhöht ihre Komplexität die Schwierigkeit der Datenanalyse. Für gewöhnliche Benutzer oder Entwickler erfordert die direkte Verarbeitung dieser Rohdaten erhebliche technische Kenntnisse und Rechenressourcen.
In diesem Zusammenhang wird der Datenparsungsprozess besonders wichtig. Durch das Parsen von komplexen Rohdaten und deren Umwandlung in verständlichere und handhabbare Formate können Benutzer diese Daten intuitiv verstehen und nutzen. Der Erfolg des Datenparsungs beeinflusst direkt die Effizienz und Wirksamkeit von Blockchain-Datenanwendungen und macht ihn zu einem kritischen Schritt im gesamten Datenindexierungsprozess.
2.3 Entwicklung von Datenindexern
Mit zunehmendem Volumen der Blockchain-Daten ist auch die Nachfrage nach Datenindexierern gestiegen. Indexierer spielen eine wichtige Rolle bei der Organisation von On-Chain-Daten und deren Übermittlung an Datenbanken zur einfachen Abfrage. Das Arbeitsprinzip eines Indexierers besteht darin, Blockchain-Daten zu indizieren und über eine SQL-ähnliche Abfragesprache (wie GraphQL APIs) sofort verfügbar zu machen. Durch Bereitstellung einer einheitlichen Schnittstelle für die Abfrage von Daten ermöglichen Indexierer Entwicklern, die benötigten Informationen schnell und präzise mithilfe standardisierter Abfragesprachen abzurufen und vereinfachen somit den Prozess erheblich.
Verschiedene Arten von Indexern optimieren die Datenabfrage auf verschiedene Weise:
· Vollständige Knoten-Indexer: Diese Indexer führen volle Blockchain-Knoten aus und extrahieren Daten direkt aus ihnen, um Daten-Vollständigkeit und -Genauigkeit zu gewährleisten, erfordern jedoch erhebliche Speicher- und Verarbeitungsleistung.
· Leichte Indexer: Diese Indexer verlassen sich auf Vollknoten, um bei Bedarf bestimmte Daten abzurufen, wodurch der Speicherbedarf verringert, aber möglicherweise die Abfragezeit erhöht wird.
· Spezialisierte Indexer: Diese Indexer konzentrieren sich auf bestimmte Arten von Daten oder bestimmte Blockchains und optimieren die Abfrage für bestimmte Anwendungsfälle, wie z.B. NFT-Daten oder DeFi-Transaktionen.
· AggreGated Indexers: Diese Indexer extrahieren Daten aus mehreren Blockchains und Quellen, einschließlich Off-Chain-Informationen, und bieten eine einheitliche Abfrage-Schnittstelle, die besonders nützlich für Multi-Chain-dApps ist.
Derzeit belegt ein Ethereum-Archivknoten im Geth-Client im Archivmodus etwa 13,5 TB Speicherplatz, während unter dem Erigon-Client der Archivanforderung ca. 3 TB entspricht. Da die Blockchain weiter wächst, werden auch die Datenspeicheranforderungen für Archivknoten zunehmen. Angesichts solch großer Datenmengen unterstützen Mainstream-Indexierungsprotokolle nicht nur die Indexierung mehrerer Ketten, sondern passen auch Datenparserrahmenwerke an verschiedene Anwendungsdatenbedürfnisse an. Das "Subgraph"-Framework von The Graph ist ein typisches Beispiel.
Das Auftauchen von Indexierungen verbessert signifikant die Effizienz der Datenindexierung und Abfrage. Im Vergleich zu herkömmlichen RPC-Endpunkten können Indexierungen große Datenmengen effizient indizieren und Hochgeschwindigkeitsabfragen unterstützen. Diese Indexierungen ermöglichen es Benutzern, komplexe Abfragen durchzuführen, Daten leicht zu filtern und sie nach der Extraktion zu analysieren. Darüber hinaus unterstützen einige Indexierungen die Aggregation von Datenquellen aus mehreren Blockchains, was die Notwendigkeit der Bereitstellung mehrerer APIs in Multi-Chain-dApps vermeidet. Durch die verteilte Ausführung über mehrere Knoten hinweg bieten Indexierungen eine höhere Sicherheit und Leistung und reduzieren gleichzeitig die Risiken von Unterbrechungen und Ausfallzeiten, die mit zentralisierten RPC-Anbietern verbunden sind.
Im Gegensatz dazu ermöglichen Indexer Benutzern, die benötigten Informationen direkt mithilfe vordefinierter Abfragesprachen zu erhalten, ohne sich mit den zugrunde liegenden komplexen Daten befassen zu müssen. Dieser Mechanismus verbessert die Effizienz und Zuverlässigkeit der Datenabfrage erheblich und stellt eine wichtige Innovation im Zugriff auf Blockchain-Daten dar.
2.4 Vollständige Ketten-Datenbanken: Ausrichtung auf Streaming First
Die Verwendung von indexierten Knoten zum Abfragen von Daten bedeutet in der Regel, dass APIs zum alleinigen Gateway für die Verdauung von On-Chain-Daten werden. Wenn jedoch ein Projekt in die Skalierungsphase eintritt, erfordert es oft flexiblere Datenquellen, die standardisierte APIs nicht bereitstellen können. Wenn die Anforderungen der Anwendungen komplexer werden, haben primäre Datenindexer mit ihren standardisierten Indexierungsformaten zunehmend Schwierigkeiten, den immer vielfältigeren Abfragebedürfnissen gerecht zu werden, wie z.B. Suche, Cross-Chain-Zugriff oder Off-Chain-Datenmapping.
In der modernen Architektur von Datenpipelines hat sich ein "Stream-First"-Ansatz als Lösung für die Einschränkungen der herkömmlichen Batch-Verarbeitung entwickelt, der eine Echtzeit-Datenübernahme, -verarbeitung und -analyse ermöglicht. Dieser Paradigmenwechsel ermöglicht es Organisationen, unmittelbar auf eintreffende Daten zu reagieren, Erkenntnisse zu gewinnen und nahezu sofort Entscheidungen zu treffen. Ebenso entwickelt sich die Entwicklung von Blockchain-Datendienstleistern hin zur Konstruktion von Blockchain-Datenströmen. Traditionelle Indexierungsdienstleister haben nacheinander Produkte auf den Markt gebracht, die Echtzeit-Blockchain-Daten über Datenströme beziehen, wie z.B. The Graph's Substreams und Goldsky's Mirror, sowie Echtzeit-Datenseen wie Chainbase und SubSquid, die Datenströme auf der Grundlage von Blockchains erzeugen.
Diese Dienste zielen darauf ab, die Nachfrage nach Echtzeit-Parsing von Blockchain-Transaktionen zu befriedigen und umfassendere Abfragefunktionen bereitzustellen. So wie die "Stream-First"-Architektur die Datenverarbeitung und -nutzung in traditionellen Datenpipelines revolutioniert, indem sie die Latenz reduziert und die Reaktionsfähigkeit verbessert, versuchen diese Blockchain-Datenstromanbieter auch, die Entwicklung weiterer Anwendungen zu unterstützen und die On-Chain-Datenanalyse durch fortschrittlichere und ausgereiftere Datenquellen zu unterstützen.
Durch die Neugestaltung der Herausforderungen von On-Chain-Daten aus der Perspektive moderner Datenpipelines können wir das Management, die Speicherung und Bereitstellung von On-Chain-Daten aus einem neuen Blickwinkel betrachten und ihr volles Potenzial realisieren. Wenn wir anfangen, Subgraphen und Ethereum ETL-Indexdienste als Datenströme innerhalb der Datenpipeline anstelle von endgültigen Ausgaben zu betrachten, können wir uns eine mögliche Welt vorstellen, in der Hochleistungsdatensätze für jeden Geschäftsfall maßgeschneidert sind.
3.1 Der Graph
Das Graph-Netzwerk ermöglicht Multi-Chain-Datenindizierungs- und Abfragedienste über ein dezentrales Netzwerk von Knoten, die es Entwicklern ermöglichen, Blockchain-Daten bequem zu indizieren und dezentrale Anwendungen zu erstellen. Zu den primären Produktmodellen gehören der Markt für die Ausführung von Datenabfragen und der Markt für Datenindizierungscaches, die beide die Produktabfrageanforderungen der Benutzer erfüllen. Der Markt für die Ausführung von Datenabfragen bezieht sich speziell auf Verbraucher, die geeignete Indexknoten für die von ihnen benötigten Daten bezahlen, während der Markt für Datenindizierungscaches Indexknoten umfasst, die Ressourcen auf der Grundlage von Faktoren wie der historischen Indizierungspopularität von Subgraphen, den erhobenen Abfragegebühren und der Nachfrage von On-Chain-Kuratoren nach Subgraph-Ausgaben zuweisen.
Subgraphen sind die grundlegenden Datenstrukturen innerhalb des The Graph-Netzwerks. Sie definieren, wie Daten aus der Blockchain extrahiert und transformiert werden, um sie in einem abfragbaren Format (z. B. GraphQL-Schema) darzustellen. Jeder kann einen Subgraphen erstellen, und mehrere Anwendungen können diese Subgraphen wiederverwenden und so die Daten-Wiederverwendbarkeit und operative Effizienz verbessern.
Das Graph-Netzwerk besteht aus vier Schlüsselrollen: Indexer, Delegator, Kurator und Entwickler, die alle zusammenarbeiten, um Datensupport für Web3-Anwendungen bereitzustellen. Ihre jeweiligen Verantwortlichkeiten sind wie folgt:
· Indexers: Indexers sind Knotenbetreiber innerhalb des The Graph-Netzwerks, die sich durch den Einsatz von GRT (der nativen Token von The Graph) beteiligen. Sie bieten Indexierungsdienste und Abfrageverarbeitungsdienste an.
· Delegatoren: Delegatoren sind Benutzer, die GRT-Token einsetzen, um den Betrieb von Indexknoten zu unterstützen. Sie verdienen einen Teil der Belohnungen basierend auf den Indexknoten, an die sie delegieren.
· Kuratoren: Kuratoren sind dafür verantwortlich, zu signalisieren, welche Subgraphen vom Netzwerk indexiert werden sollen. Sie helfen sicherzustellen, dass wertvolle Subgraphen für die Verarbeitung priorisiert werden.
· Entwickler: Im Gegensatz zu den drei vorherigen Rollen sind Entwickler die Nachfrageseite und die Hauptnutzer von The Graph. Sie erstellen und übermitteln Untergraphen an das The Graph-Netzwerk und warten darauf, dass das Netzwerk ihre Datenbedürfnisse erfüllt.
3.1 Das Diagramm
Der Graph hat nun vollständig auf einen dezentralisierten Subgraph-Hosting-Service umgestellt, bei dem wirtschaftliche Anreize zwischen verschiedenen Teilnehmern fließen, um den Betrieb des Systems zu gewährleisten:
· Indexer Rewards: Indexers verdienen Einkommen durch Verbraucherabfragegebühren und einen Teil der GRT-Token-Blockbelohnungen.
· Delegator Rewards: Delegatoren erhalten einen Anteil an Belohnungen von den Indexern, die sie unterstützen.
· Kurator Belohnungen: Wenn Kuratoren wertvolle Subgraphen anzeigen, können sie einen Teil der Abfragegebühren verdienen.
Tatsächlich entwickeln sich die Produkte von The Graph schnell in der KI-Welle. Als eines der Kernentwicklungsteams im The Graph-Ökosystem hat sich Semiotic Labs darauf konzentriert, KI-Technologie zu nutzen, um die Preissetzung und die Benutzerabfrageerfahrung zu optimieren. Derzeit verbessern die von Semiotic Labs entwickelten Tools wie AutoAgora, Allocation Optimizer und AgentC verschiedene Aspekte der Leistung des Ökosystems.
· AutoAgora führt einen dynamischen Preismechanismus ein, der Preise in Echtzeit basierend auf der Abfragehäufigkeit und Ressourcennutzung anpasst, um Preistrategien zu optimieren, um die Wettbewerbsfähigkeit des Indexers zu gewährleisten und den Umsatz zu maximieren.
· Der Allocation Optimizer befasst sich mit den komplexen Problemen der Ressourcenzuweisung von Teilgraphen und hilft Indexern, eine optimale Ressourcenkonfiguration zu erreichen, um Einnahmen und Leistung zu verbessern.
· AgentC ist ein experimentelles Werkzeug, mit dem Benutzer über natürliche Sprache auf die Blockchain-Daten von The Graph zugreifen können und dadurch die Benutzererfahrung verbessert wird.
Die Anwendung dieser Tools hat es The Graph ermöglicht, die Systemintelligenz und Benutzerfreundlichkeit mit KI-Unterstützung weiter zu verbessern.
3.2 Chainbase
Chainbase ist ein umfassendes Datennetzwerk, das alle Blockchain-Daten auf einer einzigen Plattform integriert und es Entwicklern erleichtert, Anwendungen zu erstellen und zu pflegen. Zu seinen einzigartigen Funktionen gehören:
Echtzeit-Daten-Lake: Chainbase bietet einen Echtzeit-Daten-Lake speziell für Blockchain-Datenströme, der den sofortigen Zugriff auf Daten ermöglicht, sobald sie generiert werden.
· Dual-Chain-Architektur: Chainbase basiert auf Eigenlayer AVS und schafft eine Ausführungsebene, die parallel zum Konsensalgorithmus von CometBFT läuft. Dieses Design verbessert die Cross-Chain-Datenprogrammierbarkeit und Komponierbarkeit, unterstützt hohe Durchsatzraten, geringe Latenz und Finalität und verbessert die Netzwerksicherheit durch ein Dual-Staking-Modell.
· Innovative Datenformatstandard: Chainbase führt einen neuen Datenformatstandard namens "Manuskripte" ein, der die Strukturierung und Nutzung von Daten in der Kryptoindustrie optimiert.
· Cryptoworld Modell: Mit seinen umfangreichen Blockchain-Datenressourcen kombiniert Chainbase KI-Modelltechnologie, um KI-Modelle zu erstellen, die Blockchain-Transaktionen effektiv verstehen, vorhersagen und interagieren. Das Grundmodell, Theia, ist jetzt öffentlich zugänglich.
Diese Funktionen setzen Chainbase bei der Indizierung von Blockchains ab, wobei der Fokus auf der Echtzeit-Datenzugänglichkeit, innovativen Datenformaten und der Schaffung intelligenterer Modelle durch die Integration von On-Chain- und Off-Chain-Daten zur Verbesserung von Erkenntnissen liegt.
Das KI-Modell von Chainbase, Theia, ist ein wichtiges Highlight, das es von anderen Datendienstprotokollen unterscheidet. Basierend auf dem DORA-Modell von NVIDIA lernt und analysiert Theia Kryptomuster, indem es On-Chain- und Off-Chain-Daten sowie raumzeitliche Aktivitäten integriert. Durch kausale Argumentation reagiert es darauf, die Erforschung des potenziellen Wertes und der Muster von On-Chain-Daten zu vertiefen und den Nutzern intelligentere Datendienste zur Verfügung zu stellen.
Künstliche Intelligenz-gesteuerte Datendienste haben Chainbase von einer reinen Blockchain-Datendienstplattform zu einem wettbewerbsfähigeren intelligenten Datendienstleister transformiert. Mit umfangreichen Datenressourcen und proaktiver KI-Analyse kann Chainbase umfassendere Daten-Einblicke bieten und die Datenverarbeitungs-Workflows der Benutzer optimieren.
3.3 Raum und Zeit
Space and Time (SxT) zielt darauf ab, eine überprüfbare Berechnungsschicht zu schaffen, die Nullwissensnachweise in einem dezentralen Datenlager erweitert und vertrauenswürdige Datenverarbeitung für Smart Contracts, große Sprachmodelle und Unternehmen bereitstellt. Space and Time hat kürzlich in seiner neuesten Serie-A-Finanzierungsrunde 20 Millionen US-Dollar gesichert, angeführt von Framework Ventures, Lightspeed Faction, Arrington Capital und Hivemind Capital.
Im Bereich der Datenindizierung und -verifizierung führt Space and Time einen neuen technischen Ansatz ein – Proof of SQL. Dabei handelt es sich um eine innovative Zero-Knowledge-Proof-Technologie (ZKP), die von Space and Time entwickelt wurde und sicherstellt, dass SQL-Abfragen, die im dezentralen Data Warehouse ausgeführt werden, manipulationssicher und überprüfbar sind. Wenn eine Abfrage ausgeführt wird, generiert Proof of SQL einen kryptografischen Beweis, der die Integrität und Genauigkeit der Abfrageergebnisse überprüft. Dieser Nachweis wird an die Abfrageergebnisse angehängt, so dass jeder Prüfer (z. B. Smart Contracts) unabhängig bestätigen kann, dass die Daten während der Verarbeitung nicht manipuliert wurden. Herkömmliche Blockchain-Netzwerke stützen sich in der Regel auf Konsensmechanismen, um die Authentizität von Daten zu überprüfen, während Space and Time's Proof of SQL eine effizientere Datenüberprüfungsmethode implementiert. Im System von Raum und Zeit ist ein Knoten für die Datenerfassung verantwortlich, während andere Knoten die ZK-Technologie verwenden, um die Authentizität dieser Daten zu überprüfen. Dieser Ansatz reduziert den Ressourcenverbrauch von mehreren Knoten, die dieselben Daten redundant indizieren, um einen Konsens zu erreichen, wodurch die Gesamtleistung des Systems verbessert wird. Mit zunehmender Reife dieser Technologie dient sie als Eckpfeiler für traditionelle Branchen, die sich auf Datenzuverlässigkeit konzentrieren, um Produkte auf der Grundlage von Blockchain-Daten zu entwickeln.
Gleichzeitig arbeitet SxT eng mit dem AI Joint Innovation Lab von Microsoft zusammen, um die Entwicklung von generativen AI-Tools zu beschleunigen, mit denen Benutzer Blockchain-Daten einfach durch natürliche Sprache verarbeiten können. Derzeit können Benutzer im Space and Time Studio natürliche Sprachabfragen eingeben, und die KI wandelt sie automatisch in SQL um und führt die Abfrage im Namen des Benutzers aus, um die benötigten Endergebnisse zu präsentieren.
3.4 Vergleich von Unterschieden
Zusammenfassend hat sich die Blockchain-Datenindexierungstechnologie von anfänglichen Knotendatenquellen über die Entwicklung von Datenparsen und Indexern bis hin zu einem KI-fähigen Full-Chain-Datendienst entwickelt und markiert einen schrittweisen Verbesserungsprozess. Diese kontinuierliche Weiterentwicklung der Technologie verbessert nicht nur die Effizienz und Genauigkeit des Datenzugriffs, sondern bietet den Benutzern auch eine bisher unerreichte intelligente Erfahrung.
Mit Blick auf die Zukunft werden Blockchain-Datendienste mit der laufenden Entwicklung neuer Technologien wie KI und Zero-Knowledge-Proofs noch intelligenter und sicherer werden. Wir haben Grund zu der Annahme, dass Blockchain-Datendienste weiterhin eine wichtige Rolle als Infrastruktur spielen und den Fortschritt und die Innovation in der Branche stark unterstützen werden.
Dieser Artikel stammt von [Trustless Labs], das Urheberrecht liegt beim Originalautor [Trustless Labs], wenn Sie Einwände gegen den Nachdruck haben, wenden Sie sich bitte an die Gate LearnTeam und das Team werden es so bald wie möglich gemäß den entsprechenden Verfahren bearbeiten.
Haftungsausschluss: Die in diesem Artikel zum Ausdruck gebrachten Ansichten und Meinungen stellen nur die persönlichen Ansichten des Autors dar und stellen keine Anlageberatung dar.
Andere Sprachversionen des Artikels werden vom Gate Learn-Team übersetzt und sind nicht erwähnt in Gate.iodarf der übersetzte Artikel nicht vervielfältigt, verbreitet oder plagiiert werden.
Dieser Artikel untersucht die Entwicklung der Zugänglichkeit von Blockchain-Daten und vergleicht die Merkmale von drei Datendienstprotokollen - The Graph, Chainbase und Space and Time - in Bezug auf Architektur und KI-Technologieanwendungen. Es wird darauf hingewiesen, dass sich Blockchain-Datendienste zunehmend zu mehr Intelligenz und Sicherheit entwickeln und auch in Zukunft eine wichtige Rolle als grundlegende Infrastruktur in der Branche spielen werden.
Angesichts der ersten Welle von dApps im Jahr 2017, darunter Etheroll, ETHLend und CryptoKitties, sehen wir heute eine blühende Vielfalt an Finanz-, Gaming- und Social-dApps, die auf verschiedenen Blockchains basieren. Wenn wir über dezentrale On-Chain-Anwendungen sprechen, haben wir jemals über die Quellen der verschiedenen Daten nachgedacht, die diese dApps bei ihren Interaktionen nutzen?
Im Jahr 2024 liegt der Fokus auf KI und Web3. In der Welt der künstlichen Intelligenz ist Daten wie das Lebenselixier für ihr Wachstum und ihre Evolution. Genau wie Pflanzen auf Sonnenlicht und Wasser angewiesen sind, um gedeihen zu können, sind KI-Systeme auf riesige Mengen an Daten angewiesen, um kontinuierlich zu "lernen" und zu "denken". Ohne Daten sind selbst die anspruchsvollsten KI-Algorithmen nur Luftschlösser, die ihre beabsichtigte Intelligenz und Wirksamkeit nicht entfalten können.
Dieser Artikel analysiert die Entwicklung der Blockchain-Datenindizierung aus der Perspektive der Datenzugänglichkeit und vergleicht das etablierte Datenindizierungsprotokoll The Graph mit den aufkommenden Blockchain-Datendienstprotokollen Chainbase und Space and Time. Er untersucht insbesondere die Ähnlichkeiten und Unterschiede in den Datendiensten und der Produktarchitektur zwischen diesen beiden neuen Protokollen, die KI-Technologie integrieren.
2.1 Datenquellen: Blockchain-Knoten
Vom Moment an, in dem wir anfangen zu verstehen, "was Blockchain ist," stoßen wir oft auf den Satz: Blockchain ist ein dezentrales Hauptbuch. Blockchain-Knoten bilden das Fundament des gesamten Blockchain-Netzwerks und sind dafür verantwortlich, alle On-Chain-Transaktionsdaten aufzuzeichnen, zu speichern und zu verbreiten. Jeder Knoten besitzt eine vollständige Kopie der Blockchain-Daten und gewährleistet so die Dezentralisierung des Netzwerks. Für gewöhnliche Benutzer ist es jedoch keine leichte Aufgabe, einen Blockchain-Knoten zu erstellen und zu pflegen. Dies erfordert nicht nur spezialisierte technische Fähigkeiten, sondern verursacht auch hohe Hardware- und Bandbreitenkosten. Darüber hinaus sind die Abfragefähigkeiten gewöhnlicher Knoten begrenzt, was es schwierig macht, Daten im vom Entwickler benötigten Format abzurufen. Daher verlassen sich Benutzer in der Praxis, obwohl theoretisch jeder seinen eigenen Knoten betreiben kann, oft auf Dienste von Drittanbietern.
Um dieses Problem zu lösen, sind RPC-Knotenanbieter (Remote Procedure Call) entstanden. Diese Anbieter kümmern sich um die Kosten und die Verwaltung von Knoten und bieten Daten über RPC-Endpunkte an, sodass Benutzer auf Blockchain-Daten zugreifen können, ohne ihre eigenen Knoten zu erstellen. Öffentliche RPC-Endpunkte sind kostenlos, haben aber Ratenbegrenzungen, die sich negativ auf die Benutzererfahrung von dApps auswirken können. Private RPC-Endpunkte bieten eine bessere Leistung, indem sie die Überlastung reduzieren, aber selbst ein einfacher Datenabruf erfordert eine umfangreiche Hin- und Herkommunikation. Dies macht sie anforderungslastig und ineffizient für komplexe Datenabfragen. Darüber hinaus stehen private RPC-Endpunkte häufig vor Skalierbarkeitsproblemen und sind nicht mit verschiedenen Netzwerken kompatibel. Die standardisierten API-Schnittstellen, die von den Node-Anbietern bereitgestellt werden, senken jedoch die Hürden für den Zugriff auf On-Chain-Daten für Benutzer und legen den Grundstein für die anschließende Datenanalyse und Anwendungen.
2.2 Datenparsen: Von Rohdaten zu verwendbaren Daten
Die von Blockchain-Knoten erhaltenen Daten sind oft rohe Daten, die verschlüsselt und codiert wurden. Obwohl diese Daten die Integrität und Sicherheit der Blockchain beibehalten, erhöht ihre Komplexität die Schwierigkeit der Datenanalyse. Für gewöhnliche Benutzer oder Entwickler erfordert die direkte Verarbeitung dieser Rohdaten erhebliche technische Kenntnisse und Rechenressourcen.
In diesem Zusammenhang wird der Datenparsungsprozess besonders wichtig. Durch das Parsen von komplexen Rohdaten und deren Umwandlung in verständlichere und handhabbare Formate können Benutzer diese Daten intuitiv verstehen und nutzen. Der Erfolg des Datenparsungs beeinflusst direkt die Effizienz und Wirksamkeit von Blockchain-Datenanwendungen und macht ihn zu einem kritischen Schritt im gesamten Datenindexierungsprozess.
2.3 Entwicklung von Datenindexern
Mit zunehmendem Volumen der Blockchain-Daten ist auch die Nachfrage nach Datenindexierern gestiegen. Indexierer spielen eine wichtige Rolle bei der Organisation von On-Chain-Daten und deren Übermittlung an Datenbanken zur einfachen Abfrage. Das Arbeitsprinzip eines Indexierers besteht darin, Blockchain-Daten zu indizieren und über eine SQL-ähnliche Abfragesprache (wie GraphQL APIs) sofort verfügbar zu machen. Durch Bereitstellung einer einheitlichen Schnittstelle für die Abfrage von Daten ermöglichen Indexierer Entwicklern, die benötigten Informationen schnell und präzise mithilfe standardisierter Abfragesprachen abzurufen und vereinfachen somit den Prozess erheblich.
Verschiedene Arten von Indexern optimieren die Datenabfrage auf verschiedene Weise:
· Vollständige Knoten-Indexer: Diese Indexer führen volle Blockchain-Knoten aus und extrahieren Daten direkt aus ihnen, um Daten-Vollständigkeit und -Genauigkeit zu gewährleisten, erfordern jedoch erhebliche Speicher- und Verarbeitungsleistung.
· Leichte Indexer: Diese Indexer verlassen sich auf Vollknoten, um bei Bedarf bestimmte Daten abzurufen, wodurch der Speicherbedarf verringert, aber möglicherweise die Abfragezeit erhöht wird.
· Spezialisierte Indexer: Diese Indexer konzentrieren sich auf bestimmte Arten von Daten oder bestimmte Blockchains und optimieren die Abfrage für bestimmte Anwendungsfälle, wie z.B. NFT-Daten oder DeFi-Transaktionen.
· AggreGated Indexers: Diese Indexer extrahieren Daten aus mehreren Blockchains und Quellen, einschließlich Off-Chain-Informationen, und bieten eine einheitliche Abfrage-Schnittstelle, die besonders nützlich für Multi-Chain-dApps ist.
Derzeit belegt ein Ethereum-Archivknoten im Geth-Client im Archivmodus etwa 13,5 TB Speicherplatz, während unter dem Erigon-Client der Archivanforderung ca. 3 TB entspricht. Da die Blockchain weiter wächst, werden auch die Datenspeicheranforderungen für Archivknoten zunehmen. Angesichts solch großer Datenmengen unterstützen Mainstream-Indexierungsprotokolle nicht nur die Indexierung mehrerer Ketten, sondern passen auch Datenparserrahmenwerke an verschiedene Anwendungsdatenbedürfnisse an. Das "Subgraph"-Framework von The Graph ist ein typisches Beispiel.
Das Auftauchen von Indexierungen verbessert signifikant die Effizienz der Datenindexierung und Abfrage. Im Vergleich zu herkömmlichen RPC-Endpunkten können Indexierungen große Datenmengen effizient indizieren und Hochgeschwindigkeitsabfragen unterstützen. Diese Indexierungen ermöglichen es Benutzern, komplexe Abfragen durchzuführen, Daten leicht zu filtern und sie nach der Extraktion zu analysieren. Darüber hinaus unterstützen einige Indexierungen die Aggregation von Datenquellen aus mehreren Blockchains, was die Notwendigkeit der Bereitstellung mehrerer APIs in Multi-Chain-dApps vermeidet. Durch die verteilte Ausführung über mehrere Knoten hinweg bieten Indexierungen eine höhere Sicherheit und Leistung und reduzieren gleichzeitig die Risiken von Unterbrechungen und Ausfallzeiten, die mit zentralisierten RPC-Anbietern verbunden sind.
Im Gegensatz dazu ermöglichen Indexer Benutzern, die benötigten Informationen direkt mithilfe vordefinierter Abfragesprachen zu erhalten, ohne sich mit den zugrunde liegenden komplexen Daten befassen zu müssen. Dieser Mechanismus verbessert die Effizienz und Zuverlässigkeit der Datenabfrage erheblich und stellt eine wichtige Innovation im Zugriff auf Blockchain-Daten dar.
2.4 Vollständige Ketten-Datenbanken: Ausrichtung auf Streaming First
Die Verwendung von indexierten Knoten zum Abfragen von Daten bedeutet in der Regel, dass APIs zum alleinigen Gateway für die Verdauung von On-Chain-Daten werden. Wenn jedoch ein Projekt in die Skalierungsphase eintritt, erfordert es oft flexiblere Datenquellen, die standardisierte APIs nicht bereitstellen können. Wenn die Anforderungen der Anwendungen komplexer werden, haben primäre Datenindexer mit ihren standardisierten Indexierungsformaten zunehmend Schwierigkeiten, den immer vielfältigeren Abfragebedürfnissen gerecht zu werden, wie z.B. Suche, Cross-Chain-Zugriff oder Off-Chain-Datenmapping.
In der modernen Architektur von Datenpipelines hat sich ein "Stream-First"-Ansatz als Lösung für die Einschränkungen der herkömmlichen Batch-Verarbeitung entwickelt, der eine Echtzeit-Datenübernahme, -verarbeitung und -analyse ermöglicht. Dieser Paradigmenwechsel ermöglicht es Organisationen, unmittelbar auf eintreffende Daten zu reagieren, Erkenntnisse zu gewinnen und nahezu sofort Entscheidungen zu treffen. Ebenso entwickelt sich die Entwicklung von Blockchain-Datendienstleistern hin zur Konstruktion von Blockchain-Datenströmen. Traditionelle Indexierungsdienstleister haben nacheinander Produkte auf den Markt gebracht, die Echtzeit-Blockchain-Daten über Datenströme beziehen, wie z.B. The Graph's Substreams und Goldsky's Mirror, sowie Echtzeit-Datenseen wie Chainbase und SubSquid, die Datenströme auf der Grundlage von Blockchains erzeugen.
Diese Dienste zielen darauf ab, die Nachfrage nach Echtzeit-Parsing von Blockchain-Transaktionen zu befriedigen und umfassendere Abfragefunktionen bereitzustellen. So wie die "Stream-First"-Architektur die Datenverarbeitung und -nutzung in traditionellen Datenpipelines revolutioniert, indem sie die Latenz reduziert und die Reaktionsfähigkeit verbessert, versuchen diese Blockchain-Datenstromanbieter auch, die Entwicklung weiterer Anwendungen zu unterstützen und die On-Chain-Datenanalyse durch fortschrittlichere und ausgereiftere Datenquellen zu unterstützen.
Durch die Neugestaltung der Herausforderungen von On-Chain-Daten aus der Perspektive moderner Datenpipelines können wir das Management, die Speicherung und Bereitstellung von On-Chain-Daten aus einem neuen Blickwinkel betrachten und ihr volles Potenzial realisieren. Wenn wir anfangen, Subgraphen und Ethereum ETL-Indexdienste als Datenströme innerhalb der Datenpipeline anstelle von endgültigen Ausgaben zu betrachten, können wir uns eine mögliche Welt vorstellen, in der Hochleistungsdatensätze für jeden Geschäftsfall maßgeschneidert sind.
3.1 Der Graph
Das Graph-Netzwerk ermöglicht Multi-Chain-Datenindizierungs- und Abfragedienste über ein dezentrales Netzwerk von Knoten, die es Entwicklern ermöglichen, Blockchain-Daten bequem zu indizieren und dezentrale Anwendungen zu erstellen. Zu den primären Produktmodellen gehören der Markt für die Ausführung von Datenabfragen und der Markt für Datenindizierungscaches, die beide die Produktabfrageanforderungen der Benutzer erfüllen. Der Markt für die Ausführung von Datenabfragen bezieht sich speziell auf Verbraucher, die geeignete Indexknoten für die von ihnen benötigten Daten bezahlen, während der Markt für Datenindizierungscaches Indexknoten umfasst, die Ressourcen auf der Grundlage von Faktoren wie der historischen Indizierungspopularität von Subgraphen, den erhobenen Abfragegebühren und der Nachfrage von On-Chain-Kuratoren nach Subgraph-Ausgaben zuweisen.
Subgraphen sind die grundlegenden Datenstrukturen innerhalb des The Graph-Netzwerks. Sie definieren, wie Daten aus der Blockchain extrahiert und transformiert werden, um sie in einem abfragbaren Format (z. B. GraphQL-Schema) darzustellen. Jeder kann einen Subgraphen erstellen, und mehrere Anwendungen können diese Subgraphen wiederverwenden und so die Daten-Wiederverwendbarkeit und operative Effizienz verbessern.
Das Graph-Netzwerk besteht aus vier Schlüsselrollen: Indexer, Delegator, Kurator und Entwickler, die alle zusammenarbeiten, um Datensupport für Web3-Anwendungen bereitzustellen. Ihre jeweiligen Verantwortlichkeiten sind wie folgt:
· Indexers: Indexers sind Knotenbetreiber innerhalb des The Graph-Netzwerks, die sich durch den Einsatz von GRT (der nativen Token von The Graph) beteiligen. Sie bieten Indexierungsdienste und Abfrageverarbeitungsdienste an.
· Delegatoren: Delegatoren sind Benutzer, die GRT-Token einsetzen, um den Betrieb von Indexknoten zu unterstützen. Sie verdienen einen Teil der Belohnungen basierend auf den Indexknoten, an die sie delegieren.
· Kuratoren: Kuratoren sind dafür verantwortlich, zu signalisieren, welche Subgraphen vom Netzwerk indexiert werden sollen. Sie helfen sicherzustellen, dass wertvolle Subgraphen für die Verarbeitung priorisiert werden.
· Entwickler: Im Gegensatz zu den drei vorherigen Rollen sind Entwickler die Nachfrageseite und die Hauptnutzer von The Graph. Sie erstellen und übermitteln Untergraphen an das The Graph-Netzwerk und warten darauf, dass das Netzwerk ihre Datenbedürfnisse erfüllt.
3.1 Das Diagramm
Der Graph hat nun vollständig auf einen dezentralisierten Subgraph-Hosting-Service umgestellt, bei dem wirtschaftliche Anreize zwischen verschiedenen Teilnehmern fließen, um den Betrieb des Systems zu gewährleisten:
· Indexer Rewards: Indexers verdienen Einkommen durch Verbraucherabfragegebühren und einen Teil der GRT-Token-Blockbelohnungen.
· Delegator Rewards: Delegatoren erhalten einen Anteil an Belohnungen von den Indexern, die sie unterstützen.
· Kurator Belohnungen: Wenn Kuratoren wertvolle Subgraphen anzeigen, können sie einen Teil der Abfragegebühren verdienen.
Tatsächlich entwickeln sich die Produkte von The Graph schnell in der KI-Welle. Als eines der Kernentwicklungsteams im The Graph-Ökosystem hat sich Semiotic Labs darauf konzentriert, KI-Technologie zu nutzen, um die Preissetzung und die Benutzerabfrageerfahrung zu optimieren. Derzeit verbessern die von Semiotic Labs entwickelten Tools wie AutoAgora, Allocation Optimizer und AgentC verschiedene Aspekte der Leistung des Ökosystems.
· AutoAgora führt einen dynamischen Preismechanismus ein, der Preise in Echtzeit basierend auf der Abfragehäufigkeit und Ressourcennutzung anpasst, um Preistrategien zu optimieren, um die Wettbewerbsfähigkeit des Indexers zu gewährleisten und den Umsatz zu maximieren.
· Der Allocation Optimizer befasst sich mit den komplexen Problemen der Ressourcenzuweisung von Teilgraphen und hilft Indexern, eine optimale Ressourcenkonfiguration zu erreichen, um Einnahmen und Leistung zu verbessern.
· AgentC ist ein experimentelles Werkzeug, mit dem Benutzer über natürliche Sprache auf die Blockchain-Daten von The Graph zugreifen können und dadurch die Benutzererfahrung verbessert wird.
Die Anwendung dieser Tools hat es The Graph ermöglicht, die Systemintelligenz und Benutzerfreundlichkeit mit KI-Unterstützung weiter zu verbessern.
3.2 Chainbase
Chainbase ist ein umfassendes Datennetzwerk, das alle Blockchain-Daten auf einer einzigen Plattform integriert und es Entwicklern erleichtert, Anwendungen zu erstellen und zu pflegen. Zu seinen einzigartigen Funktionen gehören:
Echtzeit-Daten-Lake: Chainbase bietet einen Echtzeit-Daten-Lake speziell für Blockchain-Datenströme, der den sofortigen Zugriff auf Daten ermöglicht, sobald sie generiert werden.
· Dual-Chain-Architektur: Chainbase basiert auf Eigenlayer AVS und schafft eine Ausführungsebene, die parallel zum Konsensalgorithmus von CometBFT läuft. Dieses Design verbessert die Cross-Chain-Datenprogrammierbarkeit und Komponierbarkeit, unterstützt hohe Durchsatzraten, geringe Latenz und Finalität und verbessert die Netzwerksicherheit durch ein Dual-Staking-Modell.
· Innovative Datenformatstandard: Chainbase führt einen neuen Datenformatstandard namens "Manuskripte" ein, der die Strukturierung und Nutzung von Daten in der Kryptoindustrie optimiert.
· Cryptoworld Modell: Mit seinen umfangreichen Blockchain-Datenressourcen kombiniert Chainbase KI-Modelltechnologie, um KI-Modelle zu erstellen, die Blockchain-Transaktionen effektiv verstehen, vorhersagen und interagieren. Das Grundmodell, Theia, ist jetzt öffentlich zugänglich.
Diese Funktionen setzen Chainbase bei der Indizierung von Blockchains ab, wobei der Fokus auf der Echtzeit-Datenzugänglichkeit, innovativen Datenformaten und der Schaffung intelligenterer Modelle durch die Integration von On-Chain- und Off-Chain-Daten zur Verbesserung von Erkenntnissen liegt.
Das KI-Modell von Chainbase, Theia, ist ein wichtiges Highlight, das es von anderen Datendienstprotokollen unterscheidet. Basierend auf dem DORA-Modell von NVIDIA lernt und analysiert Theia Kryptomuster, indem es On-Chain- und Off-Chain-Daten sowie raumzeitliche Aktivitäten integriert. Durch kausale Argumentation reagiert es darauf, die Erforschung des potenziellen Wertes und der Muster von On-Chain-Daten zu vertiefen und den Nutzern intelligentere Datendienste zur Verfügung zu stellen.
Künstliche Intelligenz-gesteuerte Datendienste haben Chainbase von einer reinen Blockchain-Datendienstplattform zu einem wettbewerbsfähigeren intelligenten Datendienstleister transformiert. Mit umfangreichen Datenressourcen und proaktiver KI-Analyse kann Chainbase umfassendere Daten-Einblicke bieten und die Datenverarbeitungs-Workflows der Benutzer optimieren.
3.3 Raum und Zeit
Space and Time (SxT) zielt darauf ab, eine überprüfbare Berechnungsschicht zu schaffen, die Nullwissensnachweise in einem dezentralen Datenlager erweitert und vertrauenswürdige Datenverarbeitung für Smart Contracts, große Sprachmodelle und Unternehmen bereitstellt. Space and Time hat kürzlich in seiner neuesten Serie-A-Finanzierungsrunde 20 Millionen US-Dollar gesichert, angeführt von Framework Ventures, Lightspeed Faction, Arrington Capital und Hivemind Capital.
Im Bereich der Datenindizierung und -verifizierung führt Space and Time einen neuen technischen Ansatz ein – Proof of SQL. Dabei handelt es sich um eine innovative Zero-Knowledge-Proof-Technologie (ZKP), die von Space and Time entwickelt wurde und sicherstellt, dass SQL-Abfragen, die im dezentralen Data Warehouse ausgeführt werden, manipulationssicher und überprüfbar sind. Wenn eine Abfrage ausgeführt wird, generiert Proof of SQL einen kryptografischen Beweis, der die Integrität und Genauigkeit der Abfrageergebnisse überprüft. Dieser Nachweis wird an die Abfrageergebnisse angehängt, so dass jeder Prüfer (z. B. Smart Contracts) unabhängig bestätigen kann, dass die Daten während der Verarbeitung nicht manipuliert wurden. Herkömmliche Blockchain-Netzwerke stützen sich in der Regel auf Konsensmechanismen, um die Authentizität von Daten zu überprüfen, während Space and Time's Proof of SQL eine effizientere Datenüberprüfungsmethode implementiert. Im System von Raum und Zeit ist ein Knoten für die Datenerfassung verantwortlich, während andere Knoten die ZK-Technologie verwenden, um die Authentizität dieser Daten zu überprüfen. Dieser Ansatz reduziert den Ressourcenverbrauch von mehreren Knoten, die dieselben Daten redundant indizieren, um einen Konsens zu erreichen, wodurch die Gesamtleistung des Systems verbessert wird. Mit zunehmender Reife dieser Technologie dient sie als Eckpfeiler für traditionelle Branchen, die sich auf Datenzuverlässigkeit konzentrieren, um Produkte auf der Grundlage von Blockchain-Daten zu entwickeln.
Gleichzeitig arbeitet SxT eng mit dem AI Joint Innovation Lab von Microsoft zusammen, um die Entwicklung von generativen AI-Tools zu beschleunigen, mit denen Benutzer Blockchain-Daten einfach durch natürliche Sprache verarbeiten können. Derzeit können Benutzer im Space and Time Studio natürliche Sprachabfragen eingeben, und die KI wandelt sie automatisch in SQL um und führt die Abfrage im Namen des Benutzers aus, um die benötigten Endergebnisse zu präsentieren.
3.4 Vergleich von Unterschieden
Zusammenfassend hat sich die Blockchain-Datenindexierungstechnologie von anfänglichen Knotendatenquellen über die Entwicklung von Datenparsen und Indexern bis hin zu einem KI-fähigen Full-Chain-Datendienst entwickelt und markiert einen schrittweisen Verbesserungsprozess. Diese kontinuierliche Weiterentwicklung der Technologie verbessert nicht nur die Effizienz und Genauigkeit des Datenzugriffs, sondern bietet den Benutzern auch eine bisher unerreichte intelligente Erfahrung.
Mit Blick auf die Zukunft werden Blockchain-Datendienste mit der laufenden Entwicklung neuer Technologien wie KI und Zero-Knowledge-Proofs noch intelligenter und sicherer werden. Wir haben Grund zu der Annahme, dass Blockchain-Datendienste weiterhin eine wichtige Rolle als Infrastruktur spielen und den Fortschritt und die Innovation in der Branche stark unterstützen werden.
Dieser Artikel stammt von [Trustless Labs], das Urheberrecht liegt beim Originalautor [Trustless Labs], wenn Sie Einwände gegen den Nachdruck haben, wenden Sie sich bitte an die Gate LearnTeam und das Team werden es so bald wie möglich gemäß den entsprechenden Verfahren bearbeiten.
Haftungsausschluss: Die in diesem Artikel zum Ausdruck gebrachten Ansichten und Meinungen stellen nur die persönlichen Ansichten des Autors dar und stellen keine Anlageberatung dar.
Andere Sprachversionen des Artikels werden vom Gate Learn-Team übersetzt und sind nicht erwähnt in Gate.iodarf der übersetzte Artikel nicht vervielfältigt, verbreitet oder plagiiert werden.