Dans le nouveau modèle d'indexation des données de Sui, la technologie de streaming Sui gRPC devient le canal principal pour recevoir les points de contrôle finalisés en temps réel, avec une latence minimisée.
Architecture hybride entre streaming et sondage sur Sui
La blockchain Allez a introduit le streaming gRPC comme source principale pour l'infrastructure d'indexation, permettant l'ingestion de points de contrôle en temps réel avec une très faible latence. De plus, la plateforme combine ce flux continu avec des mécanismes d'interrogation traditionnels pour maintenir la précision et la résilience du système.
Cette approche hybride permet aux développeurs d'accéder aux points de contrôle finalisés dès qu'ils deviennent disponibles, tout en conservant la compatibilité avec les indexeurs personnalisés existants. De cette façon, les équipes peuvent faire évoluer l'architecture sans compromettre les implémentations déjà en production.
Streaming gRPC et plus de retards d'interrogation
La nouvelle fonctionnalité de streaming gRPC change fondamentalement la façon dont les indexeurs reçoivent les données de la blockchain Sui. Les nœuds complets envoient désormais directement les points de contrôle aux indexeurs dès qu'ils sont finalisés, éliminant ainsi le besoin de requêtes périodiques.
Dans le passé, les cycles d'interrogation répétés introduisaient des délais entre la création du point de contrôle et son traitement en aval. Avec le nouveau modèle, le système fournit des points de contrôle en temps réel, « dès qu'ils sont finalisés », avec « des données plus rapides, des pipelines plus résilients et moins de travaux d'infrastructure sur Sui ».
Le mécanisme de streaming est configuré via un paramètre simple, dans lequel les développeurs ajoutent un argument streaming-url qui pointe vers le point final d'un nœud complet. Cela dit, le système reçoit les points de contrôle sous forme d'événements, plutôt que de les récupérer à intervalles fixes.
Ce modèle basé sur les événements est particulièrement utile pour les applications sensibles à la latence, telles que les systèmes de surveillance et les plateformes d'analyse en temps réel. De plus, cela permet de réduire la charge d’infrastructure liée à la gestion des demandes d’interrogation fréquentes.
Modèle hybride avec repli des sondages et résilience
Sui combine des sources d'interrogation obligatoires avec le streaming comme mécanisme de secours, pour surmonter les limites intrinsèques des connexions en temps réel uniquement. En fait, les connexions streaming ne fournissent des données qu’à partir du moment où elles sont établies.
Le Indexeur à usage général est l’exemple concret de ce modèle hybride dans les environnements de production : il utilise le streaming comme principal chemin d’ingestion, tout en conservant les sources de polling comme mécanisme de sécurité.
Cette configuration permet de maintenir les données indexées toujours à jour et, en même temps, garantit des redémarrages propres et une récupération transparente en cas de panne. Cependant, le sondage reste actif principalement pour accéder aux données historiques et pour couvrir d'éventuelles déconnexions.
Dans l'ensemble, le modèle réduit le risque de perte de données ou de longs retards dans l'état du réseau, un problème typique pour les systèmes qui s'appuient sur un seul mode d'ingestion.
Cadre d’indexation découplé des sources
Le Cadre d'indexation personnalisé Sui sépare complètement le traitement des points de contrôle de l'ingestion de données. Les indexeurs consomment et transforment les points de contrôle sans dépendre d'une source spécifique, qu'il s'agisse d'un streaming ou d'un sondage.
Cette abstraction permet aux équipes de modifier les stratégies d'ingestion à mesure que les exigences changent, sans avoir à réécrire la logique de traitement. De plus, selon la documentation, avec gRPC, il n'est plus nécessaire d'interroger, d'estimer le timing ou d'introduire des délais artificiels liés aux intervalles de récupération.
Les développeurs peuvent l'adopter streaming progressivement en fonction des caractéristiques de la charge de travail. Les applications qui donnent la priorité à la fraîcheur des données bénéficient d'une adoption immédiate, tandis que les systèmes qui gèrent le traitement hors ligne peuvent continuer à utiliser exclusivement l'interrogation.
Le framework prend en charge les deux modes au sein du même modèle de traitement. De plus, les indexeurs personnalisés existants construits sur le framework officiel nécessitent peu de travail pour intégrer la nouvelle fonctionnalité de streaming.
Intégration opérationnelle du streaming Sui gRPC dans les indexeurs
L'ajout de la fonctionnalité gRPC se fait en incluant un paramètre streaming-url à côté de la configuration existante de l'url du magasin distant. De cette manière, l'indexeur conserve la source distante préexistante et ajoute le nouveau canal d'événements en temps réel.
La logique de traitement des points de contrôle reste inchangée tout au long de la transition. Le framework gère automatiquement la commutation entre les sources pendant le fonctionnement, évitant ainsi les problèmes système typiques qui risquent de perdre des données ou de prendre du retard sur l'état du réseau.
Pour l’avenir, cette architecture offre aux développeurs une base plus solide sur laquelle s’appuyer. indexeur faible latence, adapté à la fois aux applications DeFi et aux applications analytiques avancées. De plus, la combinaison du streaming et de l’interrogation garantit un équilibre entre vitesse opérationnelle et fiabilité à long terme.
Dans l’ensemble, l’introduction de gRPC comme principal canal d’ingestion renforce l’écosystème de Allezoffrant des outils plus modernes pour gérer les points de contrôle finalisés et les données historiques de manière cohérente et résiliente.
Voir l’article original en italien
