En exploitant la puissance des algorithmes, de la puissance de calcul et des données, les progrès de la technologie de l'IA redéfinissent les limites du traitement des données et de la prise de décision intelligente. En même temps, DePIN représente un changement de paradigme, passant d'une infrastructure centralisée à des réseaux décentralisés, basés sur la blockchain.

Alors que le monde accélère son rythme vers la transformation numérique, l'IA et la DePIN (infrastructure physique décentralisée) sont devenues des technologies fondamentales qui stimulent la transformation dans tous les secteurs. La fusion de l'IA et de DePIN favorise non seulement une itération technologique rapide et une application généralisée, mais ouvre également la voie à un modèle de service plus sûr, plus transparent et plus efficace, apportant de profonds changements à l'économie mondiale.

DePIN : La décentralisation passe de la virtualité à la réalité, pilier de l'économie numérique

DePIN est l'abréviation de Decentralized Physical Infrastructure (infrastructure physique décentralisée). Au sens étroit, DePIN fait principalement référence au réseau distribué de l'infrastructure physique traditionnelle soutenu par la technologie du grand livre distribué, comme le réseau électrique, le réseau de communication, le réseau de positionnement, etc. D'une manière générale, tous les réseaux distribués soutenus par des dispositifs physiques peuvent être appelés DePIN, tels que les réseaux de stockage et les réseaux informatiques.

Source de l'image : Messari

Si les cryptomonnaies ont apporté des changements décentralisés au niveau financier, DePIN est une solution décentralisée dans l'économie réelle. On peut dire que la machine minière PoW est une sorte de DePIN. Ainsi, DePIN est un pilier essentiel de Web3 depuis le premier jour.

Les trois éléments de l'IA : algorithme, puissance de calcul et données. DePIN possède en exclusivité deux

On considère généralement que le développement de l'intelligence artificielle repose sur trois éléments clés : les algorithmes, la puissance de calcul et les données. Les algorithmes désignent les modèles mathématiques et la logique des programmes qui régissent les systèmes d'IA, la puissance de calcul désigne les ressources informatiques nécessaires à l'exécution de ces algorithmes, et les données constituent la base de l'entraînement et de l'optimisation des modèles d'IA.

Lequel des trois éléments est le plus important ? Avant l'émergence de chatGPT, les gens le considéraient généralement comme un algorithme, sinon les conférences universitaires et les articles de journaux ne seraient pas remplis de mises au point d'algorithmes les uns après les autres. Mais lorsque chatGPT et le grand modèle linguistique LLM qui soutient son intelligence ont été dévoilés, les gens ont commencé à réaliser l'importance de ces deux derniers éléments. La puissance de calcul massive est la condition préalable à la naissance des modèles. La qualité et la diversité des données sont essentielles pour construire un système d'IA robuste et efficace. En comparaison, les exigences en matière d'algorithmes ne sont plus aussi élevées qu'auparavant.

À l'ère des grands modèles, l'IA est passée du réglage fin à la force brute, avec une demande croissante de puissance de calcul et de données. Il se trouve que DePIN est en mesure de le faire. Les incitations sous forme de jetons tireront parti du marché à longue traîne, où la puissance de calcul et le stockage massifs de qualité grand public deviendront la meilleure nourriture pour les grands modèles.

La décentralisation de l'IA n'est pas une option, mais une nécessité

Bien sûr, on pourrait se demander pourquoi choisir DePIN plutôt que des services centralisés alors que la puissance de calcul et les données sont disponibles dans les centres de données d'AWS et que, de plus, AWS surpasse DePIN en termes de stabilité et d'expérience de l'utilisateur.

Cette affirmation se justifie naturellement. En effet, si l'on considère la situation actuelle, presque tous les grands modèles sont développés directement ou indirectement par de grandes entreprises de l'internet. Derrière chatGPT se trouve Microsoft, et derrière Gemini se trouve Google. En Chine, presque toutes les grandes entreprises de l'internet disposent d'un grand modèle. Comment cela se fait-il ? En effet, seules les grandes entreprises de l'internet disposent de la puissance de calcul nécessaire à l'obtention de données de haute qualité et de ressources financières importantes. Mais ce n'est pas correct. Les gens ne veulent plus être manipulés par les géants de l'internet.

D'une part, l'IA centralisée comporte des risques pour la confidentialité et la sécurité des données et peut être soumise à la censure et au contrôle. D'autre part, l'IA produite par les géants de l'internet renforcera encore la dépendance des personnes, entraînera une concentration du marché et augmentera les obstacles à l'innovation.

de : https://www.gensyn.ai/

L'humanité ne devrait plus avoir besoin d'un Martin Luther à l'ère de l'IA. Les gens devraient avoir le droit de parler directement à Dieu.

DePIN du point de vue de l'entreprise : La réduction des coûts et l'augmentation de l'efficacité sont essentielles

Même en mettant de côté le débat entre les valeurs de décentralisation et de centralisation, d'un point de vue commercial, l'utilisation de DePIN pour l'IA présente encore des avantages.

Tout d'abord, il est important de reconnaître que même si les géants de l'internet contrôlent un grand nombre de cartes graphiques haut de gamme, la combinaison de cartes graphiques grand public entre les mains de particuliers peut encore former un réseau de puissance de calcul important, connu sous le nom d'effet de longue traîne de la puissance de calcul. Ces cartes graphiques grand public ont souvent des taux d'inactivité élevés. Tant que les incitations fournies par DePIN dépassent le coût de l'électricité, les utilisateurs sont motivés pour apporter leur puissance de calcul au réseau. En outre, les utilisateurs gérant eux-mêmes l'infrastructure physique, le réseau DePIN ne supporte pas les coûts opérationnels que les fournisseurs centralisés ne peuvent éviter, et peut se concentrer uniquement sur la conception du protocole.

Pour les données, le réseau DePIN peut débloquer le potentiel d'utilisation des données et réduire les coûts de transmission grâce à l'informatique de pointe et à d'autres méthodes. En outre, la plupart des réseaux de stockage distribués sont dotés de capacités de déduplication automatique, ce qui réduit la nécessité d'un nettoyage approfondi des données lors de la formation à l'IA.

Enfin, la crypto-économie apportée par DePIN renforce la tolérance aux pannes du système et peut aboutir à une situation gagnant-gagnant pour les fournisseurs, les consommateurs et les plateformes.

Image de : UCLA

Au cas où vous ne le croiriez pas, les dernières recherches de l'UCLA montrent que l'utilisation de l'informatique décentralisée permet d'obtenir des performances 2,75 fois supérieures à celles des grappes de GPU traditionnelles, pour un coût identique. Plus précisément, il est 1,22 fois plus rapide et 4,83 fois moins cher.

Un chemin difficile à parcourir : Quels sont les défis auxquels AIxDePIN sera confronté ?

Nous avons choisi d'aller sur la lune et de faire d'autres choses au cours de cette décennie non pas parce qu'elles sont faciles, mais parce qu'elles sont difficiles. - John Fitzgerald Kennedy

L'utilisation du stockage distribué et de l'informatique distribuée de DePIN pour construire des modèles d'IA sans confiance pose encore de nombreux défis.

Vérification du travail

Essentiellement, le calcul des modèles d'apprentissage profond et l'extraction de PoW sont des formes de calcul général, avec les changements de signaux sous-jacents entre les circuits de porte. Au niveau macro, le minage de PoW est un "calcul inutile", qui tente de trouver une valeur de hachage avec un préfixe de n zéros par le biais d'innombrables calculs de génération de nombres aléatoires et de fonctions de hachage. D'autre part, le calcul de l'apprentissage profond est un "calcul utile", qui calcule les valeurs des paramètres de chaque couche de l'apprentissage profond par propagation avant et arrière, ce qui permet de construire un modèle d'IA efficace.

Le fait est que les "calculs inutiles" tels que le minage PoW utilisent des fonctions de hachage. Il est facile de calculer l'image à partir de l'image originale, mais il est difficile de calculer l'image originale à partir de l'image, de sorte que tout le monde peut facilement et rapidement vérifier la validité du calcul ; Pour le calcul du modèle d'apprentissage profond, en raison de la structure hiérarchique, la sortie de chaque couche est utilisée comme entrée de la couche suivante. Par conséquent, la vérification de la validité du calcul nécessite la réalisation de tous les travaux antérieurs et ne peut être vérifiée de manière simple et efficace.

Image de : AWS

La vérification du travail est très importante, sinon le fournisseur du calcul pourrait ne pas effectuer le calcul du tout et soumettre un résultat généré de manière aléatoire.

L'une des idées consiste à demander à différents serveurs d'effectuer les mêmes tâches informatiques et de vérifier l'efficacité du travail en répétant l'exécution et en vérifiant si elle est identique. Cependant, la grande majorité des calculs du modèle ne sont pas déterministes, et les mêmes résultats ne peuvent pas être reproduits, même dans le même environnement informatique, et ne peuvent être similaires que dans un sens statistique. En outre, le double comptage entraînera une augmentation rapide des coûts, ce qui n'est pas conforme à l'objectif principal de la DePIN, qui est de réduire les coûts et d'accroître l'efficacité.

Une autre catégorie d'idées est le mécanisme optimiste, qui suppose de manière optimiste que le résultat est calculé correctement et permet à quiconque de vérifier le résultat du calcul. Si des erreurs sont détectées, une preuve de fraude peut être soumise. Le protocole pénalise le fraudeur et récompense le dénonciateur.

Parallélisation

Comme indiqué précédemment, DePIN exploite principalement le marché de la puissance de calcul grand public à longue traîne, ce qui signifie que la puissance de calcul fournie par un seul appareil est relativement limitée. Pour les modèles d'IA de grande taille, l'apprentissage sur un seul appareil prendra beaucoup de temps, et la parallélisation doit être utilisée pour réduire le temps d'apprentissage.

La principale difficulté de la parallélisation de l'apprentissage profond réside dans la dépendance entre les tâches précédentes et suivantes, ce qui rend la parallélisation difficile à réaliser.

Actuellement, la parallélisation de l'apprentissage profond est principalement divisée en parallélisme de données et parallélisme de modèles.

Le parallélisme des données consiste à répartir les données sur plusieurs machines. Chaque machine enregistre tous les paramètres d'un modèle, utilise les données locales pour l'apprentissage et, enfin, agrège les paramètres de chaque machine. Le parallélisme des données fonctionne bien lorsque la quantité de données est importante, mais il nécessite une communication synchrone pour agréger les paramètres.

Le parallélisme des modèles signifie que lorsque la taille du modèle est trop importante pour tenir dans une seule machine, le modèle peut être réparti sur plusieurs machines, et chaque machine enregistre une partie des paramètres du modèle. Les propagations vers l'avant et vers l'arrière nécessitent une communication entre différentes machines. Le parallélisme de modèle présente des avantages lorsque le modèle est de grande taille, mais la surcharge de communication lors de la propagation avant et arrière est importante.

L'information sur le gradient entre les différentes couches peut être divisée en mise à jour synchrone et mise à jour asynchrone. La mise à jour synchrone est simple et directe, mais elle augmente le temps d'attente ; l'algorithme de mise à jour asynchrone a un temps d'attente court, mais introduit des problèmes de stabilité.

Image de : Stanford University, Parallel and Distributed Deep Learning (Apprentissage profond parallèle et distribué)

Confidentialité

La tendance mondiale à la protection de la vie privée s'accentue et les gouvernements du monde entier renforcent la protection de la sécurité des données personnelles. Bien que l'IA utilise largement des ensembles de données publiques, ce qui différencie véritablement les différents modèles d'IA, ce sont les données utilisateur exclusives de chaque entreprise.

Comment tirer parti des données exclusives pendant la formation sans porter atteinte à la vie privée ? Comment s'assurer que les paramètres du modèle d'IA construit ne sont pas divulgués ?

Il s'agit de deux aspects de la protection de la vie privée, la protection des données et la protection des modèles. La confidentialité des données protège les utilisateurs, tandis que la confidentialité du modèle protège l'organisation qui construit le modèle. Dans le scénario actuel, la confidentialité des données est beaucoup plus importante que la confidentialité des modèles.

Diverses solutions sont tentées pour résoudre le problème de la protection de la vie privée. L'apprentissage fédéré garantit la confidentialité des données en assurant la formation à la source des données, en conservant les données localement et en transmettant les paramètres du modèle.

Analyse de cas : Quels sont les projets de haute qualité sur le marché ?

Gensyn

Gensyn est un réseau informatique distribué conçu pour l'entraînement de modèles d'intelligence artificielle. Le réseau utilise une blockchain de première couche basée sur Polkadot pour vérifier la bonne exécution des tâches d'apprentissage profond et déclencher des paiements par le biais de commandes. Fondée en 2020, elle a révélé une série A de 43 millions de dollars en juin 2023, avec a16z comme chef de file de l'investissement.

Gensyn utilise les métadonnées du processus d'optimisation basé sur le gradient pour créer des certificats du travail effectué, exécuté de manière cohérente par un protocole de précision multi-granulaire basé sur un graphe et un évaluateur croisé pour permettre aux travaux de validation d'être réexécutés et comparés pour la cohérence, et finalement par la chaîne Confirmez-le vous-même pour garantir la validité du calcul. Pour renforcer encore la fiabilité de la vérification du travail, Gensyn introduit un système de jalonnement pour créer des incitations.

Il existe quatre types de participants au système : ceux qui soumettent des propositions, ceux qui les résolvent, ceux qui les vérifient et ceux qui les dénoncent.

- Les soumissionnaires sont des utilisateurs finaux du système qui fournissent des tâches à calculer et sont payés pour les unités de travail réalisées.
- Le solveur est l'acteur principal du système, il effectue l'apprentissage du modèle et génère des preuves à inspecter par le vérificateur.
- Le validateur est essentiel pour relier le processus de formation non déterministe au calcul linéaire déterministe, en reproduisant les preuves partielles du solveur et en comparant les distances aux seuils prévus.
- Le dénonciateur est la dernière ligne de défense, il vérifie le travail du vérificateur et lance des défis, et reçoit des récompenses après avoir relevé le défi.

L'auteur de la solution doit s'engager et le dénonciateur teste le travail de l'auteur de la solution. S'il découvre des actes répréhensibles, il les conteste. Une fois le défi relevé, les jetons mis en jeu par le résolveur seront condamnés à une amende et le dénonciateur sera récompensé.

Selon les prévisions de Gensyn, cette solution devrait permettre de réduire les coûts de formation à 1/5 de ceux des fournisseurs centralisés.

Source : Gensyn

FedML

FedML est une plateforme d'apprentissage machine collaborative décentralisée pour l'IA décentralisée et collaborative, n'importe où et à n'importe quelle échelle. Plus précisément, FedML fournit un écosystème MLOps qui forme, déploie, surveille et améliore en permanence les modèles d'apprentissage automatique tout en collaborant sur des données, des modèles et des ressources informatiques combinés d'une manière qui préserve la vie privée. Fondée en 2022, FedML a fait état d'une levée de fonds de 6 millions de dollars en mars 2023.

FedML se compose de deux éléments clés : FedML-API et FedML-core, qui représentent respectivement l'API de haut niveau et l'API de bas niveau.

FedML-core comprend deux modules indépendants : la communication distribuée et l'apprentissage du modèle. Le module de communication est responsable de la communication sous-jacente entre les différents travailleurs/clients et est basé sur MPI ; le module de formation des modèles est basé sur PyTorch.

FedML-API est construit sur FedML-core. Avec FedML-core, de nouveaux algorithmes distribués peuvent être facilement mis en œuvre en adoptant des interfaces de programmation orientées client.

Les derniers travaux de l'équipe FedML démontrent que l'utilisation de FedML Nexus AI pour l'inférence de modèles d'IA sur un GPU grand public RTX 4090 est 20 fois moins chère et 1,88 fois plus rapide que l'utilisation de l'A100.

de : FedML

Perspectives d'avenir : DePIN démocratise l'IA

Un jour, l'IA se transformera en AGI et la puissance de calcul deviendra la monnaie universelle de facto. DePIN veillera à ce que ce processus se déroule à l'avance.

L'intersection et la collaboration de l'IA et de DePIN ont ouvert un tout nouveau point de croissance technologique, offrant d'énormes opportunités pour le développement de l'intelligence artificielle. DePIN fournit à l'IA une puissance de calcul et des données distribuées massives, ce qui permet d'entraîner des modèles à plus grande échelle et d'obtenir une intelligence plus forte. Dans le même temps, DePIN permet à l'IA de se développer dans une direction plus ouverte, plus sûre et plus fiable, en réduisant la dépendance à l'égard d'une infrastructure centralisée unique.

À l'avenir, l'IA et DePIN continueront à se développer en synergie. Les réseaux distribués constitueront une base solide pour la formation de modèles de très grande taille, qui joueront un rôle important dans les applications DePIN. Tout en protégeant la vie privée et la sécurité, l'IA contribuera également à l'optimisation des protocoles et des algorithmes du réseau DePIN. Nous sommes impatients de voir l'IA et DePIN apporter un monde numérique plus efficace, plus juste et plus digne de confiance.

Clause de non-responsabilité：

1. Cet article est repris de []. Tous les droits d'auteur appartiennent à l'auteur original[**]. Si vous avez des objections à cette réimpression, veuillez contacter l'équipe de Gate Learn, qui s'en chargera rapidement.
2. Clause de non-responsabilité : Les
   es points de vue et les opinions exprimés dans cet article sont uniquement ceux de l'auteur et ne constituent pas un conseil en investissement.
3. Les traductions de l'article dans d'autres langues sont effectuées par l'équipe de Gate Learn. Sauf mention contraire, il est interdit de copier, distribuer ou plagier les articles traduits.