Opportunités et défis du développement de l'IA Web3

Récemment, le prix des actions d'NVIDIA a atteint un nouveau sommet, et les avancées des modèles multimodaux ont renforcé l'avantage technologique de l'IA Web2. De l'alignement sémantique à la compréhension visuelle, de l'incorporation haute dimension à la fusion des caractéristiques, des modèles complexes intègrent à une vitesse sans précédent diverses modalités d'expression, construisant un territoire AI de plus en plus fermé. Le marché boursier américain a également confirmé cela par des actions concrètes, que ce soit des actions liées aux cryptomonnaies ou des actions AI, toutes affichant une petite tendance haussière.

Cependant, cette vague semble n'avoir aucun lien avec le domaine des cryptomonnaies. Les tentatives de Web3 AI que nous avons observées, en particulier l'exploration dans la direction des Agents ces derniers mois, semblent présenter un biais directionnel : essayer d'assembler un système modulaire multimodal de style Web2 avec une structure décentralisée représente en réalité un décalage technique et de pensée. Dans un contexte où la couplage des modules est extrêmement fort, la distribution des caractéristiques est hautement instable et la demande en puissance de calcul est de plus en plus centralisée, il est difficile pour le modulaire multimodal de s'établir dans un environnement Web3.

L'avenir de l'IA Web3 ne réside pas dans une simple imitation, mais dans une approche stratégique détournée. De l'alignement sémantique dans des espaces de haute dimension, aux goulets d'étranglement d'information dans les mécanismes d'attention, en passant par l'alignement des caractéristiques sous une puissance de calcul hétérogène, toutes ces questions nécessitent une réflexion approfondie.

Les défis auxquels est confronté Web3 AI

Dilemme de l'alignement sémantique

Dans les systèmes multimodaux modernes de l'IA Web2, "l'alignement sémantique" fait référence à la cartographie des informations de différentes modalités dans le même espace sémantique, permettant au modèle de comprendre et de comparer les significations sous-jacentes de ces signaux initialement très différents. Cela nécessite un espace d'incorporation de haute dimension comme condition préalable pour réaliser la modularité et améliorer l'efficacité des flux de travail.

Cependant, le protocole Web3 Agent a du mal à réaliser des embeddings de haute dimension. La plupart des Web3 Agents ne font que encapsuler des API prêtes à l'emploi en unités indépendantes, manquant d'un espace d'embedding centralisé unifié et d'un mécanisme d'attention inter-modules, ce qui empêche l'interaction de l'information entre les modules sous plusieurs angles et niveaux, ne pouvant fonctionner que selon un processus linéaire, rendant difficile la formation d'une optimisation en boucle fermée globale.

Pour réaliser un agent intelligent de bout en bout compétitif, il est nécessaire de partir d'une modélisation conjointe de bout en bout, d'un embedding unifié entre les modules, ainsi que d'un ingénierie systématique pour l'entraînement et le déploiement collaboratifs. Cependant, le marché actuel ne semble pas montrer une telle demande.

Les limites du mécanisme d'attention

Des modèles multimodaux de haut niveau nécessitent des mécanismes d'attention soigneusement conçus. Les mécanismes d'attention sont essentiellement un moyen de distribuer dynamiquement les ressources de calcul, permettant au modèle de "se concentrer" sélectivement sur les parties les plus pertinentes lors du traitement d'une entrée d'une certaine modalité.

Cependant, le Web3 AI basé sur la modularité a du mal à réaliser une planification d'attention unifiée. Tout d'abord, le mécanisme d'attention repose sur un espace Query-Key-Value unifié, tandis que les formats de données et les distributions retournés par les API indépendantes varient, rendant difficile la formation d'un Q/K/V interactif. Deuxièmement, l'attention multi-tête permet de se concentrer simultanément sur différentes sources d'information, tandis que les API indépendantes sont généralement appelées de manière linéaire, manquant ainsi de capacités de parallélisme et de pondération dynamique multi-voies. Enfin, le véritable mécanisme d'attention attribue dynamiquement des poids à chaque élément en fonction du contexte global, tandis que dans le mode API, il manque un contexte central partagé en temps réel entre les modules.

Limites de la fusion des caractéristiques

Web3 AI est encore au stade simple de la fusion statique des caractéristiques. La fusion dynamique des caractéristiques nécessite un espace de haute dimension et un mécanisme d'attention précis ; lorsque ces conditions ne sont pas remplies, les résultats de la fusion des caractéristiques sont naturellement difficiles à améliorer.

L'IA Web2 a tendance à un entraînement conjoint de bout en bout, traitant simultanément des caractéristiques multimodales dans le même espace à haute dimension, en optimisant de manière collaborative avec les couches d'attention et de fusion ainsi que la couche des tâches en aval. En revanche, l'IA Web3 adopte principalement une approche de collage de modules discrets, manquant d'un objectif d'entraînement unifié et d'un flux de gradient inter-modules.

Barrières à l'entrée dans l'industrie de l'IA et opportunités futures

Les barrières technologiques dans l'industrie de l'IA se renforcent, mais les véritables points de douleur n'ont pas encore émergé. Les systèmes multimodaux de l'IA Web2 représentent un énorme projet d'ingénierie nécessitant des données massives, une puissance de calcul robuste, des algorithmes de pointe et une mise en œuvre d'ingénierie efficace, ce qui constitue des barrières industrielles très fortes.

Le développement de l'IA Web3 devrait adopter une stratégie de "l'encerclement des villes par les campagnes", en entrant par des scénarios périphériques et en recherchant des opportunités dans des tâches légères, facilement parallélisables et incitatives. Par exemple, le réglage fin LoRA, les tâches d'entraînement post-alignement comportemental, l'entraînement et l'annotation de données par crowdsourcing, l'entraînement de petits modèles de base, ainsi que l'entraînement collaboratif sur des dispositifs périphériques, etc.

Cependant, les barrières de l'IA Web2 commencent à peine à se former, ce qui représente une phase précoce de la concurrence entre les grandes entreprises. La véritable opportunité de l'IA Web3 pourrait se présenter lorsque les bénéfices de l'IA Web2 auront disparu. Avant cela, les projets d'IA Web3 doivent choisir leurs points d'entrée avec prudence, s'assurant de pouvoir itérer continuellement dans des scénarios à petite échelle et de rester flexibles pour s'adapter aux besoins du marché en constante évolution.