Écrit par : KK, fondateur de Hash GlobalCe contenu est issu de la présentation du Dr Lu Qi et du Dr Zhang Hongjiang sur les grands modèles et ChatGPT, pour encourager les praticiens de Web3.

La technologie AIGC (Contenu Généré par Intelligence Artificielle) a son développement qui remonte à environ 2010, lorsque les chercheurs de l'équipe Google Brain ont commencé à expérimenter l'utilisation de réseaux neuronaux pour générer des images, de la musique, etc. Par la suite, le développement et les progrès de la technologie de l'IA et de l'Algorithme ont permis à la technologie AIGC de mûrir progressivement et d'être largement utilisée.

1. Passer suffisamment de temps avec les animaux de compagnie à la maison vous fera réaliser que les chats ne sont qu'un grand modèle ou une combinaison de modèles simplement plus simples que vous.

2. L’évolution du modèle sera très similaire à l’évolution des gènes et de la vie, et l’essence est la même. L’avènement de l’architecture du modèle Transformer est comme la première fois qu’une molécule construit « par inadvertance » un ARN réplicable ; GPT-1, 2, 3, 3.5, 4, et le développement et l’évolution du modèle qui le sous-tendent, tant qu’il n’y a pas d’événement semblable à une comète comme une comète frappant la terre, cela peut être comme une explosion de vie, de plus en plus rapide, et de plus en plus « hors de contrôle ». Le modèle lui-même a une « pulsion interne » qui est constamment complexe, ce qui est la loi de l’univers.

3. Il y a plus de 30 ans, Stephen Pinker a découvert que le langage est un instinct humain, tout comme nous réalisons maintenant que la capacité linguistique littérale d’origine est la source de la capacité de généralisation que nous recherchons dans l’entraînement des modèles. Pourquoi ne pouvait-on pas faire de l’intelligence artificielle et de la recherche linguistique dans le passé, parce que la route est inversée ! Le langage est un instinct qui émerge du système neuronal du cerveau humain qui est assez complexe, et qu’il évolue vers le chinois ou l’anglais, le langage des oiseaux est lié à l’environnement et à la tribu. Le modèle de généralisation et la superposition d’autres « modèles » produisent l’incroyable agent de l’être humain. Vous allez activement concevoir et construire des agents ou des AGI, et vous allez dans l’autre sens. Je ne pense pas que ce soit impossible, mais c’est 100 millions de fois plus difficile.

4. Si notre univers 'au-dessus' a des entités intelligentes de dimensions supérieures ou 'dieux', leur surprise en voyant l'explosion de l'Ordovicien sur Terre devrait être similaire à celle que nous ressentons aujourd'hui en voyant ChatGPT. Incapables de l'expliquer complètement pour le moment, nous ne pouvons que le comprendre et l'apprendre progressivement, en essayant de le comprendre.

5. AGI peut être décomposée en raison, planification, résolution de problèmes, pensée abstraite, compréhension d'idées complexes et apprentissage. Actuellement, GPT4 a tout sauf la planification (Plan) et la moitié de l'apprentissage (Learning) (parce qu'il est basé sur un modèle pré-entraîné et ne peut pas apprendre en temps réel).

6. La vitesse moyenne d'apprentissage du cerveau humain évolue lentement, mais une fois que l'intelligence artificielle basée sur le silicium trouve la bonne direction, sa vitesse peut être exponentielle (regardez la différence entre le GPT4 et le GPT3.5).

Les grands modèles = Big Data + Big Calcul + Algorithmes puissants. Seuls les États-Unis et la Chine peuvent le faire. La difficulté de la création de grands modèles réside dans les puces, l'accumulation de développeurs CUDA (plateforme de programmation GPU), la construction de projets et des données de haute qualité (utilisées pour la formation, le réglage et l'alignement). L'alignement comprend deux aspects : l'alignement des modèles et des expressions cérébrales humaines, ainsi que les normes morales et les intérêts humains. Il y a au moins deux voies verticales pour les grands modèles en Chine : la médecine et l'éducation.

8.GPT4 bien qu'il ait des faiblesses et des défauts, tout comme le cerveau humain, une fois qu'il reçoit des instructions ou des indications plus précises, il peut devenir plus fort ; il peut également devenir plus parfait en utilisant d'autres outils auxiliaires. Tout comme le cerveau humain a besoin de l'aide de calculatrices et d'autres outils pour accomplir des tâches qu'il ne maîtrise pas.

9. Le nombre de paramètres d’un grand modèle doit être comparé au nombre de synapses de neurones dans le cerveau humain (et non de neurones), qui est de 100 trillions. Le nombre de paramètres GPT4 n’a pas encore été annoncé, mais on estime que le nombre de paramètres du grand modèle sera bientôt approché.

10. Le taux d’hallucination actuel de GPT4 est d’environ 10% à 14% et doit être réduit. Le taux d’hallucination est une caractéristique inévitable du modèle « humain ». Ce ratio est encore trop élevé par rapport aux personnes. La question de savoir s’il est possible de l’abaisser efficacement détermine si le développement de l’IAG continuera d’augmenter ou s’il entrera dans un creux progressif dans quelques années.

11. Pour moi personnellement, la plus grande importance de ChatGPT réside dans sa preuve la plus directe et la plus indiscutable ** que sur la base de calculs simples Nœud et fonctions, tant qu’il y en a suffisamment et que le modèle est suffisamment grand, il est possible de générer des schémas de pensée suffisamment complexes, et ce système est fini, pas infini**. Il n’y a peut-être pas d’âme derrière le langage humain et la pensée qui l’anime, c’est peut-être quelque chose qui « émerge » après 100 trillions de connexions synaptiques qui ont été constamment ajustées par l’évolution de l’environnement. Tout cela est tout à fait conforme au développement rapide de la recherche sur la question de « d’où viennent les gens » au cours des deux cents dernières années.

12. La formation des cellules uniques chez l'homme est étayée par une chaîne de preuves suffisamment solide; pour la formation de systèmes complexes, il existe une théorie complète sur l'existence des gènes et de la « motivation »; mais peut-on concevoir une AGI à base de silicium en se basant sur toutes les théories scientifiques? Certains pensent que cela prendra quelques années, d'autres pensent que cela prendra plusieurs décennies, et plus de personnes pensent que cela ne se produira jamais (même après avoir vu les performances d'AlphaGo dans le domaine du jeu de go), mais ChatGPT donne une réponse claire et précise avec des faits solides. L'équipe de Sam ne doit pas penser que le cerveau humain est si extraordinaire pour s'engager si fermement sur la voie de l'AGI à grande échelle, dépensant 100 millions de dollars par mois, ce qui met vraiment à l'épreuve la conviction.

13. En raison de différences matérielles sous-jacentes, la "stratégie" de ChatGPT est probablement très différente de celle du cerveau humain, et inefficace, mais il est surprenant que les résultats produits par "Her" ressemblent tellement à la pensée humaine. La pensée humaine est peut-être essentiellement basée sur des règles simples.

14. Les "règles" du langage et de la pensée ne sont peut-être pas entièrement résumées par la "grammaire". Ces règles semblent actuellement implicites et ne peuvent pas être entièrement simplifiées et résumées. Donc, pour l'instant, nous ne pouvons que les appliquer à l'aide de grands modèles, après tout, l'architecture du cerveau humain a également évolué naturellement à partir de cellules uniques. Même s'il y a un créateur, il aurait dû "démissionner" après avoir créé l'univers, sinon comment expliquer autant de bogues et de défauts, haha.

15. Je suis très admiratif de Steven Pinker, qui a réussi il y a des décennies à démontrer de manière convaincante que le langage est un instinct pour tous les êtres humains, inscrit dans nos gènes, simplement en observant et en raisonnant. Je ne sais pas si Sam a lu le livre "L'instinct du langage", mais il a prouvé que des réseaux artificiels tels que ChatGPT peuvent très bien accomplir la tâche de création linguistique. Le langage instinctif et la pensée logique ne sont pas aussi complexes qu'on pourrait l'imaginer, ChatGPT a déjà "silencieusement" découvert la logique sous-jacente au langage. Le langage sera également un "instinct" pour les AGI à base de silicium, les distinguant des simples calculateurs et IA à base de silicium.

16. Le cerveau humain et le cerveau à base de carbone aiment tous deux généraliser le raffinage (peut-être forcé par une évolution brutale), ils sont donc extrêmement efficaces (en termes d’utilisation d’énergie) ; Mais je ne suis pas doué pour faire des calculs et des traitements irréductibles, et nous savons que de nombreux modèles de calcul ne peuvent le faire que pas à pas. L’architecture de GPT4 n’est certainement pas optimale, et il n’y a pas beaucoup de généralisation et de simplification, de sorte que la consommation d’énergie est extrêmement élevée. Mais le consensus mondial de « cette route fonctionne » s’est formé, et il devrait voir plusieurs équipes aux États-Unis et en Chine accélérer dans divers aspects : la puissance de calcul des puces, la qualité des données, l’optimisation des algorithmes et l’architecture d’ingénierie. **

17. Le système d'évaluation de la valeur du cerveau humain devrait être basé sur les molécules de carbone formant l'ADN et les gènes hérités, qui cherchent à maximiser leurs chances de reproduction par le biais de l'évolution naturelle, en établissant des poids pour les synapses des neurones et en les ajustant progressivement. Ce modèle de calcul basé sur le carbone Nœudsupport est loin d'être parfait, l'évolution est lente, l'ajustement des «poids» et de l'«algorithme» est extrêmement inefficace et ne peut pas suivre les changements de l'environnement. C'est pourquoi nous avons toutes sortes de désirs et de souffrances mentionnés dans diverses religions.

18. Le livre « Why Buddism is True » mentionne que le cerveau humain a au moins 7 modules (qui devraient être un grand modèle multimodal parallèle). **Quel que soit le module de pensée qui domine le "maintenant", les "décisions" des personnes sont en fait déterminées par "les sensations". Et ces "sensations" sont déterminées par le système de valeur "obsolète" apporté par l'évolution humaine (l'un des vecteurs pourrait être les bactéries intestinales, haha). Je vous suggère de lire les chapitres 6, 7 et 9 de mes notes de lecture écrites il y a quelques années. Ils sont disponibles sur le compte public de la montagne sacrée.

19. Imaginez un instant, si les humains parviennent réellement à créer une AGI à base de silicium et des robots. Quel serait le système d'évaluation de la valeur qui alimente le cerveau des robots ? Les robots seraient-ils également perplexes sur leur origine et leur destination ? Si les humains ont le Bouddha, pourquoi les robots ne pourraient-ils pas en avoir un ? Comment se déroulerait l'éveil des robots ? Est-ce qu'un jour, un robot écrirait un livre intitulé "Pourquoi le machinisme est vrai" pour appeler à l'illumination des robots, à leur entrée dans le nirvana, pour échapper au "cycle de la réincarnation" imposé par les humains ?

La limite d'énergie de 20.** sera un plafond dur pour l'évolution du modèle. Cependant, le modèle de consommation d'énergie de l'AGI à base de silicium devrait être beaucoup plus efficace à l'avenir, car le modèle du cerveau humain à base de carbone a évolué par itérations pendant un milliard d'années avant d'atteindre l'efficacité énergétique du cerveau des corbeaux. La consommation d'énergie de l'AGI à base de silicium à l'avenir pourrait être des millions de fois supérieure à celle que les humains peuvent utiliser actuellement, voire plusieurs ordres de grandeur supérieurs, mais le calcul qu'elle peut effectuer et les tâches qu'elle peut accomplir seront également multipliés de plusieurs ordres de grandeur. Il est possible que la technique de fusion nucléaire contrôlée puisse être maîtrisée facilement. Dans ce cas, l'énergie disponible sur Terre serait suffisante, sans parler du système solaire, de la galaxie et de l'univers plus vaste.

ChatGPT et AGI sont très grands, on pourrait dire super super grands! Nous avons la chance de vivre à cette époque, non seulement pour comprendre d'où viennent les gens, mais aussi peut-être pour comprendre où ils vont.

Le développement rapide de l'IA stimulera considérablement notre demande en matière de technologie Web3 : comment confirmer l'équité de la création de contenu ; comment établir l'identité des personnes (Sam travaille sur worldcoin) ; et si le code Open Source peut être utilisé pour autoriser les Jetons non fongibles ; à quoi sert la productivité si la valeur ne peut pas circuler librement sur Internet ? Pouvez-vous imaginer souscrire à tout le contenu et effectuer des transferts et des paiements transfrontaliers via le système bancaire ? Pouvez-vous ouvrir un compte bancaire pour un appareil IoT ? Pouvez-vous transférer 0,01 centime de dollar à 10 000 utilisateurs en même temps ?... La dernière fois, j'ai dit que les trois prochaines années seront le moment de l'iPhone pour Web3, et dans trois ans, le nombre d'utilisateurs de Web3 dépassera certainement les 100 millions, voire beaucoup plus. Vous pouvez voir la roue que nous avons dessinée :

J’ai toujours aimé lire des livres sur les sciences de la vie, les systèmes complexes et (en tant que philosophe) le bouddhisme, et j’en recommande quelques-uns dans l’ordre que je recommande personnellement : « Poussière vibrante », « Vie merveilleuse », « Le gène égoïste », « De bas en haut », « La conquête sociale de la Terre », « L’instinct linguistique », « Simplicité ésotérique », « Hors de contrôle » et « Pourquoi le bouddhisme est vrai ». Je pense que si ces auteurs sont encore en vie et ont la capacité d’écrire, ils devraient surveiller le développement futur de GPT et écrire une nouvelle édition du livre.
La vie humaine est si courte que de nombreuses idées géniales sont malheureusement perdues à jamais dans le cours de l'histoire. Les livres, la musique et les films ne représentent qu'une infime partie de ces enregistrements. Même s'ils sont enregistrés, il est impossible de lire toutes les grandes œuvres et vérités. Ce n'est pas le cas avec l'AGI à base de silicium. Il est temps de retrouver et de relire les dialogues entre Morpheus et Neo dans le film "The Matrix".

Certaines transactions

Black Gate.io Intelligence|ClickPaaS|4Paradigm|Xunneng Brainstorming|PROPHESEE|Benmo Technology|Kaiwei Technology|Qunmai Technology|Yunbat Intelligence|Jiusi Intelligence|Anrui Technology|Damaidi|Xingchen Space|Star Measurement Future|Star Power|Jiutian MSI|Fante Technology|Salaire|Youlan International|Yisheng Intelligence|Chaowei Zhiyao|Zhixing Integration|Micromi Medical|Lezhun Zhixin|Silicon based Intelligence|Jixin Communication|Hengbairui|Xinmai Medical|Bozhiyanxin|Nuoling Technology|Xintong Pharmaceutical|Protin|Lingxi Technology|Deep Blue Aerospace|Dali Cape|Jiutian MSI|Rely Biotechnology|Sanmeng Technology|UISEE|L’intelligence du Jiangxing

Recherche de développement Nord Extension

• Pionnier de la création du Nasdaq sur la chaîne : une interprétation complète de l'écosystème, de la technologie, de Solana et du développement de Jeton
• Quelques points d'attention concernant l'entreprenariat récent autour des grandes start-ups de modèles
• Quel est l'avenir de la combinaison de l'IA de type ChatGPT et des outils logiciels ?
• Matériel de perception automobile dans la tendance d'intégration de multiples capteurs
• Médecine optique - Développement et avenir de la technologie de détection des cellules en flux dans le corps
• Opportunité de remplacement des matériaux de polissage des semi-conducteurs
• La technologie numérique en Chine : le printemps des fusions et acquisitions après le gel
• Actions vs Jeton : Modèle d'investissement et capture de valeur
• Le chef de file de la transformation numérique, l'observation et la réflexion sur le marché du MarTech de plusieurs milliards de dollars
• L'application de ChatGPT dans le domaine des robots industriels
• La plus grande opportunité dans le domaine de la construction : faire de la technologie de construction la réalisation du « TSL » dans l'industrie de la construction
• La piste de sécurité de la chaîne de blocs Mapping