Alors que les scientifiques repoussent les limites de l’intelligence artificielle, le temps, l’énergie et l’argent nécessaires pour former des modèles de réseaux neuronaux ont augmenté. Un nouveau domaine de l’intelligence artificielle appelé apprentissage profond analogique promet des calculs rapides avec une fraction de l’énergie utilisée.
Les résistances programmables sont les principaux éléments de l’apprentissage en profondeur analogique, tout comme les transistors sont les éléments de base des ordinateurs. En répétant les connexions des choses qui peuvent être installées sur le complexe, les chercheurs peuvent créer un réseau de « neurones » utilisant des analogues et des « synapses » qui effectuent des calculs comme un réseau neuronal numérique. Ce réseau peut être formé pour effectuer des tâches d’IA complexes, telles que la reconnaissance d’images et le traitement du langage naturel.
Un groupe multidisciplinaire de chercheurs du MIT a entrepris d’accélérer la vitesse d’un type d’analogue de synapse fabriqué par l’homme qu’ils avaient précédemment développé. Ils ont utilisé un outil spécial dans le processus de fabrication qui permet à leurs machines de traiter 1 million de fois mieux que les versions précédentes, soit environ 1 million de fois mieux que les synapses du cerveau humain.
De plus, cela ne sert pas à renforcer la résistance. Contrairement aux matériaux utilisés dans la première version de leur machine, les nouveaux matériaux sont plus compatibles avec les méthodes traditionnelles. Ce changement a permis la création de dispositifs à l’échelle nanométrique et pourrait ouvrir la voie à une intégration dans des dispositifs informatiques commerciaux pour des applications d’apprentissage en profondeur.
« Grâce à cette idée de base et à la méthode de nanofabrication la plus puissante que nous ayons au MIT.nano, nous avons pu intégrer les composants et montrer que ces dispositifs sont très rapides et fonctionnent à des tensions appropriées », a déclaré l’auteur principal Jesús A. . del Alamo, professeur Donner au Département de génie électrique et d’informatique (EECS) du MIT. « Ce travail a vraiment amené ces appareils à un point où ils semblent très prometteurs pour de futures applications. »
« L’application de l’appareil est d’attacher l’électron du petit ion, le proton, dans un atome pour ajuster sa charge électronique. Comme nous travaillons avec des appareils minces, nous pouvons accélérer le processus cet ion utilise un fort courant électrique, et pousse ces dispositifs ioniques sur le régime de fonctionnement de la nanoseconde », a déclaré l’auteur principal Bilge Yildiz, professeur Breene M. Kerr du département. des Sciences et Génie Nucléaires et des Sciences et Génie des Matériaux.
« L’activité dans les cellules vivantes augmente et diminue sur une période de quelques millisecondes, car la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau », a déclaré l’auteur principal. Ju Li, professeur de science et d’ingénierie nucléaires à la Battelle Energy Alliance et professeur de science et d’ingénierie des matériaux. Et plus le champ est fort, plus les générateurs d’ions sont rapides. »
Ceux-ci peuvent être programmés pour augmenter de façon exponentielle le taux d’apprentissage d’un réseau de neurones, tout en réduisant considérablement le coût et l’énergie nécessaires pour le former. Cela peut aider les scientifiques à développer plus rapidement des modèles d’apprentissage en profondeur, qui peuvent être utilisés dans des applications telles que les voitures autonomes, la détection de fraude ou l’analyse d’images médicales.
« Une fois que vous avez une opération analogique, vous ne faites plus les connexions sur lesquelles tout le monde travaille. Vous créerez des connexions d’une complexité sans précédent que personne d’autre ne peut gérer, et donc vous serez plus grand qu’eux tous. En d’autres termes, ce n’est pas un véhicule à grande vitesse, mais un vaisseau spatial », a ajouté Murat Onen, auteur principal et post-doctorant au MIT.
Les co-auteurs incluent Frances M. Ross, titulaire de la chaire Ellen Swallow Richards du Département de science et génie des matériaux, les post-doctorants Nicolas Emond et Baoming Wang et l’étudiant EECS Difei Zhang. Cette étude est publiée aujourd’hui dans Science.
Accélérer l’apprentissage profond
L’apprentissage profond figuratif est plus rapide et plus puissant que son homologue informatique pour deux raisons principales. « Tout d’abord, la planification se fait dans l’esprit, donc une grande partie des données n’est plus transférée dans les deux sens entre la mémoire et un processus. Voir l’article : Meilleur hébergeur, comparaison 2022. » Des programmes similaires effectuent également des opérations simultanées. Si la taille de la matrice est augmentée, le processeur analogique n’a pas besoin de plus de temps pour effectuer de nouvelles opérations, puisque tous les calculs sont effectués en même temps.
L’élément principal de la nouvelle technologie de processeur analogique du MIT est connu sous le nom de résistance programmable par protons. Ces résistances, qui se mesurent en nanomètres (un nanomètre est un milliardième de mètre), sont disposées en réseau, à la manière d’un échiquier.
Dans le cerveau humain, l’apprentissage se produit en renforçant et en affaiblissant les connexions entre les neurones, appelées synapses. Les réseaux de neurones profonds utilisent depuis longtemps cette stratégie, où le poids du réseau est défini par des algorithmes d’apprentissage. Dans le cas de ce nouveau système, augmenter et diminuer la tension des résistances à protons permet d’entraîner des dispositifs analogiques.
Le comportement est contrôlé par le mouvement des protons. Pour augmenter la conductance, plus de protons sont poussés dans un chemin de résistance, mais pour diminuer la conductance, les protons sont retirés. Pour ce faire, un électrolyte (semblable à une batterie) est utilisé pour conduire les protons et bloquer les électrons.
Pour développer une résistance à protons très rapide et très puissante, les chercheurs ont examiné différents matériaux pour l’électrolyte. Alors que d’autres appareils utilisaient des matériaux organiques, Onen s’est concentré sur le verre de phosphosilicate inorganique (PSG).
Le PSG est du dioxyde de silicium, un agent de nettoyage en poudre que l’on trouve dans de petits sacs fournis avec de nouveaux meubles pour éliminer l’humidité. L’oxyde le plus populaire utilisé dans la production de silicium. Pour fabriquer du PSG, une petite quantité de phosphore est ajoutée au silicium pour lui donner des propriétés particulières pour la conduction protonique.
Onen dit qu’un PSG idéal peut avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en fait une électrode idéale pour cette application. Il avait raison.
Une vitesse surprenante
Les PSG sont capables de traiter des protons ultrarapides car ils ont de nombreux pores de taille nanométrique sur leur surface qui fournissent des canaux pour la diffusion des protons. Il peut également supporter des champs électriques très puissants. A voir aussi : 10 conseils pour mieux protéger votre nom de domaine. C’est essentiel, a déclaré Onen, car l’application d’une haute tension à l’appareil permet aux protons de se déplacer à des vitesses sans précédent.
« La vitesse est définitivement surprenante. Normalement, nous n’utilisons pas de champs critiques dans les machines, donc ils ne deviennent pas gris. Mais au lieu de cela, les protons ont fini par se déplacer à grande vitesse à travers la pile, un million de fois plus vite que ce que nous avions auparavant. Et cette action n’endommage rien, grâce à la petite taille et au faible poids des protons. C’est presque comme une téléportation », a-t-il dit.
« L’échelle de temps de la nanoseconde signifie que nous sommes proches du régime balistique ou du régime d’effet tunnel quantique pour le proton, dans des conditions extrêmes », a ajouté Li.
Comme les protons n’endommagent pas le matériau, la résistance peut fonctionner pendant des millions de cycles sans défaillance. Ce nouvel électrolyte a créé une résistance à protons programmable qui est un million de fois meilleure que l’appareil d’origine et peut bien fonctionner à température ambiante, ce qui est important pour l’intégration dans les ordinateurs. .
Grâce aux matériaux du PSG, presque aucune électricité ne traverse le matériau lorsque les protons se déplacent. Cela rend la machine très puissante, a ajouté Onen.
Maintenant qu’ils ont démontré l’efficacité de ces appareils programmables, les chercheurs envisagent de les renouveler pour les fabriquer en grande quantité, a déclaré del Alamo. Ensuite, ils peuvent étudier les propriétés des réseaux de résistance et les mesurer afin de les intégrer dans des systèmes.
Dans le même temps, ils prévoient de rechercher des matériaux qui détruisent les bouteilles qui limitent la tension nécessaire pour transférer efficacement les protons vers, à travers et depuis l’électrolyte.
« Un autre aspect intéressant que ces dispositifs ioniques peuvent activer est les outils qui utilisent l’énergie pour modéliser les circuits neuronaux et les règles de connexion synaptiques qui apparaissent dans les neurosciences, au-delà des réseaux neuronaux analogiques profonds », a ajouté le Yildiz.
« La coopération existante sera très importante pour l’innovation à l’avenir. Le chemin à parcourir sera très difficile, mais en même temps très excitant », a ajouté M. del Alamo.
[ Communication ]
