Podcast sur la technologie : La plus grande machine à IA du monde

Commençons par un petit travail de définition. Que sont les puces neuromorphiques ?

Mayr : La recherche dans ce domaine existe depuis environ 30 ans. Elle a été lancée à l'époque par Carver Mead, l'un des papes de l'intégration VLSI. Mead s'est alors intéressé à la manière dont le cerveau traite les informations. En ce sens, il a suivi une voie parallèle à celle d'autres mathématiciens comme von Neumann et d'autres, qui ont commencé par la technique de calcul normale et qui ont ensuite été fascinés par le cerveau. Et il s'est intéressé, disons, à la technique des circuits. Donc, comment puis-je construire un circuit qui, à un niveau très détaillé, se comporte vraiment comme des neurones et des synapses ? C'est à dire autre chose que, disons, ces réseaux d'IA très abstraits que l'on a aujourd'hui.

Nous parlons donc plutôt d'électrotechnique que d'informatique ?

Mayr : Notre profession est plutôt électrotechnique. Définitivement ! Mais de nos jours, tout cela est très, très hétérogène. Donc la technique de circuit neuromorphique vient en fait, comme son nom l'indique, de la technique de circuit, donc définitivement de l'électrotechnique et du design de circuit. Si je regarde dans le cerveau qu'il y a 10^14 synapses et 10^10 neurones, j'ai là un nombre incroyable de niveaux d'organisation que l'on peut identifier. Cela signifie que si je ne reproduis pratiquement que ce niveau inférieur dans des transistors, si je ne m'occupe pratiquement que de la technique de commutation, je laisse pratiquement de côté dix ou douze niveaux de ces degrés d'abstraction dans le cerveau. Cela signifie que je dois aussi m'occuper de l'informatique, des algorithmes qui fonctionnent dessus. C'est là que nous en revenons à la vague actuelle des réseaux neuronaux profonds et de l'IA classique. Le cerveau fait beaucoup de choses que l'IA actuelle ne peut pas encore faire et que l'on aimerait bien reprendre à différents niveaux, de la technique des circuits jusqu'à l'algorithme.

Pourquoi les puces neuromorphiques sont-elles importantes ?

Mayr : Si l'on considère les réseaux neuronaux profonds à l'heure actuelle, ils sont très, très inefficaces.

De quelle manière ?

Mayr : Dans la mesure où, si je donne au cerveau les mêmes tâches, j'ai besoin de dizaines de racks de serveurs qui me tirent plusieurs centaines de kilowatts par rapport à ces 30 watts que mon cerveau consomme pour résoudre des tâches similaires ou même meilleures. Comment le cerveau fait, c'est de la sparsity en fait. Cela signifie qu'il essaie de réduire chaque tâche qui lui est confiée au strict minimum nécessaire. Cela ne signifie pas, comme dans le Deep Neural Network, qu'il se base sur des images. Si j'ai un flux vidéo en cours, où chaque image est pratiquement propagée par le Deep Neural Network, alors 99% du traitement est pratiquement inutile. On peut facilement comprimer cela à cent pour un sur des problèmes typiques comme un LeNet ou autre, et on ne perd en fait rien de la performance du réseau. Et cela doit être repris au niveau algorithmique. Il y a différents niveaux où l'on peut reprendre cela. Tout d'abord le feedforward, qui consiste pratiquement à comprimer l'information. Dans un feedback, je peux intégrer différents mécanismes d'attention qui, sous le contrôle de l'algorithme ou du traitement, compriment encore une fois les informations. L'algorithme dit alors que c'est exactement ce qui m'intéresse en ce moment pour résoudre un problème quelconque et que tu peux complètement laisser tomber le reste.Nous devons donc, dans le traitement de l'information, nous éloigner de ce modèle où nous enregistrons tout et où nous classons tout d'une manière ou d'une autre afin de pouvoir le consulter à nouveau. Mais pour résoudre une tâche, seule une petite fraction des informations enregistrées par un capteur est nécessaire. Et cela concerne pratiquement tous les capteurs. Qu'il s'agisse d'un capteur visuel, d'un capteur de mouvement dans un robot ou d'un signal audio, il y a toujours de grandes redondances.

Où en sommes-nous en Allemagne avec cette technologie - en milieu de peloton ou même en tête du classement des champions ?

Mayr : Je peux vous donner un exemple avec notre SpiNNaker 2. Si nous faisons maintenant le traitement IA, le système peut traiter 10^14 paramètres et les itérer en temps réel. Cela signifie que nous pouvons également effectuer 10^14 opérations MAC par milliseconde. Cela signifie que nous pouvons travailler en temps réel sur ces énormes modèles. Les plus grands réseaux d'IA actuellement en circulation en sont à 200 milliards de paramètres, soit 2 x 10^11. Cela signifie que SpiNNaker 2 est l'une des plus grandes machines d'IA, y compris sur le plan commercial, qui existe actuellement.

Christian Mayr explique dans le podcast quelles tâches doivent encore être résolues, comment il évalue le Neuralink d'Elon Musk et quel rôle jouent les algorithmes.

Vous trouverez l'interview complète et d'autres épisodes sur l'usine du futur ici ou sur notre chaîne de podcasts tech "Industrie repensée", à laquelle vous pouvez vous abonner sur toutes les plateformes connues ou via Podigee.

Interlocuteur pour le podcast tech de Bosch Rexroth: Susanne Noll

N'hésitez pas à prendre contact avec Bosch Rexroth !