Tech-Podcast: Die größte KI-Maschine der Welt

Lassen Sie uns am Anfang ein bisschen Definitionsarbeit machen. Was sind denn neuromorphe Chips?

Mayr: Die Forschung in diesem Bereich gibt es seit ungefähr 30 Jahren. Das hat Carver Mead damals gestartet, einer der Päpste der VLSI-Integration. Mead hat sich dann eben damit beschäftigt, wie macht eigentlich das Hirn Informationsverarbeitung? Insoweit hatte er einen parallelen Pfad zu anderen Mathematikern wie von Neumann und so was gehabt, die ja am Anfang mit normaler Rechentechnik angefangen haben und dann im Prinzip vom Hirn fasziniert wurden. Und ihn hat halt, sagen wir mal die Schaltungstechnik interessiert. Also, wie baue ich eine Schaltung, die sich auf einem sehr detaillierten Niveau wirklich wie Neuronen und Synapsen praktisch verhält? Also anders als sagen wir mal diese sehr abstrahierten KI-Netzwerke, die man heutzutage hat.

Wir sprechen dann also eher über Elektrotechnik als über IT?

Mayr: Unsere Profession ist eher elektrotechnisch. Definitiv! Wobei das heutzutage alles sehr, sehr heterogen ist. Also neuromorphe Schaltungstechnik kommt eigentlich eben, wie der Name sagt, aus der Schaltungstechnik, also definitiv Elektrotechnik-Schaltungsdesign. Es ist so, wenn ich im Hirn mir anschaue, dass das 10^14 Synapsen sind und 10^10 Neuronen, dann habe ich da unheimlich viele Organisations-Level, die man auch identifizieren kann. Das heißt, wenn ich nur diese unterste Ebene praktisch in Transistoren dann nachbaue, wenn ich mich praktisch nur mit der Schaltungstechnik beschäftige, lasse ich eigentlich praktisch zehn, zwölf Ebenen dieser Abstraktionsgrade im Hirn aus. Das heißt, ich muss mich zwangsläufig auch mit der IT, mit den Algorithmen, die da drauf laufen, obendrüber beschäftigen. Da kommen wir dann wieder zu der jetzigen Welle Deep Neural Networks und klassischer KI. Das Hirn macht viele Dinge, die die jetzige KI im Moment noch nicht kann und die man gerne übernehmen wollen würde auf verschiedenem Niveau, eben von der Schaltungstechnik bis hoch zum Algorithmus.

Warum sind neuromorphe Chips wichtig?

Mayr: Wenn man sich Deep Neural Networks im Moment anschaut, dann sind die sehr, sehr ineffizient.

Inwiefern?

Mayr: Insofern, dass, wenn ich dem Hirn gleiche Aufgaben stelle, dann brauche ich Dutzende Server Racks, die mir mehrere Hundert Kilowatt ziehen im Vergleich eben zu diesen 30 Watt, die mein Hirn verbraucht, um ähnliche Aufgaben oder sogar noch bessere Aufgaben zu lösen. Wie das Hirn, das macht, ist sparsity eigentlich. Das heißt, es versucht jede Aufgabe, die ihm gestellt wird auf das absolute notwendige Minimum zu reduzieren. Das heißt eben nicht wie im Deep Neural Network Frame-basiert. Wenn ich da einen Videostream am Laufen habe, wo jeder Frame praktisch über das Deep Neural Network drüber propagiert wird, dann ist da 99 Prozent praktisch sinnlose Verarbeitung. Man kann das locker hundert zu eins komprimieren auf typischen Problemen wie ebenso einen LeNet oder Ähnlichem und verliert eigentlich nichts an Performanz des Netzwerks. Und das muss man auf algorithmische Ebene übernehmen. Da gibt es verschiedenste Ebenen, wo man das übernehmen kann. Erst mal Feedforward, praktisch die Information zu komprimieren. In einem Feedback kann ich dann eben verschiedene Attention Mechanismen einbauen, die die Informationen dann vom Algorithmus oder von der Verarbeitung her gesteuert auch noch einmal eindampfen. Wo der Algorithmus dann sagt, das genau interessiert mich jetzt gerade, um irgendein Problem zu lösen und den Rest kannst du komplett weglassen. Also, wir müssen eigentlich in der gesamten Informationsverarbeitung wegkommen von diesem Modell, wo wir eben wirklich alles speichern und alles irgendwie ablegen, um das praktisch uns noch mal anschauen zu können. Sondern um eine Aufgabe zu lösen, ist nur ein kleiner Bruchteil der Information nötig, die so ein Sensor wirklich aufnimmt. Und das trifft praktisch jeden Sensor. Ob das visuell ist, ob das ein Bewegungssensor im Roboter ist, ob das ein Audiosignal ist, da sind immer große Redundanzen drin.

Wo stehen wir in Deutschland mit der Technologie – Mittelfeld oder gar Champions Leaue?

Mayr: Also, ich kann Ihnen ein Beispiel geben anhand unseres SpiNNaker 2. Wenn wir jetzt die KI-Verarbeitung machen, kann das System 10^14 Parameter und kann in Echtzeit darüber iterieren. Das heißt, wir kriegen pro Millisekunde auch 10^14 MAC-Operationen hin. Das heißt, wir können in Echtzeit über diese riesengroßen Modelle. Die größten KI-Netzwerke, die im Moment unterwegs sind, sind bei 200 Billarden Parametern, also 2 x 10^11. Das heißt, SpiNNaker 2 ist mit die größte KI-Maschine auch kommerziell, die es im Moment gibt.

Welche Aufgaben noch gelöst werden müssen, wie er Elon Musks Neuralink bewertet und welche Rolle die Algorithmen spielen, erklärt Prof. Dr. Christian Mayr im Podcast-Gespräch.

Diese und weitere Folgen zur Fabrik der Zukunft finden Sie in unserem Tech-Podcast Kanal "Industrie neu gedacht" bei allen bekannten Plattformen oder Sie können direkt hier über Podigee abonnieren.

Ansprechpartnerin für den Tech-Podcast von Bosch Rexroth: Susanne Noll

Nehmen Sie gern Kontakt mit Bosch Rexroth auf!