»Das ganze Team freut sich übermäßig«, stimmen die Projektleiter Dr. Marco Breiling vom Fraunhofer IIS und Prof. Dietmar Fey von der Universität Erlangen-Nürnberg überein. Breiling erläutert weiter: »Das gewonnene Geld für das Nachfolgeprojekt wird uns einen weiteren Schub für die Entwicklung von neuromorpher Hardware im Rahmen unserer Next-Generation-Computing-Initiative geben. An unseren Standorten Erlangen und Dresden wollen wir dafür sorgen, dass Deutschland beim praktischen Einsatz von KI ganz vorne mitspielt.«

»Künstliche Intelligenz verschlingt heute noch zu viel Energie, bietet aber enormes Potential für den Wirtschafts- und Innovationsstandort Deutschland. KI hält zunehmend Eingang in unser tägliches Leben. Hier setzt das Bundesforschungsministerium mit seiner Förderung an und hat Hochschulen und Forschungseinrichtungen aus dem ganzen Land aufgerufen, sich mit den besten Ideen zur Entwicklung eines energiesparsamen KI-Chips zu bewerben. Ich freue mich für die heute ausgewählten vier Siegerteams, die jetzt die einzigartige Chance bekommen, ihr Projekt mit jeweils rund einer Million Euro weiterzuentwickeln«, erklärte die Bundesforschungsministerin.

Die Signalverarbeitung wird schlafengelegt

Besonders energieeffiziente Verarbeitung von Zeitreihensignalen – das ist das Thema des Projekts Lo3-ML »Low-Power Low-Memory Low-Cost EKG-Signalanalyse mit ML-Algorithmen«. Im Projekt wurde dafür ein Chip für KI-Berechnungen entwickelt –genauer: für Deep Learning, um bei EKG-Signalen zu analysieren, ob der Patient gesund ist oder unter Herzvorhofflimmern leidet. Der Clou dabei: Ein Teil des Chips, nämlich die Signalverarbeitung, wird quasi schlafengelegt, solange diese nicht benötigt wird – das spart bis zu 95 Prozent der Energie. Die entwickelte Schaltung ist auch für andere Anwendungen nutzbar, bei denen Zeitreihensignale verarbeitet werden– z.B. für Anomaliedetektion oder Predictive Maintenance.

Der Chip nutzt mehrere innovative Konzepte

Durch die Verwendung von speziellen systolischen Arrays kann die zur Ablaufsteuerung benötigte Energie stark gedrückt werden. Es werden nur die drei Gewichtswerte -1, 0 und +1 verwendet sowie Normierungen mit Zweierpotenzen, was einerseits einen hochflexiblen Algorithmus erlaubt, mit denen aber andererseits die Gewichtung bzw. Normierung äußerst effizient implementiert werden kann. Der Chip enthält nicht-flüchtige Speicher, sogenannte RRAMs, samt Ultra-Low-Power-Schaltungen zum Schreiben und Lesen, die genau diese ternären Werte sehr effizient speichern können. Diese nicht-flüchtigen Speicher erlauben es, die Signalverarbeitung über lange Phasen schlafenzulegen, um keine Energie zu verbrauchen. Bei typischen Signalbandbreiten im (Sub-) kHz-Bereich fließen nämlich die Daten viel langsamer in den Chip ein, als sie verarbeitet werden können. Das Aufsammeln dieser Daten durch einen wachen Chip-Teil, während der KI-Algorithmus schläft, gefolgt vom Aufwecken – dank der RRAMs stehen alle Parameter sofort zur Verfügung – und einer kurzen KI-Verarbeitung kann deshalb bis zu 95% der Energie sparen im Vergleich zu einem »Always-On«-System.

Zusätzlich zur digitalen und analogen Schaltungsentwicklung und der ASIC-Implementierung wurde viel Wert auf eine Automatisierung des Entwurfsprozess gelegt, um gemeinsam den KI-Algorithmus und die Schaltung mit Blick auf die Energie zu optimieren. Dazu gehören auch neu entwickelte Tools für hardware-aware Training eines neuronalen Netzes, z.B. für die verwendete extreme Quantisierung. Dieser Prozess kann auch für andere Probleme und Anwendungen eingesetzt werden.

Das Projekt zeigt eindrücklich, welche Optimierungspotentiale durch eine enge Zusammenarbeit zwischen Algorithmikern und digitalen- sowie analogen Chip-Entwicklern gehoben werden können.

Pilotinnovationswettbewerb »Energieeffizientes KI-System«

Ein weiterer Preis ging an das Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM und die Technische Universität Kaiserslautern für das Projekt »Holistischer Ansatz zur Optimierung von FPGA Architekturen für tiefe neuronale Netze via AutoML – Automatisches Maschinenlernen (HALF)«.

Der Wettbewerb des Bundesministeriums für Bildung und Forschung dient als Ideenradar im Vorfeld der Gründung der Agentur für Sprunginnovationen. Zur Teilnahme am Wettbewerb hatten sich 27 Teams aus Hochschulen und Forschungseinrichtungen beworben, von denen elf Teams für die Finalrunde ausgewählt wurden. Jedes Siegerprojekt bekommt als Preis die exklusive Möglichkeit, ein Forschungsprojekt zur Umsetzung seiner Idee mit Anwendungspartnern in Höhe von 1 Million Euro einzureichen.