Was es leistet: Hala Point ist das erste neuromorphe Großsystem, das bei Mainstream-KI-Arbeitslasten eine hochmoderne Berechnungseffizienz aufweist. Die Charakterisierung zeigt, dass es bis zu 20 Billiarden Operationen pro Sekunde oder 20 Petaops unterstützen kann, mit einer Effizienz von mehr als 15 Billionen 8-Bit-Operationen pro Sekunde pro Watt (TOPS/W) bei der Ausführung konventioneller tiefer neuronaler Netzwerke. Dies übertrifft das Niveau von Architekturen, die auf Grafikprozessoren (GPU) und Zentraleinheiten (CPU) basieren. Die einzigartigen Fähigkeiten von Hala Point könnten in Zukunft kontinuierliches Lernen in Echtzeit für KI-Anwendungen wie wissenschaftliche und technische Problemlösungen, Logistik, Smart-City-Infrastrukturmanagement, große Sprachmodelle (LLMs) und KI-Agenten ermöglichen.
Wie es verwendet wird: Die Forscher der Sandia National Laboratories planen, Hala Point für die Forschung im Bereich des fortgeschrittenen Brain-Scale-Computing zu nutzen. Die Organisation wird sich auf die Lösung wissenschaftlicher Berechnungsprobleme in den Bereichen Gerätephysik, Computerarchitektur, Computerwissenschaft und Informatik konzentrieren.
„Die Arbeit mit Hala Point verbessert die Fähigkeit unseres Sandia-Teams, Berechnungs- und wissenschaftliche Modellierungsprobleme zu lösen. Die Forschung mit einem System dieser Größe wird es uns ermöglichen, mit der Entwicklung der künstlichen Intelligenz in Bereichen von der Wirtschaft über die Verteidigung bis hin zur Grundlagenforschung Schritt zu halten“, sagte Craig Vineyard, Leiter des Hala Point-Teams bei den Sandia National Laboratories.
Derzeit handelt es sich bei Hala Point um einen Forschungsprototyp, der die Fähigkeiten künftiger kommerzieller Systeme verbessern wird. Intel geht davon aus, dass diese Erkenntnisse zu praktischen Fortschritten führen werden, z. B. zur Fähigkeit von LLMs, kontinuierlich aus neuen Daten zu lernen. Solche Fortschritte versprechen, den untragbaren Trainingsaufwand bei weit verbreiteten KI-Einsätzen erheblich zu reduzieren.
Warum das wichtig ist: Die jüngsten Trends bei der Skalierung von Deep-Learning-Modellen auf Billionen von Parametern haben die gewaltigen Herausforderungen für die Nachhaltigkeit von KI aufgezeigt und die Notwendigkeit von Innovationen auf den untersten Ebenen der Hardwarearchitektur verdeutlicht. Neuromorphes Rechnen ist ein grundlegend neuer Ansatz, der sich auf Erkenntnisse der Neurowissenschaften stützt und Speicher und Rechenleistung mit hochgranularer Parallelität integriert, um die Datenbewegungen zu minimieren. In den Ergebnissen, die diesen Monat auf der International Conference on Acoustics, Speech, and Signal Processing (ICASSP) veröffentlicht wurden, zeigt Loihi 2, dass die Effizienz, Geschwindigkeit und Anpassungsfähigkeit von neu entstehenden kleinen Edge-Workloads1 um Größenordnungen gesteigert werden konnte.
Hala Point ist eine Weiterentwicklung seines Vorgängers Pohoiki Springs mit zahlreichen Verbesserungen und bringt nun neuromorphe Leistungs- und Effizienzsteigerungen für herkömmliche Deep-Learning-Modelle, insbesondere für die Verarbeitung von Echtzeit-Workloads wie Video, Sprache und drahtlose Kommunikation. Ericsson Research setzt Loihi 2 beispielsweise ein, um die Effizienz der Telekommunikationsinfrastruktur zu optimieren, wie auf dem diesjährigen Mobile World Congress gezeigt wurde.
Über Hala Point: Die neuromorphen Loihi 2-Prozessoren, die die Grundlage für Hala Point bilden, nutzen vom Gehirn inspirierte Rechenprinzipien wie asynchrone, ereignisbasierte neuronale Netze (SNNs), integrierte Speicher und Rechenleistung sowie spärliche und sich ständig ändernde Verbindungen, um den Energieverbrauch und die Leistung um Größenordnungen zu steigern. Die Neuronen kommunizieren direkt miteinander und nicht über den Speicher, was den Gesamtstromverbrauch senkt.
Hala Point packt 1.152 Loihi 2 Prozessoren, die auf Intel 4 Prozessknoten hergestellt werden, in ein Rechenzentrumsgehäuse mit sechs Racks von der Größe eines Mikrowellenofens. Das System unterstützt bis zu 1,15 Milliarden Neuronen und 128 Milliarden Synapsen, die auf 140.544 neuromorphe Rechenkerne verteilt sind und maximal 2.600 Watt Strom verbrauchen. Darüber hinaus umfasst es über 2 300 eingebettete x86-Prozessoren für zusätzliche Berechnungen.
Hala Point integriert Verarbeitungs-, Speicher- und Kommunikationskanäle in einer massiv parallelisierten Struktur, die eine Speicherbandbreite von insgesamt 16 Petabyte pro Sekunde (PB/s), eine Kommunikationsbandbreite von 3,5 PB/s zwischen den Kernen und eine Kommunikationsbandbreite von 5 Terabyte pro Sekunde (TB/s) zwischen den Chips bietet. Das System kann über 380 Billionen 8-Bit-Synapsen und über 240 Billionen Neuronenoperationen pro Sekunde verarbeiten.
Angewandt auf bioinspirierte Spiking-Neural-Network-Modelle kann das System seine volle Kapazität von 1,15 Milliarden Neuronen 20-mal schneller ausführen als ein menschliches Gehirn und bei geringerer Kapazität bis zu 200-mal schneller. Hala Point ist zwar nicht für neurowissenschaftliche Modellierung gedacht, aber seine Neuronenkapazität entspricht in etwa der eines Eulengehirns oder des Kortex eines Kapuzineräffchens.
Loihi-basierte Systeme können KI-Inferenzen durchführen und Optimierungsprobleme mit 100-mal weniger Energie und bis zu 50-mal schneller als herkömmliche CPU- und GPU-Architekturen lösen1. Durch die Ausnutzung einer spärlichen Konnektivität von bis zu 10:1 und einer ereignisgesteuerten Aktivität zeigen erste Ergebnisse zu Hala Point, dass das System eine Effizienz von bis zu 15 TOPS/W2 für tiefe neuronale Netze erreichen kann, ohne dass Eingabedaten in Stapeln gesammelt werden müssen – eine übliche Optimierung für GPUs, die die Verarbeitung von in Echtzeit ankommenden Daten, wie z. B. Videos von Kameras, erheblich verzögert. Zukünftige neuromorphe LLMs, die zu kontinuierlichem Lernen fähig sind, befinden sich zwar noch in der Forschungsphase, könnten jedoch Energieeinsparungen im Gigawattstundenbereich ermöglichen, da ein regelmäßiges Neutraining mit ständig wachsenden Datensätzen nicht mehr erforderlich ist.
Was kommt als Nächstes? Die Auslieferung von Hala Point an die Sandia National Labs markiert den ersten Einsatz einer neuen Familie neuromorpher Forschungssysteme in großem Maßstab, die Intel mit seinen Forschungskollegen teilen will. Die weitere Entwicklung wird es neuromorphen Computeranwendungen ermöglichen, Leistungs- und Latenzbeschränkungen zu überwinden, die den Einsatz von KI-Funktionen in der realen Welt und in Echtzeit begrenzen.
Gemeinsam mit einem Ökosystem von mehr als 200 Mitgliedern der Intel Neuromorphic Research Community (INRC), darunter führende akademische Gruppen, Regierungslabors, Forschungseinrichtungen und Unternehmen weltweit, arbeitet Intel daran, die Grenzen der vom Gehirn inspirierten KI zu erweitern und diese Technologie in den kommenden Jahren von Forschungsprototypen zu branchenführenden kommerziellen Produkten weiterzuentwickeln.
1 Siehe „Efficient Video and Audio Processing with Loihi 2“, International Conference on Acoustics, Speech, and Signal Processing, April 2024, und „Advancing Neuromorphic Computing with Loihi: Survey of Results and Outlook“, Proceedings of the IEEE, 2021.
2 Die Charakterisierung wurde mit einem mehrschichtigen Perzeptron-Netzwerk (MLP) mit 14.784 Schichten, 2048 Neuronen pro Schicht und 8-Bit-Gewichten durchgeführt, die mit Zufallsrauschen stimuliert wurden. Die Hala Point-Implementierung des MLP-Netzes wurde auf eine 10:1-Darstellung mit Sigma-Delta-Neuronenmodellen beschnitten, die Aktivierungsraten von 10 Prozent liefern. Ergebnisse zum Zeitpunkt des Tests im April 2024. Die Ergebnisse können variieren.
– – – – –
Weiterführende Links
Foto: Intel
