Die Bow POD Systeme stellen Rechenleistung für KI-Anwendungen zur Verfügung, von GPT (Generative Pre-trained Transformer) und BERT (Bidirectional Encoder Representations from Transformers) für die Verarbeitung natürlicher Sprache über EfficientNet und ResNet für Computer Vision bis hin zu Graph Neural Networks.
Das Bow POD256 System bietet mehr als 89 PetaFLOPS an KI-Rechenleistung, während das Superscale Bow POD1024 System 350 PetaFLOPS an KI-Rechenleistung bereitstellt. Das Bow POD16 System bietet laut Graphcore eine mehr als fünffach höhere Leistung als ein vergleichbares Nvidia DGX A100-System.
Wie funktioniert 3D-Wafer-on-Wafer Technologie?
Basis für die Systeme ist der 3D-Wafer-on-Wafer im Bow IPU-Prozessor, der das Kernstück der Bow POD Systeme bildet. Graphcore ist nach eigenen Angaben der erste Kunde für die 3D Wafer-on-Wafer Technologie von TSMC, die gemeinsam entwickelt wurde.
Bei Wafer-on-Wafer in der Bow IPU werden zwei Wafer miteinander zu einem neuen 3D-Die verbunden: ein Wafer für die KI-Berechnungen, dessen Architektur mit der des GC200 IPU-Prozessors mit 1.472 unabhängigen IPU-Core-Tiles kompatibel ist und mehr als 8.800 Threads ausführen kann, mit 900 MB internem Prozessorspeicher, und ein zweiter Wafer mit Power-Delivery-Die.
Durch Hinzufügen von Deep-Trench-Kondensatoren im Power-Delivery-Die, direkt neben den Prozessorkernen und dem Speicher, kann Leistung effizienter bereitstellt werden, wodurch laut Graphcore 350 TeraFLOPS an KI-Rechenleistung und 40% mehr Leistung erzielt werden. Durch die Zusammenarbeit mit TSMC wurde die Technologie einschließlich einiger Technologien im Back Side Through Silicon Via-(BTSV-) und Wafer-on-Wafer-(WoW-)Hybrid-Bonding qualifiziert.
Kompatibilität
Die Rackeinheit Bow 2000 – der Grundstein eines jeden Bow POD Systems – basiert auf der gleichen robusten Systemarchitektur wie die IPU-M2000 Rackeinheit der zweiten Generation. Jedoch bietet diese jetzt vier Bow IPU Prozessoren mit 1,4 PetaFLOPS KI-Rechenleistung. Die Bow 2000 ist mit vorhandenen IPU-POD-Systemen vollständig rückwärtskompatibel und bietet die gleiche IPU-Fabric im selben 1HE-Formfaktor.
Für Nutzer, die bereits IPUs verwenden, erfolgt der Übergang zu den Bow POD Systemen nahezu nahtlos. Durch den Software-Stack Poplar und die Bibliothek mit IPU-optimierten Modellen werden automatisch die Vorteile sämtlicher Funktionen von Bow POD Systemen genutzt.
Kombiniert mit einer Auswahl an Hostservern von Anbietern wie Dell, Atos, Supermicro, Inspur und Lenovo zur Bildung von Bow POD Systemen ist die Bow 2000 der grundlegende Baustein für die komplette Bow POD Familie - vom Bow POD16 mit vier Bow 2000 und einem Hostserver, über den Bow POD32 (acht Bow 2000 und ein Hostserver) bis hin zum Bow POD64 und den größeren Spitzensystemen – dem Bow POD256 und dem Bow POD1024.
