Lightelligence Kolibri niedrig

Aug 13, 2023

Auf der Hot Chips 2023 stellte Lightelligence seine Hummingbird-Engine für optische Verbindungen mit geringer Latenz vor. Es ist uns gelungen, eines außerhalb des Auditoriums zu finden, von dem wir einen Schnappschuss für ein Titelbild machen konnten.

Da dies jedoch in Echtzeit geschrieben wird, entschuldigen Sie bitte Tippfehler.

Dies ist eine weitere Tabelle, die zeigt, dass der KI-Rechenbedarf die Transistorskalierung bei weitem übersteigt.

Lightelligence konzentriert sich auf die Verbesserung der Optik im Computerbereich. Heute spricht das Unternehmen über das Optical NOC. Dabei werden ein Testchip und eine Testkarte verwendet, die wir draußen gesehen haben, aber das ist nur ein Teil des Portfolios des Unternehmens.

Das Unternehmen gibt an, dass die Erstellung domänenspezifischer Architekturen für bestimmte numerische Formate, Mathematik und Parallelität ein Bereich zur Leistungsverbesserung sei.

Ein weiterer Bereich zur Leistungssteigerung ist das Hinzufügen von mehr Silizium zu Gehäusen.

Die Verbindungen, die elektrische Signale nutzen, gelten als ineffizient.

Hier spricht Lightelligence von einem Optical Network-on-Chip oder oNOC. Die Idee besteht darin, Licht anstelle elektrischer Signalisierung auf einer Verpackung zu verwenden, um die Effizienz zu steigern.

Es ermöglicht auch verschiedene Arten von Topologien, da die optischen Wellenleiter größere Entfernungen überbrücken können.

Es ermöglicht eine bessere Skalierung mit zunehmendem Abstand zwischen den Chiplets. Das ist wichtig, da die Herstellung von Chiplets zwar kostengünstiger sein kann, sie dann aber zu Paketen verbunden werden müssen.

Hummingbird ist das Beispiel für die Verwendung des oNOC. Es verfügt über ein FPGA, einen externen Laser und einen SiP eines Drittanbieters auf einer Karte. Dieses oNOC ermöglicht Dinge wie eine All-to-All-Übertragung.

Hummingbird konzentriert sich auf die Bereitstellung optischer Konnektivität auf einem Paket mithilfe eines photonischen integrierten Schaltkreises oder PIC zusammen mit elektronischen Siliziumchips.

Der Interposer versorgt die Chips mit Strom. Der untere PIC ist die optische Komponente. Der EIC liegt erneut an der Spitze. Bei diesem SiP handelt es sich um eine SIMD-Architektur mit einer benutzerdefinierten ISA mit Clustern aus acht Kernen.

Der große Unterschied ist das optische Rundfunknetz mit der U-förmigen Struktur. Dadurch kann jeder Kern jeden anderen Kern aktualisieren, ohne dass es zu Wellenleiterkreuzungen im PIC kommt.

Hier ist die Mikroarchitektur des Kerns. Dies ist ein AI-DSA-Inferenzkern. Jeder andere Kern kann seine Daten über den oNOC empfangen und auch jeder Kern kann seine Daten über den oNOC quantisieren und senden.

Hier sind die Kennzahlen zum Hummingbird.

Hier ist ein System mit Hummingbird in einem PCIe-GPU-Gehäuse.

Hier sind die Leistungskennzahlen.

Lightelligence gibt an, Chips unterschiedlicher Größe nähen zu können. Es scheint, dass es sich darauf konzentriert, etwas zu entwickeln, das über einen Chip mit beschränkter Rektilität wie den NVIDIA H100 hinausgeht.

Hier noch einmal die Lösungen:

Der Einsatz von 3D-Verpackungen wird diese Technologie interessanter machen. Die nächste Frage ist natürlich, ob andere Unternehmen dies für die Kommunikation zwischen Chips anstreben oder ob andere Arten von Technologien die Oberhand gewinnen werden. Dies ist eine interessante Technologie, aber viele der großen Anbieter beschäftigen sich auch mit optischen Technologien.

Hoffentlich erhalten wir bei einem zukünftigen Hot Chips ein Update.