HBM2e ist ein Standard für Hochleistungs-Computerspeicher, dessen Name eine Abkürzung des englischen „High Bandwidth Memory 2 enhanced“ ist, was „Verbesserter Speicher mit hoher Bandbreite 2“ bedeutet. Im Gegensatz zu herkömmlichen Speichern, deren Chips nebeneinander auf einer Platine angeordnet sind, sind HBM-Speicherchips vertikal übereinander gestapelt. Diese Anordnung ermöglicht die Schaffung eines sehr breiten Kommunikationspfades, eines sogenannten Speicherbusses, der große Datenmengen gleichzeitig übertragen kann. Zusätzlich ist der Speicher auf einer gemeinsamen Basis, einem „Interposer“ genannten Siliziumsubstrat, in unmittelbarer Nähe des Hauptrechenchips, beispielsweise eines Grafikprozessors (GPU), platziert. Die kurze Entfernung reduziert die Latenz bei der Datenübertragung und den Energieverbrauch. Im Bereich der künstlichen Intelligenz ist ein hoher Datendurchsatz entscheidend für die effiziente Datenversorgung der Recheneinheiten, wodurch deren Leerlauf verhindert und ihre volle Leistung beim Training und Betrieb komplexer Modelle genutzt werden kann. Der Buchstabe „e“ im Namen kennzeichnet eine verbesserte Version des HBM2-Standards, die höhere Übertragungsgeschwindigkeiten bietet. Um den Unterschied zu herkömmlichem Gaming-Grafikspeicher zu verstehen, ist ein Vergleich mit GDDR-Speicher (Graphics Double Data Rate), etwa GDDR6 oder GDDR7, hilfreich. GDDR besteht aus einzelnen Chips, die auf der Platine rund um den Grafikkern angeordnet sind, und setzt auf sehr hohe Taktfrequenzen bei einer relativ schmalen Busbreite (typischerweise 32 Bit pro Chip). Speicher der HBM-Familie gehen den umgekehrten Weg. Sie arbeiten mit niedrigeren Taktraten, übertragen aber dank vertikal gestapelter Chips und eines extrem breiten Busses (1024 Bit oder mehr pro Stack) mehr Daten gleichzeitig. Das Ergebnis ist bei HBM eine deutlich höhere Gesamtdatenbandbreite und ein besseres Leistungs-pro-Watt-Verhältnis, was für Rechenzentren und das KI-Training entscheidend ist. GDDR ist dagegen günstiger, einfacher zu fertigen und in der Kapazität leichter zu skalieren, weshalb es bei Gaming- und Consumer-Grafikkarten überwiegt.
