NVIDIA H200 NVL Grafikkarte, 144384 MB HBM3e

Die NVIDIA H200 NVL ist eine Data-Center-GPU für generative KI, LLM-Inferenz und High Performance Computing. Mit 141 GB HBM3e und einer Speicherbandbreite von 4.800 GB/s verarbeitet sie große Modelle und umfangreiche Datensätze direkt im schnellen GPU-Speicher. 16.896 CUDA Cores und 528 Tensor Cores stellen die Rechenressourcen für stark parallelisierte AI- und HPC-Workloads bereit.

• 141 GB HBM3e mit ECC für große Modelle und speicherintensive Datensätze
• 4.800 GB/s Speicherbandbreite für hohen Datendurchsatz bei AI- und HPC-Workloads
• 16.896 CUDA Cores und 528 Tensor Cores für massiv parallele Berechnungen
• PCIe 5.0 x16 und NVLink für skalierbare Multi-GPU-Konfigurationen
• Passive Dual-Slot-Kühlung für den Einsatz in dafür ausgelegten GPU-Servern

141 GB HBM3e für große Modelle und Datensätze

Bei großen Sprachmodellen und speicherintensiven HPC-Anwendungen entscheidet die verfügbare GPU-Speicherkapazität darüber, wie viele Daten direkt verarbeitet werden können. Die H200 NVL stellt dafür 141 GB HBM3e mit ECC bereit. Eine Speicherbandbreite von 4.800 GB/s sorgt dafür, dass die Recheneinheiten schnell mit Daten versorgt werden. Das ist besonders bei LLM-Inferenz, generativer KI und datenintensiven Simulationen relevant.

Rechenleistung für AI und High Performance Computing

Die Hopper-basierte GPU kombiniert 16.896 CUDA Cores mit 528 Tensor Cores. Damit stehen spezialisierte Rechenressourcen für Matrixoperationen und stark parallelisierte Workloads zur Verfügung. Unterstützt werden unter anderem FP64, FP32, TF32, BF16, FP16 und FP8. So kannst du die H200 NVL sowohl für wissenschaftliche Berechnungen als auch für AI-Modelle mit unterschiedlichen Präzisionsanforderungen einsetzen.

Für skalierbare GPU-Server ausgelegt

Über PCIe 5.0 x16 wird die H200 NVL mit dem Host-System verbunden. Für Multi-GPU-Systeme unterstützt sie Konfigurationen mit NVIDIA NVLink und bis zu 900 GB/s Verbindungsbandbreite. Bis zu sieben MIG-Instanzen mit jeweils 16,5 GB ermöglichen es außerdem, GPU-Ressourcen voneinander getrennten Workloads zuzuweisen. Die passive Dual-Slot-Kühlung setzt einen dafür ausgelegten Server mit ausreichendem Luftstrom voraus und eignet sich damit gezielt für professionelle Rechenzentrumsumgebungen.