NVIDIA H100 NVL 94GB GPU-Rechenprozessor passiv
Die NVIDIA® H100 NVL Tensor Core GPU ist mit ihrer hohen Rechendichte, hohen Speicherbandbreite, hohen Energieeffizienz und einzigartigen NVLink-Architektur die am besten optimierte Plattform für LLM-Inferenzen. Sie bietet außerdem eine beispiellose Beschleunigung, um die leistungsstärksten elastischen Rechenzentren der Welt für KI-, Datenanalyse- und High-Performance-Computing-Anwendungen (HPC) zu betreiben.Die NVIDIA H100 NVL Tensor Core-Technologie unterstützt eine breite Palette mathematischer Genauigkeiten und bietet einen einzigen Beschleuniger für jede Rechenlast. Die NVIDIA H100 NVL unterstützt Rechenaufgaben mit doppelter Genauigkeit (FP64), einfacher Genauigkeit (FP32), halber Genauigkeit (FP16), 8-Bit-Gleitkommazahlen (FP8) und Ganzzahlen (INT8). Die NVIDIA H100 NVL-Karte ist eine 10,5-Zoll-PCI-Express-Gen5-Karte mit zwei Steckplätzen, die auf der NVIDIA Hopper™-Architektur basiert. Zur Kühlung wird ein passiver Kühlkörper verwendet, der einen Systemluftstrom benötigt, um die Karte innerhalb ihrer thermischen Grenzen ordnungsgemäß zu betreiben.Die NVIDIA H100 NVL arbeitet uneingeschränkt bis zu ihrer maximalen thermischen Leistungsaufnahme (TDP) von 400 W, um Anwendungen zu beschleunigen, die die schnellste Rechengeschwindigkeit und den höchsten Datendurchsatz erfordern. Die NVIDIA H100 NVL bietet die weltweit höchste PCIe-Kartenspeicherbandbreite von fast 4.000 Gigabyte pro Sekunde (GBps). Dies beschleunigt die Lösungszeit für die größten Modelle und die umfangreichsten Datensätze. Die NVIDIA H100 NVL-Karte verfügt über Multi-Instance GPU (MIG)-Fähigkeit. Damit kann die GPU in bis zu sieben hardwareisolierte GPU-Instanzen aufgeteilt werden, wodurch eine einheitliche Plattform bereitgestellt wird, die es flexiblen Rechenzentren ermöglicht, sich dynamisch an wechselnde Arbeitslastanforderungen anzupassen.Außerdem kann sie die richtige Ressourcengröße für die kleinsten bis zu den größten Multi-GPU-Jobs zuweisen. Dank der Vielseitigkeit von NVIDIA H100 NVL können IT-Manager den Nutzen jeder Grafikverarbeitungseinheit (GPU) in ihrem Rechenzentrum maximieren. NVIDIA H100 NVL-Karten verwenden drei NVIDIA® NVLink®-Brücken. Sie sind dieselben wie die, die bei NVIDIA H100 PCIe-Karten verwendet werden. Dadurch können zwei NVIDIA H100 PCIe-Karten angeschlossen werden, um eine bidirektionale Bandbreite von 600 GB/s oder die 10-fache Bandbreite von PCIe Gen4 zu liefern und so die Anwendungsleistung für große Arbeitslasten zu maximieren.
