ROCm 6.2 Download freigegeben: Verbesserte KI-Leistung und Effizienz

KI-Inferenz mit vLLM-Unterstützung

Eines der herausragenden Merkmale von ROCm 6.2 ist die erweiterte vLLM-Unterstützung, die die KI-Inferenzfähigkeiten von AMD Instinct Accelerators verbessern soll. Diese Erweiterung befasst sich mit Herausforderungen bei der Inferenz, wie z. B. effiziente Multi-GPU-Berechnungen und reduzierte Speichernutzung. Durch die Aktivierung von Funktionen wie FP8 GEMMs und benutzerdefinierte Decode Paged Attention stellt vLLM sicher, dass KI-Modelle effizienter und effektiver ausgeführt werden.

Bessere Speichereffizienz durch Bitsandbytes-Quantisierung

Die Integration der Bitsandbytes-Quantisierungsbibliothek in ROCm verbessert die Speichereffizienz und Leistung während des KI-Trainings und der Inferenz auf AMD Instinct GPUs erheblich. Durch die Verwendung von 8-Bit-Optimierern reduziert diese Verbesserung den Speicherverbrauch und ermöglicht es Entwicklern, mit größeren Modellen auf begrenzter Hardware zu arbeiten. Die LLM.Int8()-Quantisierung optimiert die KI-Bereitstellung weiter und macht fortschrittliche KI-Funktionen für eine breitere Palette von Benutzern zugänglich.

ROCm-Installation mit dem Offline Installer Creator

Mit ROCm 6.2 wird gegenüber ROCm 6.1.3 der Offline Installer Creator eingeführt, der den Installationsprozess für Systeme ohne Internetzugang vereinfacht. Dieses Tool erstellt eine einzelne Installationsdatei, die alle erforderlichen Abhängigkeiten enthält und eine konsistente und fehlerfreie Installation gewährleistet. Die benutzerfreundliche grafische Oberfläche ermöglicht eine einfache Auswahl von ROCm-Komponenten und -Versionen und macht die Bereitstellung unkompliziert und effizient.

Omnitrace- und Omniperf-Tools

Die neuen Omnitrace- und Omniperf-Profiler-Tools, die als Betaversion verfügbar sind, bieten eine umfassende Leistungsanalyse für die KI- und HPC-Entwicklung. Omnitrace bietet einen ganzheitlichen Überblick über die Systemleistung über CPUs, GPUs, NICs und Netzwerkstrukturen hinweg, während Omniperf eine detaillierte GPU-Kernel-Analyse liefert. Diese Tools helfen Entwicklern, Engpässe zu erkennen und zu beheben und sowohl die anwendungsweite als auch die rechenkernspezifische Leistung zu optimieren.

KI-Inferenz mit breiterer FP8-Unterstützung

ROCm 6.2 verbessert die KI-Inferenz weiter, indem die FP8-Unterstützung auf das gesamte Ökosystem ausgeweitet wird. Diese Verbesserung behebt Speicherengpässe und hohe Latenzzeiten, die mit Formaten höherer Präzision verbunden sind, und ermöglicht effizientere Trainings- und Inferenzprozesse. Mit der FP8 GEMM-Unterstützung in PyTorch, JAX und anderen Frameworks können Entwickler den Durchsatz maximieren und die Latenzzeiten reduzieren, wodurch die Grenzen des Möglichen in den Bereichen KI und HPC erweitert werden.

ROCm 6.2 Download

Mit ROCm 6.2 bietet AMD weiterhin robuste Lösungen für die KI- und HPC-Community. Diese Weiterentwicklungen stellen sicher, dass Entwickler über die erforderlichen Tools und den nötigen Support verfügen, um ein beispielloses Maß an Leistung und Effizienz zu erreichen. Nutzer können von Verbesserungen durch die Installation der neuen Version profitieren. Der Download steht bereit und ist für alle frei und kostenlos zugänglich.

ROCm 6.2.0 bietet Unterstützung folgenden Betriebssystem- und Kernelversionen.

• Ubuntu 24.04 LTS (Kernel: 6.8 [GA])
• RHEL 8.10 (Kernel: 4.18.0-544)
• SLES 15 SP6 (Kernel: 6.4)

ROCm 6.2.0 markiert das Ende des Supports (EoS) für:

• Ubuntu 22.04.3
• RHEL 9.2
• RHEL 8.8
• SLES 15 SP 4

• CentOS 7.9