Meta Llama 3 LLM kostenlos lokal auf AMD Grafikkarten oder CPU betreiben

Der jüngste Durchbruch ist die Veröffentlichung des Meta-Modells Llama 3, des bisher fortschrittlichsten Open-Source-KI-Modells von Meta. Llama 3, das in Varianten mit 8 Milliarden und 70 Milliarden Parametern erhältlich ist, schneidet in Benchmarks wie HumanEval, GPQA, GSM-8K, MATH und MMLU hervorragend ab. Die 8-Milliarden-Parameter-Variante ist perfekt für Client-Anwendungen, während die 70-Milliarden-Parameter-Variante für Rechenzentren und Cloud-Anwendungen optimiert ist.

Llama 3 LLM auf AMD Hardware betreiben

AMD Kunden können die Leistung von Llama 3 LLM jetzt direkt auf ihren Geräten erleben, ohne dass sie Programmierkenntnisse benötigen. Nutzer mit Ryzen AI-basierten PCs oder Grafikkarten der AMD Radeon 7000 Serie können Llama 3 lokal ausführen und so die fortschrittlichen Fähigkeiten ihrer Hardware nutzen.

Die Prozessoren der AMD Ryzen Mobile 7040 Serie und der AMD Ryzen Mobile 8040 Serie sind mit einer Neural Processing Unit (NPU) ausgestattet, die speziell für KI-Workloads entwickelt wurde. Diese Prozessoren liefern bis zu 16 TOPs an KI-Leistung und sorgen für maximale Energieeffizienz bei der Ausführung von KI-Aufgaben. Außerdem integrieren die Ryzen AI APUs sowohl die CPU als auch die iGPU, um On-Demand-Aufgaben effektiv zu bewältigen.

Schritt-für-Schritt-Anleitung für die Ausführung von Llama 3 auf AMD Hardware

AMD hat es den Nutzern leicht gemacht, Metas Llama 3 Instruct 8 Milliarden Parameter Modell auf ihrer Hardware laufen zu lassen. Hier ist eine unkomplizierte Anleitung:

• LM Studio herunterladen: Besorge dir die passende Version von LM Studio für dein System. Für AMD Grafikkarten, muss diese Version mit ROCm geladen werden.
• Ausführen der Datei: Installiere die heruntergeladene Datei und führe sie aus.
• Llama 3 Modell herunterladen: Klicke auf die Schaltfläche "Download" auf der Llama 3 - 8B Instruct card.
• Zugang zum Chat-Interface: Nach dem Download klickst du auf das Chat-Symbol auf der linken Seite des Bildschirms.
• Wähle das Llama 3 Modell: Wähle Llama 3 aus der Dropdown-Liste oben in der Mitte.
• Akzeptiere die Systemaufforderung: Wenn du dazu aufgefordert wirst, wähle "Accept New System Prompt".
• Beginne mit dem Chatten: Wenn du einen AMD Ryzen AI-basierten PC verwendest, kannst du sofort mit dem Chatten beginnen.

Für Benutzer mit AMD Radeon™ 7000er Grafikkarten befolge diese zusätzlichen Schritte: - Erweiterte Konfiguration: Klicke auf der rechten Seite auf "Erweiterte Konfiguration". - Hardware-Einstellungen anpassen: Scrolle zu "Hardware-Einstellungen", stelle sicher, dass "GPU-Offload" ausgewählt ist, und stelle den Schieberegler auf Max. Klicke auf "Modell neu laden, um die Konfiguration zu übernehmen", wenn du dazu aufgefordert wirst. - Beginne mit dem Chatten: Beginne mit Metas neuem Chatbot Llama 3 zu interagieren.

Fortschrittliche KI für alle

AMD hilft seinen Kunden damit, die KI-Technologie live zu testen und lokal zu betreiben. KI-PCs ermöglichen es den Nutzern, das Wachstum von KI-Anwendungen zu erschließen. Hat die Installation für dich gut geklappt? Lass es uns in den Kommentaren wissen.