AMD AI-ChatBot installieren und nutzen – mit Anleitung

Diese Entwicklung folgt auf NVIDIAs Initiative vom letzten Monat, die einen KI-Chatbot für die Grafikprozessoren der GeForce RTX 40- und RTX 30-Serie vorstellte, der die TensorRT-LLM-Funktionen für schnellere GenAI-Antworten auf der Grundlage lokalisierter Datensätze nutzt.

AMD GPT-/LLM-ChatBot Installationsanleitung in Deutsch

In einem ausführlichen Blogbeitrag stellt AMD eine Anleitung für die Einrichtung seines lokalisierten GPT-basierten LLM-Chatbots zur Verfügung. Zur Einrichtung muss LM Studio für Ryzen AI CPUs oder die ROCm Technical Preview für Radeon RX 7000 GPUs heruntergeladen werden. Anschließend können die Nutzer zwischen verschiedenen KI-Modellen wie Mistral 7b oder LLAMA v2 7b für ihren Chatbot wählen. Nachfolgend die deutsche Anleitung für interessierte:

1. Lade die richtige Version von LM Studio herunter:

• Für AMD Ryzen Prozessoren: LM Studio - Windows
• Für Grafikkarten der AMD Radeon RX 7000 Grafikakrten: LM Studio - ROCm Technische Vorschau

2. Führe die Datei aus.

3. Kopiere auf der Registerkarte "Suche" den folgenden Suchbegriff und füge ihn ein, je nachdem, was du ausführen möchtest

• Wenn du Mistral 7b ausführen möchtest, suche nach: "TheBloke/OpenHermes-2.5-Mistral-7B-GGUF" und wähle es aus den Ergebnissen auf der linken Seite aus. Es ist normalerweise das erste Ergebnis. In diesem Beispiel entscheiden wir uns für Mistral.
• Wenn du LLAMA v2 7b ausführen möchtest, suche nach: "TheBloke/Llama-2-7B-Chat-GGUF" und wähle es aus den Ergebnissen auf der linken Seite aus. Es ist normalerweise das erste Ergebnis.
• Du kannst hier auch mit anderen Modellen experimentieren.

4. Scrolle auf der rechten Seite nach unten, bis du die Modelldatei Q4 K M siehst. Klicke auf Herunterladen.

• Wir empfehlen Q4 K M für die meisten Modelle auf Ryzen AI. Warte, bis der Download abgeschlossen ist.

5. Gehe zum Reiter Chat. Wähle das Modell aus dem zentralen Dropdown-Menü oben in der Mitte und warte, bis es fertig geladen ist.

6. Wenn du einen AMD Ryzen AI PC hast, kannst du anfangen zu chatten!

• Wenn du eine AMD Radeon™ Grafikkarte hast, bitte:
• Aktiviere "GPU Offload" auf der rechten Seite.
• Schiebe den Schieberegler ganz auf "Max".
• Vergewissere dich, dass AMD ROCm™ als der erkannte GPU-Typ angezeigt wird.

• Fang an zu chatten!

Fazit

AMDs Anleitung oben zeigt, wie einfach es ist, einen personalisierten Chatbot lokal auf seiner Hardware einzurichten, der Aufgaben rationalisiert und maßgeschneiderte Antworten liefert. Mit diesem Schritt beteiligt sich AMD an der rasanten Entwicklung von KI-gestützter Hardware und verspricht weitere innovative Funktionen, wenn die Technologie weiter voranschreitet. Sowohl NVIDIA als auch AMD tragen zum Wachstum der KI-Fähigkeiten in verbraucherfreundlicher Hardware bei und machen damit einen bedeutenden Schritt nach vorn bei der Integration von KI in die Alltagstechnologie.

Wer also Interesse hat, sollte dieses Modell auf jeden Fall mal lokal testen.