Was ist Chat with RTX?

Ein fertig trianeirtes KI-Modell kann auf Hardwarte ausgeführt und damit benutzt werden. Komplexe KI-Modelle, zu denen auch große Sprachmodelle mit Milliarden von Parametern gehören, lagen außerhalb der Reichweite der meisten privaten Computer. Mit "Chat with RTX" will NVIDIA diese Lücke schließen, indem es den Nutzern ermöglicht, eine abgespeckte Version dieser KI-Modelle lokal zu betreiben und so ein privateres und reaktionsschnelleres KI-Chat-Erlebnis zu schaffen.

KI-Sprachgenerator kostenlos lokal auf Grafikakrten betreibenKI-Sprachgenerator kostenlos lokal auf Grafikakrten betreiben (Bild © NVIDIA)

LLM lokal betreiben mit Chat with RTX

Dieser lokale Betrieb macht die Verarbeitung von Daten auf entfernten Servern überflüssig und bietet den Nutzern ein neues Maß an Privatsphäre und Kontrolle über ihre Interaktionen. "Chat with RTX" unterstützt eine Vielzahl von Dateiformaten für die Eingabe, darunter Text, PDF, DOC/DOCX und XML, so dass die KI differenzierte und kontextbezogene Antworten generieren kann. Sie kann auf das Wissen großer Sprachmodelle wie Mistral oder Llama2 zurückgreifen und sogar Online-Materialien wie YouTube-Videos zur Erstellung ihrer Antworten heranziehen.

Die Einrichtung von "Chat with RTX" ist dank der Bemühungen von NVIDIA, das Benutzererlebnis durch eine browserbasierte Anwendung zu vereinfachen, sehr einfach. Dieser Ansatz macht fortschrittliche KI-Chat-Funktionen für ein breiteres Publikum zugänglich, ohne dass komplexe Konfigurationen erforderlich sind.

KFA2 GeForce RTX 4070 SUPER OC 2X Test-ReviewKFA2 GeForce RTX 4070 SUPER OC 2X Test-Review (Bild © PCMasters.de)

Kompatible Grafikkarten

Die Kompatibilität für "Chat with RTX" ist derzeit auf die NVIDIA-Grafikprozessoren der Serien GeForce RTX 30 und 40 beschränkt, die mindestens 8 GB VRAM benötigen. Diese Spezifikation bedeutet, dass Modelle wie die GeForce RTX 3050 6GB nicht unterstützt werden. NVIDIA plant, die Chat-Funktion kostenlos zum Download anzubieten und verspricht damit eine einzigartige Möglichkeit für GPU-Besitzer, die Fähigkeiten der KI direkt auf ihrem PC zu erkunden.

Wer sich für diese innovative Funktion interessiert, wird bald über die offiziellen Kanäle von NVIDIA weitere Informationen und Download-Optionen erhalten.

Chat with RTX Systemanforderungen

  • Plattform: Windows
  • Grafikakrte: NVIDIA GeForce RTX 30 oder 40 Series GPU oder NVIDIA RTX Ampere oder Ada Generation GPU mit mindestens 8 GB VRAM
  • RAM: 16 GB oder mehr
  • Betriebssystem: Windows 11
  • Treiber: 535.11 oder höher