KI-Sprachgenerator kostenlos lokal auf Grafikakrten betreiben Bild © NVIDIAKI-Sprachgenerator kostenlos lokal auf Grafikakrten betreiben (Bild © NVIDIA)

ChatRTX arbeitet direkt auf den lokalen NVIDIA GeForce GPUs und benötigt keine Internetverbindung, so dass die Nutzer/innen mehr Privatsphäre und volle Kontrolle über ihre Daten haben. Diese lokale Verarbeitungsfunktion ermöglicht es dem Tool, Daten aus lokalen Verzeichnissen wie Textdateien und Dokumenten zu scannen und zu analysieren, was es zu einer äußerst sicheren Option für sensible Informationen macht.

Zu den neuen Funktionen von ChatRTX gehören die Spracherkennung, die mehrere Sprachen unterstützt, und die Möglichkeit, Antworten in verschiedenen Sprachen zu geben. Es unterstützt neuere LLMs wie Mistral 7B INT4 und Llama 2 7B INT4 sowie das neueste KI-Modell von Google, Gemma. Eine bemerkenswerte Neuerung ist die Möglichkeit, mit dem CLIP-Modell von OpenAI nach Bildern in lokalen Verzeichnissen zu suchen, was die Vielseitigkeit des Tools erhöht.

Allerdings unterstützt ChatRTX derzeit keine Folgefragen und kann nur einzelne Anfragen auf einmal bearbeiten. Außerdem kann es zu Kompatibilitätsproblemen mit der webbasierten Benutzeroberfläche in Firefox-Browsern kommen.

ChatRTX installieren

Nutzer sollten beachten, dass das Tool viel Speicherplatz benötigt: ein 11 GB großer Download, der nach der Installation auf 35 GB anwächst. Derzeit ist ChatRTX nur mit den NVIDIA GeForce RTX 30- und RTX 40-Grafikprozessoren kompatibel und benötigt mindestens 8 GB VRAM und 16 GB Systemspeicher, um zu funktionieren.

NVIDIA entwickelt ChatRTX weiter und bietet damit eine leistungsstarke Option für Nutzer/innen, die fortschrittliche KI-Funktionen direkt von ihrem Desktop aus nutzen wollen, ohne die Datensicherheit zu gefährden.