NVIDIA lance un chatbot pouvant fonctionner sur le GPU GeForce RTX de votre PC

Nvidia launches a chatbot that can run on your PC

Pourquoi est-ce important: NVIDIA a publié une application de démonstration qui exploite certaines cartes vidéo pour exécuter un chatbot IA personnel sur votre PC. Chat avec RTX fonctionne sous Windows 11 et nécessite un GPU GeForce RTX série 30 ou 40 (ou un GPU RTX Ampere ou Ada Generation). Il utilise la génération augmentée par récupération (RAG), TensorRT-LLM et l’accélération RTX pour créer un grand modèle de langage GPT personnalisé basé sur votre propre contenu unique.

Vous pouvez également lui alimenter des vidéos du Web, notamment des clips de YouTube. Branchez simplement l’URL de la vidéo source, puis posez au chatbot toute question relative au contenu de la vidéo.

Comme son nom l’indique, la génération augmentée par récupération est une technique qui améliore la précision et la fiabilité des modèles d’IA génératifs à l’aide de faits recueillis à partir de sources externes. NVIDIA propose un article complet sur le sujet pour ceux qui recherchent une compréhension plus approfondie de la technique.

YouTube video

Parce qu’il s’exécute localement plutôt que dans le cloud et qu’il est formé sur vos propres données personnelles, il doit être à la fois rapide et contextuellement pertinent. NVIDIA affirme également qu’il fournit des résultats sécurisés, ce qui est plausible étant donné qu’il ne transmet pas de données sensibles sur Internet.

Tom Warren de The Verge a passé du temps à utiliser une version préliminaire de Chat avec RTX et, même si elle était un peu approximative, l’éditeur a déclaré qu’il pouvait voir qu’il s’agissait d’un outil précieux pour les journalistes ou toute personne ayant besoin d’analyser un ensemble de données. documents.

Par exemple, Warren a pu demander au robot de résumer l’ensemble de la stratégie Xbox Game Pass de Microsoft en utilisant des documents juridiques issus de la bataille judiciaire de Redmond avec la FTC. Les choses étaient cependant un peu plus compliquées du côté de la vidéo, car l’application chargeait d’une manière ou d’une autre une transcription pour une vidéo complètement distincte au lieu de celle prévue. Notamment, ce n’était même pas une vidéo que Warren avait précédemment interrogée.

Si vous possédez un GPU GeForce 30 ou 40 Series et que vous souhaitez essayer Chat with RTX, rendez-vous sur le site Web de NVIDIA pour récupérer le fichier d’installation.

Envie de vous détendre un peu ? Voici un reportage très intéressant sur l’intelligence artificielle :

YouTube video