Récemment, Apple a organisé un événement captivant sur les avancées en matière de traitement du langage naturel (NLP). Cette rencontre de deux jours a été l’occasion pour des spécialistes d’explorer diverses recherches et d’échanger des idées novatrices. Voici un aperçu des discussions et des découvertes marquantes qui ont eu lieu.
Les enjeux du traitement du langage naturel
Le Workshop on Natural Language and Interactive Systems 2025, qui s’est tenu les 15 et 16 mai, a mis en lumière trois axes principaux en rapport avec le NLP :
- Systèmes interactifs de langage parlé
- Entraînement et alignement des LLM
- Agents linguistiques
Une diversité de chercheurs, issus d’universités réputées comme MIT et Stanford, ainsi que d’entreprises telles que Microsoft et Google, ont présenté leurs travaux récents. Cette pluralité d’approches offre un panorama enrichissant des défis et des innovations en cours.
Les études saisissantes présentées
Yarin Gal, professeur associé à l’Université d’Oxford, a abordé deux études fondamentales : la société des modèles AI et la détection des hallucinations des LLM. La première remet en question la pérennité des données en ligne pour l’entraînement des LLM, signalant que la multiplication du contenu généré par ces modèles pourrait nuire à leurs capacités de raisonnement. La solution, propose-t-il, réside dans des outils permettant de différencier le contenu produit par des humains et celui créé par l’IA.
La seconde étude vise à mieux évaluer la confiance des LLM en leur réponse, en générant plusieurs réponses puis en les regroupant par signification sémantique. Une approche prometteuse pour affiner la précision des réponses au sein de conversations prolongées.
Des avancées prometteuses dans l’apprentissage automatique
Kevin Chen, chercheur en apprentissage automatique chez Apple, a exposé une méthode innovante d’apprentissage par renforcement pour des agents LLM. Il a présenté son approche LOOP, qui permet à un agent de réaliser des tâches complexes en apprenant de ses propres erreurs. L’objectif est de maximiser sa performance au fil de l’expérience, un pas important vers des interactions utilisateur plus précises.
Enfin, un point marquant de la présentation d’Irina Belousova, responsable technique chez Apple, a été le streaming spéculatif. Cette technique permet à de petits modèles de générer des réponses de haute qualité en s’appuyant sur des modèles plus grands. Un vrai gain en termes de mémoire et de rapidité, tout en simplifiant l’infrastructure de déploiement.
Pour approfondir, n’hésitez pas à visionner les vidéos des présentations et à explorer la liste complète des études de cet événement marquant.