Cette semaine, Apple Intelligence a fait son entrée en version bêta, révélant des détails fascinants sur ses modèles d’intelligence artificielle. Un aspect surprenant : l’utilisation des puces Tensor de Google pour entraîner deux de ses modèles. Une lecture enrichissante pour ceux qui s’intéressent aux innovations technologiques d’Apple et aux synergies inattendues.
Apple Intelligence est arrivé en version bêta cette semaine et l’entreprise a publié un aperçu détaillé de la manière dont certaines de ses fonctionnalités d’intelligence artificielle ont été créées. Un détail clé ? Deux des modèles fondateurs d’Apple ont été créés à l’aide de puces fabriquées par Google.
Le premier aperçu approfondi du développement d’Apple Intelligence
Apple a tendance à éviter de partager de nombreux détails sur ses pratiques internes en matière de développement de produits. Cependant, grâce aux fonctionnalités d’IA et de ML, l’entreprise publie depuis longtemps ses recherches à la vue de tous.
La dernière publication s’intitule « Apple Intelligence Foundation Language Models » et constitue l’un des premiers articles depuis l’introduction d’Apple Intelligence lors de la WWDC.
Le document a été rédigé par des chercheurs et pour des chercheurs, il n’est donc pas le plus simple à analyser. Cependant, un détail intéressant concerne les puces utilisées pour entraîner deux des modèles de langage d’Apple Intelligence.
Dans ce rapport, nous détaillerons comment deux de ces modèles – AFM-on-device (AFM pour Apple Foundation Model), un modèle de langage à 3 milliards de paramètres, et AFM-server, un modèle de langage plus vaste basé sur un serveur – ont été construits et adaptés pour effectuer des tâches spécialisées de manière efficace, précise et responsable. Ces deux modèles de base font partie d’une famille plus large de modèles génératifs créés par Apple pour aider les utilisateurs et les développeurs ; cela comprend un modèle de codage (basé sur un modèle de langage AFM) pour intégrer l’intelligence dans Xcode, ainsi qu’un modèle de diffusion pour aider les utilisateurs à s’exprimer visuellement, par exemple, dans l’application Messages.
Utiliser les puces Google pour entraîner les modèles Apple
Les deux modèles mentionnés, AFM-on-device et AFM-server, n’ont pas été formés à l’aide des puces Apple Silicon internes d’Apple.
Au lieu de cela, Apple s’est tourné vers les puces Tensor de Google, comme celles que l’on trouve dans les téléphones Pixel, pour entraîner ses modèles. Et selon le document, il a fallu beaucoup de puces Tensor pour faire le travail.
- L’AFM sur appareil a nécessité 2 048 puces TPUv5p lors de sa formation
- Le modèle de serveur AFM plus grand nécessitait 8 192 puces TPUv4
Il est intéressant qu’Apple ait opté pour les puces Tensor de Google plutôt que pour les puces Nvidia sur lesquelles d’autres entreprises ont tendance à s’appuyer.
L’article n’entre pas dans les explications à ce sujet, mais peut-être que de futures publications le feront.
Que penser de cette nouvelle ? Sans plus de détails de la part d’Apple, il est difficile de savoir quoi penser.
Sachant qu’Apple préfère effectuer autant de travail que possible en interne, il est très possible que la société soit déjà passée de Google Tensor pour la formation des modèles et utilise une version avancée d’Apple Silicon.
Quoi qu’il en soit, cela signifie que l’iPhone devient beaucoup plus intelligent avec Apple Intelligence, en partie grâce à Google.