PrismML dévoile Bonsai 27B, premier modèle d’IA de sa taille pour iPhone

Apple’s iPhone 17 family includes my favorite hardware improvement in years

PrismML fait parler d’elle aujourd’hui grâce à une annonce de son PDG, qui a révélé à CNBC qu’Apple s’intéresse de près à la technologie de l’entreprise. Cette startup d’intelligence artificielle a dévoilé son tout nouveau modèle, le Bonsai 27B, qui promet de fonctionner sur les appareils Apple comme l’iPhone, l’iPad et le Mac.

PrismML a récemment captivé l’attention des médias, notamment suite à un article de The Information qui a jeté un regard sur les discussions en cours entre la startup et Apple. La technologie de PrismML semble susciter un fort intérêt, ouvrant la voie à des opportunités prometteuses.

Performances et Technologies

La sortie du modèle Bonsai 27B a été particulièrement attendue. Ce modèle offre des performances impressionnantes, atteignant jusqu’à 163 tok/s en 1-bit et 134 tok/s en mode ternaires sur une NVIDIA GeForce RTX 5090. Sur un M5 Max, les résultats sont également notables, avec jusqu’à 87 tok/s en 1-bit.

Cependant, intégrer cette puissance dans un téléphone est un défi. Par exemple, un iPhone de 12 Go ne permet d’utiliser qu’environ 6 Go pour l’application, partageant cet espace limité avec le cache et les activations. Le Bonsai 27B, avec son design optimisé, est le premier à pouvoir fonctionner efficacement dans ces conditions strictes.

D’après le communiqué, le modèle Bonsai 27B s’exécute de manière native sur les appareils Apple (Mac, iPhone, iPad) via MLX et sur les GPU NVIDIA grâce à CUDA. Les poids du modèle sont disponibles sous la licence Apache 2.0, ce qui marque une étape importante pour les développeurs qui souhaitent explorer son potentiel.

Relations avec Apple

Le PDG de PrismML, Babak Hassibi, a affirmé à CNBC qu’Apple est en train d’évaluer la technologie de la startup. Il a précisé que les discussions sont à un stade précoce, laissant planer le doute sur les résultats futurs. Malgré cette incertitude, il semble que les échanges se déroulent dans une atmosphère constructive.

Bien que PrismML tente de capitaliser sur ces conversations avec Apple pour accroître sa visibilité, il est prudent de rester mesuré. Les discussions entre startups et Apple sont souvent tenues secrètes, car une exposition prématurée peut donner lieu à des doutes.

Quoi qu’il en soit, PrismML a réussi à attirer l’attention des médias, renforçant ainsi sa position en tant qu’acteur clé dans le domaine de l’intelligence artificielle.