Image : capture d’écran [Image de code informatique sur un moniteur]Apple a discrètement lancé un nouveau modèle d’intelligence artificielle sur Hugging Face avec une approche intrigante. Plutôt que de générer du code de manière traditionnelle, DiffuCoder-7B-cpGRPO peut écrire de manière désordonnée, améliorant simultanément plusieurs segments de code.
Ce modèle d’Apple promet une génération de code plus rapide, rivalisant avec les modèles de codage open-source les plus performants. Mais comment cela fonctionne-t-il ?
Les aspects techniques
Afin de comprendre ce modèle, voici quelques concepts simplifiés :
Autoregression
Traditionnellement, la plupart des modèles de langage sont autoregressifs. Cela signifie qu’ils traitent d’abord la question, puis prédisent séquentiellement les tokens de réponse, de gauche à droite.
Température
Les modèles de langage contrôlent la variabilité des réponses grâce à un paramètre de température. Une température basse privilégie les tokens les plus probables, tandis qu’une température élevée donne plus de liberté au modèle.
Diffusion
Les modèles de diffusion, souvent utilisés dans les applications d’image, partent d’une image floue et la clarifient progressivement pour se rapprocher de la demande de l’utilisateur. Cette méthode commence à être explorée pour la génération de texte, offrant des résultats prometteurs.
L’intérêt réside dans cette capacité à raffiner globalement un texte, ce qui est particulièrement bénéfique pour le codage où la structure globale est primordiale.
Apple et son nouveau modèle
Développé sur la base d’un modèle open-source de Alibaba, Apple a apporté ses propres ajustements pour créer un modèle de génération de code basé sur la diffusion. Ce modèle, nommé DiffuCoder-7B-cpGRPO, utilise la notion de coupled-GRPO pour générer du code de haute qualité avec moins de passes. Résultat : du code généré plus rapidement et en cohérence globale.
Malgré ses performances prometteuses contre certains modèles de diffusion, le modèle d’Apple ne rivalise pas encore avec GPT-4 de OpenAI.
Néanmoins, en avançant à petits pas, la Pomme affine ses efforts en matière d’IA générative, laissant présager des développements captivants pour le futur des développeurs et utilisateurs.
