Comparateur
- AUTO
Il fallait s’y attendre : Meta vient de dévoiler CM3leon, un modèle d’IA générative text-to-image qui, selon la société, affiche des performances de pointe. « Grâce aux capacités de CM3leon, les outils de génération d’images peuvent produire des images plus cohérentes qui respectent mieux les prompts » écrit Meta dans un article de blog. « Nous pensons que les performances solides de CM3leon dans une variété de tâches sont un pas de plus vers la génération et la compréhension d’images plus fidèles (avec les prompts, Ndlr). »
Meta a demandé à CM3Leon de générer des images à l’aide de prompts tels que « Un petit cactus portant un chapeau de paille et des lunettes de soleil au néon dans le désert du Sahara », « Une photo en gros plan d’une main humaine, modèle de main », « Un personnage principal de raton laveur dans un Anime se préparant à une bataille épique avec une épée de samouraï » et « Un panneau d’arrêt dans un style Fantasy avec le texte ‘1991.’ »
Les IA text-to-image concurrentes (DALL-E, Midjourney, Stable Diffusion, etc.) nécessitent d’énormes capacités de calcul qui interdisent tout traitement en temps réel, mais Meta prétend avoir trouvé la parade afin d’éviter la surchauffe, sous la forme d’un mécanisme appelé « attention ». Ce mécanisme permet de « soupeser » la pertinence des données d’entrée telles que le texte ou les images, ce qui économiserait des ressources de calcul et rendrait les modèles plus facilement parallélisables. En d’autres termes, il serait possible d’entrainer CM3leon avec une masse de données toujours plus importante (ce qui garantit en majeure partie la qualité du rendu final) sans que cela ne nécessite une trop grande augmentation de la puissance de calcul. Meta affirme même que son modèle d’IA nécessite 5 fois moins de puissance de calcul (à résultat équivalent) que les modèles concurrents.
Ce gain d’efficience permet ainsi à Meta de doter CM3leon de 7 milliards de paramètres (deux fois plus que DALL-E 2) sans que cela ne ralentisse le temps de production d’une image complexe (c’est à dire créée à partir de nombreux prompts). CM3leon dispose aussi de fonctions inédites, comme le supervised fine-tuning (SFT), qui vient en quelque sorte vérifier la cohérence d’ensemble d’une image (fini les mains avec 4 doigts) et permet de modifier une image générée à la volée (« change la couleur du ciel en bleu lumineux »). Ainsi, avec le prompt « Générer une image haute qualité d’une pièce qui contient un lavabo et un miroir » accompagné d’une liste d’objets à intégrer (une bouteille, etc), CM3leon produit une image visuellement cohérente alors que DALL-E 2 omet certains des objets pourtant spécifiés dans le prompt.
L’édition d’une image en entrée se fait extrêmement intuitivement
Contrairement encore à DALL-E 2, CM3leon peut générer des légendes courtes ou longues et « répondre » aux questions sur une image particulière. Dans ce domaine, le modèle de Meta aurait même été plus performant que les modèles spécialisés de sous-titrage d’images spécialisés (Flamingo, OpenFlamingo). Meta n’a pas encore précisé quand il se déciderait à rendre CM3leon disponible.
Alors que nombre d’analystes considèrent que Starlink est désormais une division rentable de SpaceX, il semble que le fournisseur de...
Nous sommes au mois de mai et Google a déjà bouché sa cinquième faille zero-day de l’année 2024 au niveau de...
OpenAI, le créateur de ChatGPT, donne rendez-vous le 13 mai à 19 heures (heure française) pour un évènement qui sera...
Chaque jour nous dénichons pour vous des promos sur les produits High-Tech pour vous faire économiser le plus d’argent possible. Voici...
Un appareil d’imagerie par résonance magnétique (IRM), construit avec de simples pièces disponibles dans le commerce...
12 May. 2024 • 16:20
11 May. 2024 • 7:00
10 May. 2024 • 21:12
10 May. 2024 • 19:40