La startup d’Intelligence Artificielle dirigée par Elon Musk, xAI Corp, a dévoilé dans la nuit du vendredi 15 avril 2024 son premier modèle multimodal : Grok 1.5V. La guerre des chatbots d’IA générative n’est donc pas près de faiblir. On fait le point sur cette nouvelle sortie.
Un modèle spécialisé dans le « raisonnement multidisciplinaire »
Baptisé Grok-1.5 Vision ou Grok-1.5V, le modèle piloté par Elon Musk dépasse largement les capacités du précédent grand modèle de langage Grok-1, puisqu’il peut non seulement traiter du texte mais également comprendre des contenus visuels, notamment des documents qui lui sont présentés, des photos, des captures d’écran, des graphiques, des diagrammes, etc.
Selon xAI Corp, ce nouveau modèle « rivalise largement » avec les modèles multimodaux du marché, avec toutefois une spécialisation dans ce que la société qualifie de « raisonnement multidisciplinaire ». Il semblerait que ce grand modèle de langage soit doté de capacités avancées en matière de perception spatiotemporelle, avec une « compréhension spatiale du monde réel ».
En somme, Grok est en mesure de raisonner avec des textes complexes, d’interpréter des images scientifiques et d’interagir de manière quasi-humaine avec le contenu visuel, même lorsqu’il présente une combinaison d’images, de graphiques et de texte.
Les nombreux cas d’usage de la nouvelle itération de Grok
L’entreprise a présenté plusieurs exemples d’applications concrètes de Grok-1.5V.
Ce modèle peut, par exemple, transformer des dessins en contes pour enfants, identifier l’objet le plus grand dans un ensemble, apporter une assistance aux conducteurs en analysant l’espace disponible pour le stationnement, convertir un tableau en format de fichier CSV ou encore détecter si un matériau présente des traces de moisissure (bois notamment). Il peut même expliquer le contexte des « mèmes » internet que l’utilisateur ne comprend pas.
xAI a également publié des résultats de benchmarks qui montrent que Grok-1.5V surpasserait les performances de ses concurrents GPT-4V, Claude, 3Sonnet, Claude 3 Opus et Gemini Pro 1.5.
La société explique que Grok-1.5V a nettement surpassé ses rivaux dans un nouveau benchmark nommé « RealWorldQA », spécialement conçu pour évaluer la compréhension spatiale dans des contextes réels.
Moins d’un mois après la présentation de la version standard du Grok-1.5 LLM par la société d’Elon Musk, ce nouveau modèle présage d’un rythme de développement accéléré. Grok-1.5V sera « bientôt » accessible aux premiers testeurs, en commençant par les abonnés au service Premium+ de X.
