Imaginée par des étudiants et des chercheurs de l’Université de Berkeley, en Californie, et soutenue par Hugging Face, la Chatbot Arena est un projet visant à évaluer les performances des modèles génératifs en temps réel. Pour atteindre cet objectif, elle s’appuie sur les contributions des utilisateurs qui, à partir d’une requête identique, sont invités à départager anonymement deux modèles. Le principe est de communiquer avec les deux agents conversationnels jusqu’à identifier celui qui répond le plus précisément au prompt. Le projet, très populaire, a déjà recueilli plus d’un million de contributions, permettant de révéler certaines tendances sur le marché de l’IA générative.

Lire l'article d'Étienne Caillebotte sur BDM