😵‍💫 Les LLM Perdent le Fil en Conversation

Source

Ce document étudie les performances des grands modèles linguistiques (LLMs) dans les conversations à plusieurs tours, par opposition aux interactions à un seul tour. Il constate que les LLMs affichent une baisse de performance significative dans les scénarios conversationnels, principalement en raison d’une fiabilité réduite plutôt que d’une diminution de leurs capacités. Les auteurs explorent les raisons de ce phénomène, surnommé “perdu en conversation”, notamment les tentatives de réponse prématurées et la difficulté à maintenir le contexte. Ils proposent une nouvelle méthodologie de simulation et de mesure pour évaluer les LLMs dans ces paramètres, et soulignent l’importance pour les constructeurs de LLMs d’améliorer la fiabilité conversationnelle et pour les utilisateurs de consolider les instructions pour une meilleure interaction.