Compréhension Potemkine des LLM

Source: https://arxiv.org/html/2506.21521v1

Ce texte présente le concept de compréhension Potemkine chez les grands modèles linguistiques (LLM), une illusion de compréhension où les modèles réussissent les tests de référence sans véritablement saisir les concepts sous-jacents, contrairement aux humains. L’étude propose un cadre formel pour identifier cette pathologie, affirmant que les repères conçus pour les humains sont invalides pour les LLM si leurs schémas d’incompréhension divergent. Les auteurs développent deux méthodes empiriques pour quantifier les Potemkines: l’une utilise un nouveau jeu de données évaluant la capacité des LLM à expliquer et appliquer des concepts dans divers domaines, et l’autre emploie une procédure automatisée pour détecter l’incohérence conceptuelle. Les résultats indiquent que les Potemkines sont omniprésents, suggérant une incohérence interne dans les représentations conceptuelles des modèles et remettant en question la validité des évaluations actuelle