Source: https://arxiv.org/abs/2506.18880
La source présente un document de recherche intitulé “OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization”, qui évalue la capacité des grands modèles linguistiques (LLM) à penser de manière créative en mathématiques. Le document introduit OMEGA, un nouveau banc d’essai conçu pour mesurer trois types de généralisation : exploratoire (appliquer des compétences connues à des problèmes plus complexes), compositionnelle (combiner des compétences distinctes pour résoudre de nouveaux problèmes) et transformative (adopter des stratégies non conventionnelles). Les auteurs, notamment Yiyou Sun et Dawn Song, ont constaté que les LLM de pointe montraient une nette dégradation des performances avec l’augmentation de la complexité des problèmes et que, bien que le réglage fin améliore la généralisation exploratoire, les améliorations en matière de généralisation compositionnelle et transformative restent limitées. Ce travail vise à faire progresser les LLM vers une véritable créativité mathématique au-delà de la simple maîtrise mécanique.