Source: https://arxiv.org/html/2505.13840v1
Ce texte traite de l’évaluation de l’efficacité des grands modèles linguistiques (LLM), une préoccupation croissante en raison de leurs coûts et de leurs demandes en ressources. Il présente EfficientLLM, un cadre d’évaluation qui utilise des métriques détaillées comme l’utilisation de la mémoire et la consommation d’énergie pour fournir une analyse plus réaliste que les méthodes traditionnelles. Les auteurs examinent diverses techniques d’amélioration de l’efficacité pendant la pré-formation, l’ajustement (fine-tuning) et l’inférence, notamment les mécanismes d’attention efficaces, les méthodes de modélisation creuses et les alternatives sans attention. Le texte souligne l’importance de l’évaluation empirique à grande échelle et des compromis entre la performance et les ressources pour guider les décisions de déploiement. Il aborde également les défis ouverts, comme le développement de lois de mise à l’échelle multi-objectifs.