Source: https://arxiv.org/html/2505.12265v1
Ce document examine la détection d’hallucinations dans la génération de texte long par les grands modèles linguistiques (LLMs), en se concentrant sur les méthodes qui ne nécessitent pas de vérification factuelle externe. Les auteurs constatent que les états internes des LLMs seuls sont insuffisants pour distinguer de manière fiable le contenu factuel de celui halluciné. Ils comparent ensuite diverses approches, incluant le prompting, le probing et le fine-tuning, trouvant que ce dernier est le plus efficace. Une nouvelle méthode, RATE-FT, est introduite, qui améliore le fine-tuning en y ajoutant une tâche auxiliaire de questions-réponses et l’incorporation de rationales pour une meilleure précision et généralisabilité. Les expériences démontrent que RATE-FT surpasse les méthodes existantes sur différents ensembles de données et modèles.