Quand les mauvaises données donnent de bons modèles

Source: https://arxiv.org/html/2505.04741v1

Ce document examine la notion selon laquelle la qualité des données affecte la qualité des modèles de langage à grande échelle (LLM). Contrairement à la pratique courante de filtrer les données toxiques, les auteurs proposent une approche de co-conception formation-pré-formation, suggérant que l’inclusion de plus de données toxiques pendant la pré-formation peut améliorer la capacité d’un modèle à être contrôlé ultérieurement. Grâce à des expériences contrôlées, ils constatent qu’une proportion plus élevée de données toxiques conduit à une représentation linéaire moins intriquée de la toxicité, ce qui facilite la réduction de la génération toxique en post-formation malgré une toxicité accrue du modèle de base. L’article conclut que les “mauvaises données” peuvent en fait être bénéfiques pour créer de “bons modèles” en améliorant leur capacité d’alignement.