FineWeb2 _ Traitement de Données Multilingues pour LLM

Source: https://arxiv.org/abs/2506.20920

Ce texte est une page d’information concernant un article de recherche intitulé “FineWeb2: One Pipeline to Scale Them All – Adapting Pre-Training Data Processing to Every Language”. Les auteurs y présentent un nouveau pipeline de curation de données conçu pour créer de vastes ensembles de données multilingues, essentiels à l’entraînement des modèles de langage à grande échelle (LLM). Le document décrit comment ce pipeline s’adapte automatiquement à diverses langues pour améliorer les performances des LLM non-anglais et introduit une approche novatrice pour rééquilibrer les ensembles de données. Finalement, ils annoncent la publication de FineWeb2, un ensemble de données multilingues de 20 téraoctets, ainsi que les codes associés.