7:11

Jun 24, 2025

All is Not Lost - Récupération de LLM sans Points de Contrôle

Source: https://arxiv.org/abs/2506.15461 Ce texte présente un document de recherche intitulé “All is Not Lost: LLM Recovery without Checkpoints”, publié sur arXiv, une archive de prépublications scientifiques. Les auteurs, Nikolay Blagoev, Oğuzhan Ersoy et Lydia Yiyu Chen, proposent des méthodes innovantes, CheckFree et CheckFree+, pour la récupération des grands modèles linguistiques (LLM) en cas de défaillance des nœuds de calcul, sans dépendre du coûteux processus de checkpointing ou de calcul redondant. L’étude explique que leurs approches permettent une formation plus rentable des LLM sur des infrastructures décentralisées, surpassant les techniques conventionnelles en termes de convergence, en particulier pour des taux de défaillance faibles à moyens. Le document fournit également l’accès à son code et aux données d’évaluation, soulignant son importance dans le domaine du calcul distribué et parallèle.

5:57

Jun 24, 2025

Interprétabilité Agissante des LLM - Une Nouvelle Approche

Source : https://arxiv.org/abs/2506.12152 La source principale, un article de recherche de Been Kim et al., présente le concept d’« interprétabilité agentique » pour les grands modèles linguistiques (LLM). Elle propose une nouvelle approche où les LLM conversent de manière interactive avec les utilisateurs pour faciliter la compréhension humaine de leurs concepts. Contrairement aux méthodes d’inspection traditionnelles, cette approche utilise le LLM comme un enseignant coopératif pour aider les humains à construire de meilleurs modèles mentaux des machines. Bien que cela puisse compromettre l’exhaustivité au profit de l’interactivité, l’objectif est de permettre aux humains d’apprendre des concepts potentiellement surhumains des LLM, à mesure que ces modèles atteignent une parité humaine dans de nombreuses tâches. L’article aborde également les défis d’évaluation liés à la nature « humaine intriquée dans la boucle » de cette méthode.

4:33

Jun 24, 2025

Les outils cognitifs des LLM

Source : https://www.arxiv.org/pdf/2506.12115 Ces sources explorent une nouvelle approche pour améliorer les capacités de raisonnement des grands modèles linguistiques (LLM) en les dotant d’outils cognitifs modulaires. Inspirés par la psychologie cognitive, ces outils encapsulent des opérations de raisonnement spécifiques comme la compréhension des questions, le rappel de connaissances associées, l’examen de réponses et le retour en arrière. Contrairement aux méthodes de “chaîne de pensée” monolithiques ou au réglage par apprentissage par renforcement, cette stratégie permet aux LLM de choisir et d’exécuter ces fonctions internes de manière flexible, réduisant les interférences et augmentant la transparence du raisonnement. Les résultats sur des tâches mathématiques complexes démontrent une amélioration significative des performances, suggérant que le pré-entraînement des LLM confère des capacités de raisonnement latentes qui peuvent être révélées par des flux de travail structurés plutôt que de nécessiter un entraînement post-modèle intensif.

5:59

Jun 24, 2025

Essential-Web v1_0_ Données Web Organisées

Source : https://arxiv.org/abs/2506.14111 Ce document provient d’arXiv, une archive d’e-prints pour des prépublications de recherche. Le document, intitulé “Essential-Web v1.0: 24T tokens of organized web data,” présente un vaste ensemble de données de 24 trillions de jetons organisé à l’aide d’une taxonomie à douze catégories, annotée par un modèle d’apprentissage automatique spécialisé. Les auteurs affirment que cet ensemble de données améliore la qualité et l’accessibilité des données d’entraînement pour les modèles de langage, permettant d’obtenir des ensembles de données filtrés compétitifs dans divers domaines comme les mathématiques, le code, les STEM et la médecine. Les informations de soumission indiquent que le document a été révisé deux fois et est disponible en PDF avec un DOI associé, soulignant son statut de publication scientifique examinée par des pairs.

5:59

Jun 24, 2025

Essential-Web v1_0_ Données Web Organisées

Source : https://arxiv.org/abs/2506.14111 Ce document provient d’arXiv, une archive d’e-prints pour des prépublications de recherche. Le document, intitulé “Essential-Web v1.0: 24T tokens of organized web data,” présente un vaste ensemble de données de 24 trillions de jetons organisé à l’aide d’une taxonomie à douze catégories, annotée par un modèle d’apprentissage automatique spécialisé. Les auteurs affirment que cet ensemble de données améliore la qualité et l’accessibilité des données d’entraînement pour les modèles de langage, permettant d’obtenir des ensembles de données filtrés compétitifs dans divers domaines comme les mathématiques, le code, les STEM et la médecine. Les informations de soumission indiquent que le document a été révisé deux fois et est disponible en PDF avec un DOI associé, soulignant son statut de publication scientifique examinée par des pairs.

4:42

Jun 24, 2025

Taille de lot_ Clé de l'écart Adam-SGD_

Source : https://arxiv.org/abs/2506.12543 Ce document de recherche explore la différence de performance entre deux algorithmes d’optimisation, Adam et la descente de gradient stochastique (SGD), communément utilisés dans l’entraînement des modèles de langage. Les auteurs réexaminent le “fossé de l’optimiseur” en menant une série d’expériences avec des modèles Transformer. Leurs découvertes empiriques suggèrent que la SGD avec élan peut atteindre des performances similaires à Adam dans des paramètres de petit lot, à condition d’être correctement ajustée. L’article examine également les explications existantes pour l’avantage d’Adam et fournit de nouvelles perspectives sur le rôle de la taille du lot dans la dynamique d’entraînement.

6:32

Jun 24, 2025

LiveCodeBench Pro _ Référence de Programmation Compétitive

Source : https://arxiv.org/pdf/2506.11928 Ce document présente LiveCodeBench Pro, une nouvelle plateforme d’évaluation conçue pour mesurer les capacités de raisonnement algorithmique des grands modèles linguistiques (LLM) en programmation compétitive. Contrairement aux bancs d’essai existants, LiveCodeBench Pro recueille des problèmes en temps réel pour éviter la contamination des données et emploie des experts humains pour étiqueter et analyser les soumissions. Les résultats révèlent que les LLM excellent dans les problèmes axés sur les connaissances et la logique, mais échouent considérablement dans les problèmes nécessitant de l’observation ou une analyse de cas complexe. L’étude diagnostique les erreurs courantes des LLM et montre que, malgré des améliorations avec plusieurs tentatives ou l’activation du raisonnement, un écart substantiel persiste entre leurs performances et celles des compétiteurs humains d’élite, en particulier sur les défis les plus ardus.

5:38

Jun 24, 2025

Réfléchir, Réessayer, Récompenser - L'Auto-Amélioration des LLM

Source: https://arxiv.org/abs/2505.24726 La source provient d’un article scientifique intitulé “Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning” publié sur arXiv. Cet article explore une nouvelle méthode pour améliorer les performances des grands modèles linguistiques (LLM) en utilisant l’auto-réflexion et l’apprentissage par renforcement. Le processus implique que le modèle analyse ses erreurs précédentes pour générer de meilleures tentatives, les réflexions réussies étant ensuite récompensées. Les auteurs rapportent des améliorations significatives, notamment pour des modèles plus petits, soulignant le potentiel de cette approche pour des LLM plus fiables et capables de s’améliorer avec des retours limités.

5:27

Jun 20, 2025

Votre Cerveau Sous ChatGPT - Dette Cognitive et Écriture

Source : https://arxiv.org/pdf/2506.08872 Cet article de recherche explore les effets de l’utilisation d’assistants IA, comme ChatGPT, sur l’écriture d’essais et la cognition. L’étude a divisé les participants en groupes utilisant une IA, un moteur de recherche, ou aucun outil, et a observé leurs performances et leur activité cérébrale. Les résultats ont montré que l’utilisation d’IA entraînait une connectivité cérébrale plus faible et une moins bonne appropriation des écrits, suggérant des coûts cognitifs à long terme. Les auteurs soulignent l’importance de poursuivre la recherche sur les implications éducatives de la dépendance à l’IA et la nécessité d’une enquête approfondie sur le rôle de l’IA dans l’apprentissage.

7:11

Jun 18, 2025

L'avenir du travail avec les agents IA

Source : https://arxiv.org/abs/2506.06576 La source décrit un article de recherche qui explore l’impact des systèmes d’IA complexes, ou agents d’IA, sur le marché du travail américain. Les auteurs présentent un cadre d’audit novateur et la base de données WORKBank pour évaluer les tâches que les travailleurs souhaitent automatiser ou augmenter avec l’IA, en les comparant aux capacités technologiques actuelles. L’étude identifie quatre zones (feu vert, feu rouge, opportunité de R&D, faible priorité) pour l’automatisation et met en évidence les attentes diverses des travailleurs concernant l’implication humaine. Les résultats suggèrent un changement dans les compétences humaines essentielles, passant des compétences axées sur l’information aux compétences interpersonnelles, soulignant la nécessité d’aligner le développement de l’IA avec les désirs humains et de préparer la main-d’œuvre à ces évolutions.

5:25

Jun 17, 2025

Une Seule Fois - Affinage en Contexte pour LLM

Source: https://arxiv.org/abs/2506.11103 Ce document scientifique, disponible sur arXiv.org, présente une nouvelle approche appelée Many-Shot In-Context Fine-tuning (ManyICL) pour les grands modèles linguistiques (LLM). L’article, intitulé “You Only Fine-tune Once: Many-Shot In-Context Fine-Tuning for Large Language Model”, est rédigé par Wenchong He et ses collaborateurs. Il explore comment ManyICL améliore la performance des LLM sur diverses tâches, telles que la classification et la synthèse, en utilisant de nombreux exemples contextuels comme cibles d’apprentissage, comblant ainsi l’écart avec le fine-tuning dédié tout en atténuant l’oubli catastrophique. Le travail est classé dans le domaine de l’informatique, plus précisément le calcul et le langage, et le code associé sera rendu public.

6:56

Jun 16, 2025

Analyse Forensique des compteurs de Vélo Bosch Nyon

Cet article effectue une analyse forensique approfondie des ordinateurs de bord de vélos électriques Bosch Nyon de première et deuxième générations, des dispositifs qui sont de petits ordinateurs stockant des données utilisateur sensibles. Pour le modèle de 2014, les chercheurs ont pu obtenir un accès Telnet en exploitant une faille de conception lors du processus de mise à jour, permettant une acquisition de données non intrusive qui a révélé des informations personnelles et des données d’activité (coordonnées GPS, horodatages). Ils ont même pu falsifier des données qui ont été synchronisées avec les serveurs de Bosch. Pour le modèle de 2021, plus sécurisé, un accès basé sur le logiciel n’a pas été possible, nécessitant des méthodes matérielles plus invasives, y compris un chip-off, pour extraire les données, qui, bien que chiffrées, ont pu être déchiffrées grâce à une clé trouvée sur une partition non chiffrée. En somme, l’étude souligne l’importance forensique de ces appareils en détaillant les types de données récupérables et les méthodes d’acquisition pour les enquêtes numériques.

6:35

Jun 15, 2025

Élicitation Non Supervisée des Modèles Linguistiques

Source : https://www.arxiv.org/pdf/2506.10139 Ce document introduit l’Optimisation de la Cohérence Interne (ICM), un nouvel algorithme d’apprentissage non supervisé qui permet aux modèles de langage (LM) de s’auto-affiner sans nécessiter de supervision humaine externe. L’ICM génère des étiquettes en maximisant la prévisibilité mutuelle et la cohérence logique au sein de l’ensemble de données, surpassant ainsi souvent la performance des modèles entraînés avec une supervision humaine ou des étiquettes générées par la foule sur des tâches comme la vérification mathématique et l’évaluation de la vérité. La recherche démontre que cette méthode peut même améliorer les LM de pointe, comme Claude 3.5 Haiku, en créant des modèles de récompense et des assistants plus performants que leurs homologues supervisés par des humains. Cependant, l’efficacité de l’ICM dépend de la saliency du concept dans le modèle pré-entraîné et est limitée par la taille de la fenêtre de contexte du modèle.

5:19

Jun 15, 2025

AutoMind : Agent Adaptatif pour la Science des Données

Source : https://arxiv.org/abs/2506.10974 Ce document présente AutoMind, un nouveau cadre d’agent basé sur un grand modèle linguistique (LLM) conçu pour améliorer l’automatisation des tâches complexes en science des données. Actuellement, les agents LLM existants sont limités par des flux de travail rigides, ce qui entrave leur capacité à gérer des problèmes sophistiqués et à incorporer l’expertise humaine. AutoMind aborde ces lacunes par le biais de trois avancées clés : une base de connaissances experte organisée, un algorithme de recherche arborescente stratégique et une stratégie de codage auto-adaptative. Les auteurs affirment que ces innovations permettent à AutoMind d’offrir des performances supérieures, une meilleure efficacité et une qualité de solution améliorée par rapport aux approches existantes, le positionnant comme une avancée significative vers la science des données entièrement automatisée.

5:37

Jun 15, 2025

Généralisation ou Hallucination : Le Raisonnement Hors Contexte des Transformeurs

Source : https://arxiv.org/abs/2506.10887 Ce document de recherche, soumis à arXiv, aborde un phénomène clé dans les grands modèles linguistiques (LLM) : leur capacité à généraliser des informations tout en étant sujets à des hallucinations. Les auteurs postulent que ces deux comportements sont issus d’un mécanisme unique qu’ils nomment le raisonnement hors contexte (OCR). L’OCR est défini comme la capacité d’associer des concepts pour en déduire des implications, même en l’absence de liens causaux. L’étude propose une compréhension théorique de l’OCR, montrant comment une architecture spécifique de transformateur peut apprendre cette tâche et en attribuant la cause à un biais implicite de la descente de gradient. Finalement, l’article offre un cadre pour analyser et potentiellement atténuer les comportements indésirables résultant de l’injection de connaissances dans les LLM.

6:28

Jun 15, 2025

Au-delà des standards d'or : évaluation de l'autoformalisation par LLM

Source : https://arxiv.org/abs/2506.10903 Ce document de recherche explore une nouvelle méthode pour évaluer automatiquement la traduction de langage naturel en langage formel pour le raisonnement mathématique. Les auteurs proposent un ensemble de juges LLM (grands modèles linguistiques), baptisé EFG, qui utilise des critères spécifiques et détaillés tels que la préservation logique et la cohérence mathématique. L’objectif est de surmonter les limitations des évaluations humaines, qui sont chronophages et nécessitent une expertise poussée, surtout dans des domaines mathématiques complexes. Les résultats suggèrent que cette approche LLM-as-a-judge offre une alternative prometteuse et plus fiable que les évaluations génériques pour juger la qualité du raisonnement mathématique formel.

5:08

Jun 15, 2025

Domain2Vec - Optimalisation des Données Sans Entraînement

Source : https://arxiv.org/abs/2506.10952 Le texte présente Domain2Vec, une nouvelle approche conçue pour optimiser la préparation des modèles linguistiques sans nécessiter d’entraînement intensif. Cette méthode décompose les ensembles de données en combinaisons linéaires de “méta-domaines”, qui capturent les caractéristiques essentielles des données. En associant chaque ensemble de données à un vecteur de domaine, Domain2Vec identifie le mélange de données optimal en se basant sur l’hypothèse d’alignement de distribution (DA²), où un meilleur alignement des données d’entraînement et de validation réduit la perte de validation. Les expériences montrent que cette technique réduit significativement le temps de calcul tout en améliorant la performance des tâches en aval.

5:37

Jun 15, 2025

Généralisation ou Hallucination - Le Raisonnement Hors Contexte des Transformeurs

Source : https://arxiv.org/abs/2506.10887 Ce document de recherche, soumis à arXiv, aborde un phénomène clé dans les grands modèles linguistiques (LLM) : leur capacité à généraliser des informations tout en étant sujets à des hallucinations. Les auteurs postulent que ces deux comportements sont issus d’un mécanisme unique qu’ils nomment le raisonnement hors contexte (OCR). L’OCR est défini comme la capacité d’associer des concepts pour en déduire des implications, même en l’absence de liens causaux. L’étude propose une compréhension théorique de l’OCR, montrant comment une architecture spécifique de transformateur peut apprendre cette tâche et en attribuant la cause à un biais implicite de la descente de gradient. Finalement, l’article offre un cadre pour analyser et potentiellement atténuer les comportements indésirables résultant de l’injection de connaissances dans les LLM.

5:40

Ep. 01 Jun 15, 2025

Transformation de Jetons pour Accélération des Vision Transformers (v2)

Source: https://arxiv.org/abs/2506.05709v1 Ce document présente « Token Transforming », un nouveau cadre de compression de jetons conçu pour accélérer les transformeurs de vision sans nécessiter de post-entraînement. Les auteurs proposent une approche unifiée qui généralise les méthodes existantes de compression de jetons, comme la taille des jetons ou leur fusion, en les conceptualisant comme des transformations explicites de matrices de jetons. Cette méthode préserve un maximum d’informations, ce qui permet des réductions de calcul significatives (jusqu’à 40 % de FLOPs) et des accélérations de l’inférence (jusqu’à 1,5x) avec une perte de précision minimale. Le cadre est validé sur diverses tâches de vision, y compris la segmentation, la détection d’objets et l’estimation de profondeur, démontrant une amélioration constante du compromis entre calcul et performance.

5:06

Jun 13, 2025

L'hypothèse de l'enfermement -Stagnation par algorithme

Source: https://arxiv.org/abs/2506.06166v1 Ce document de recherche, intitulé “L’hypothèse du verrouillage : Stagnation par l’algorithme”, explore la dynamique par laquelle les grands modèles linguistiques (LLM) pourraient involontairement conduire à une réduction de la diversité des croyances et potentiellement à l’enracinement de fausses informations. Les auteurs, Tianyi Alex Qiu et ses collaborateurs, proposent que les LLM créent une boucle de rétroaction en forme de chambre d’écho en apprenant les croyances humaines, en les renforçant dans le contenu généré et en les réabsorbant. Cette hypothèse est ensuite testée de manière empirique par des simulations basées sur des agents LLM et des données d’utilisation réelles de GPT. Les résultats suggèrent des chutes brusques et durables de la diversité suite à de nouvelles itérations de GPT, ce qui corrobore le concept d’une boucle de rétroaction homme-IA.

4:40

Jun 13, 2025

Les Petits Modèles Linguistiques pour l'IA Agentique

Source : https://arxiv.org/abs/2506.02153 Le document de recherche, arXiv:2506.02153, explore l’idée que les petits modèles de langage (SLM), plutôt que les grands modèles de langage (LLM), représentent l’avenir de l’IA agentique. Il soutient que les SLM sont plus efficaces et plus économiques pour les systèmes d’IA agentiques effectuant des tâches répétitives et spécialisées. Les auteurs, dont Peter Belcak, soulignent l’importance des SLM pour réduire les coûts de déploiement et suggèrent des systèmes hétérogènes où différents modèles sont invoqués pour des capacités conversationnelles. Le texte aborde également les obstacles potentiels à l’adoption des SLM et propose un algorithme de conversion de LLM en SLM. En fin de compte, cette position cherche à stimuler la discussion sur l’utilisation efficiente des ressources en IA.

5:44

Jun 13, 2025

StreamBP - Rétropropagation Efficace pour LLM à Séquences Longues

Source : https://arxiv.org/abs/2506.03077 Ce document présente StreamBP, une nouvelle méthode de rétropropagation conçue pour rendre l’entraînement des grands modèles linguistiques (LLM) sur de longues séquences de données plus efficace en termes de mémoire. Les auteurs expliquent que la rétropropagation pour les LLM nécessite une quantité importante de mémoire pour stocker les valeurs d’activation, même avec les techniques existantes. StreamBP aborde ce problème en utilisant une décomposition linéaire de la règle de chaîne, réduisant considérablement les coûts de mémoire tout en maintenant la précision du calcul. La recherche affirme que StreamBP peut étendre la longueur maximale de séquence de 2,8 à 5,5 fois par rapport aux méthodes précédentes, offrant ainsi des gains de vitesse comparables ou supérieurs.

5:52

Jun 13, 2025

Topologie du raisonnement _ Comprendre les modèles d'IA

Source: https://arxiv.org/abs/2506.05744v1 Cette source est un article de recherche intitulé “Topologie du Raisonnement : Comprendre les Grands Modèles de Raisonnement par les Propriétés des Graphes de Raisonnement,” publié sur arXiv. Elle étudie le fonctionnement interne des grands modèles de raisonnement en introduisant le concept de graphe de raisonnement. L’article analyse des propriétés clés de ces graphes, telles que la cyclité et le diamètre, en les corrélant avec la performance des modèles sur des tâches mathématiques. Les auteurs suggèrent que les modèles distillés et les capacités accrues mènent à des graphes de raisonnement plus complexes et efficaces, offrant des pistes pour l’amélioration de ces modèles.

5:45

Jun 13, 2025

Conception Intelligente 4.0 - Vers l'IA Agentique

Source : https://arxiv.org/abs/2506.09755 Ce document, “Intelligent Design 4.0: Paradigm Evolution Toward the Agentic AI Era”, est une publication soumise sur arXiv par Shuo Jiang et d’autres auteurs, axée sur l’ingénierie informatique. Il présente le concept d’Intelligent Design 4.0 (ID 4.0), une nouvelle étape dans le domaine de la conception assistée par l’IA, marquée par l’émergence des modèles de fondation (FMs) et des modèles de langage étendus (LLMs). Le document retrace l’évolution de la conception intelligente à travers quatre phases distinctes, culminant avec les systèmes multi-agents autonomes. Il propose un cadre conceptuel pour l’ID 4.0 et discute de son potentiel pour automatiser entièrement les processus de conception technique. Enfin, il explore les perspectives d’avenir pour améliorer et concrétiser pleinement l’ID 4.0, notamment pour des scénarios de conception plus complexes et une meilleure adaptation aux valeurs humaines.

5:07

Jun 13, 2025

Incertitude de requête des grands modèles linguistiques

Source : https://arxiv.org/abs/2506.09669 Ce document de recherche, soumis sur arXiv, se concentre sur la détection des limites de connaissance des grands modèles linguistiques (LLM). Les auteurs, Lihu Chen et Gaël Varoquaux, proposent une nouvelle méthode sans entraînement appelée “Confiance Interne” pour évaluer si un LLM peut répondre à une requête donnée sans générer de jetons. Cette approche vise à permettre aux modèles de prendre des décisions adaptatives, comme l’abstention ou l’engagement dans une réflexion plus approfondie, ce qui contribue à un développement d’IA plus efficace et fiable. Les résultats préliminaires sur des tâches de QA factuelles et de raisonnement mathématique suggèrent que cette méthode surpasse les références existantes et peut réduire les coûts d’inférence. Le document est actuellement en cours de développement, avec une première version soumise en juin 2025.

4:47

Jun 13, 2025

Vulnérabilité des modèles de raisonnement au gaslighting

Source: https://arxiv.org/abs/2506.09677 Cette recherche explore la vulnérabilité des modèles de raisonnement avancés aux “prompts de négation de gaslighting”, qui sont des entrées utilisateur trompeuses. Les auteurs évaluent des modèles de pointe comme OpenAI’s o4-mini, Claude-3.7-Sonnet et Gemini-2.5-Flash sur trois benchmarks multimodaux, révélant une baisse d’exactitude significative (25-29%) face à ces manipulations. Pour approfondir cette faiblesse, ils introduisent GaslightingBench-R, un nouveau benchmark diagnostique qui provoque des échecs encore plus dramatiques, avec des chutes d’exactitude dépassant 53%. Les résultats de l’étude soulignent des lacunes fondamentales dans la robustesse des modèles de raisonnement, mettant en évidence un écart entre le raisonnement étape par étape et la persistance de la “croyance” correcte.

5:07

Jun 13, 2025

Pensée abstraite des LLM sans langage

Source : https://arxiv.org/abs/2506.09260 Cette source est une publication de recherche provenant d’arXiv, un dépôt d’articles scientifiques. L’article, intitulé “L’émergence de la pensée abstraite dans les grands modèles linguistiques au-delà de toute langue”, explore la manière dont les grands modèles linguistiques (LLM) développent la capacité de penser de manière abstraite, indépendamment d’une langue spécifique. Il propose que les LLM créent un espace de paramètres de base agnostique à la langue, essentiel à leur performance multilingue. Les auteurs identifient des neurones liés au langage, qui sont soit partagés entre plusieurs langues, soit exclusifs à une seule, observant que les neurones partagés augmentent en importance avec le temps. Ces découvertes suggèrent que la pensée abstraite des LLM n’est pas liée à une langue particulière.

4:35

Jun 13, 2025

ThinkQE _ Expansion de Requêtes par Processus de Pensée Évolutif

Source: https://arxiv.org/abs/2506.09260 Ce document, arXiv:2506.09260, présente une publication scientifique du domaine de la science informatique, plus précisément la recherche d’informations et le calcul et le langage. Intitulé “ThinkQE: Query Expansion via an Evolving Thinking Process”, il a été soumis le 10 juin 2025 par Yibin Lei, Tao Shen et Andrew Yates. La recherche propose un nouveau cadre, ThinkQE, pour l’expansion des requêtes web, visant à améliorer les performances de récupération en encourageant une exploration sémantique plus large et en affinant itérativement les expansions grâce au feedback du corpus. Le document fournit des informations sur l’historique de la soumission, les formats d’accès (PDF, HTML, TeX), et diverses ressources bibliographiques et de citation associées. Il inclut également des liens vers du code, des données et des médias liés à l’article, ainsi que des démonstrations et des outils de recommandation et de recherche. Enfin, la page mentionne arXivLabs, un cadre pour des projets expérimentaux collaboratifs.

6:04

Jun 13, 2025

Trop Gros pour Penser - Transformeurs et Généralisation

Source: https://arxiv.org/abs/2506.09099 La source principale, “Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers,” est un article de recherche soumis à arXiv et accepté pour présentation lors d’une conférence. Les auteurs, Joshua Barron et Devin White, examinent la relation complexe entre la mémorisation et la généralisation dans les grands modèles linguistiques (LLM). Ils ont entraîné des modèles Transformer à capacité limitée sur des tâches synthétiques distinctes pour évaluer ces deux aspects du comportement d’apprentissage. Leurs découvertes indiquent un compromis constant où les petits modèles excellent en extrapolation mais échouent en mémorisation, tandis que les modèles plus grands montrent le schéma inverse. En outre, aucun modèle, quelle que soit sa taille, ne parvient à extrapoler lorsqu’il est entraîné simultanément sur les deux types de tâches, suggérant une faveur intrinsèque pour un mode d’apprentissage par rapport à l’autre pendant le pré-entraînement.

5:03

Jun 13, 2025

Écroulement des garde-fous de sécurité des LLM - Analyse de similarité

Source : https://arxiv.org/abs/2506.05346 Cette source examine la fragilité des mécanismes de sécurité des grands modèles linguistiques (LLM), en particulier après un réglage fin (fine-tuning). Le document soutient que les stratégies d’atténuation actuelles ne parviennent pas à aborder un facteur crucial en amont : le rôle des données d’alignement de sécurité originales. Les auteurs explorent comment la similarité entre les ensembles de données d’alignement initiaux et les tâches de réglage fin affecte l’efficacité des garde-fous de sécurité. Ils ont découvert qu’une grande similarité entre ces jeux de données affaiblit considérablement les protections, rendant les modèles plus vulnérables aux attaques par “jailbreak”, tandis qu’une faible similarité rend les modèles plus robustes. Ces résultats soulignent l’importance de la conception des jeux de données en amont pour construire des mécanismes de sécurité durables.

5:31

Jun 13, 2025

Maîtrise du Prompting pour l'Ingénierie Logicielle

Source: https://arxiv.org/abs/2506.05614v1 Ce document de recherche, publié sur arXiv, examine l’efficacité de diverses techniques d’incitation (prompting) pour les modèles de langage de grande taille (LLM) dans l’exécution de tâches d’ingénierie logicielle. Il évalue systématiquement 14 techniques couvrant six dimensions principales, telles que le “Zero-Shot” et la “Génération de Pensée”, sur 10 tâches différentes, notamment la génération de code et la correction de bogues. L’étude identifie les techniques les plus performantes pour les tâches nécessitant une logique complexe ou une compréhension contextuelle, et analyse les corrélations entre les caractéristiques linguistiques des invites et leur efficacité. De plus, elle quantifie la consommation de temps et de jetons pour chaque technique, offrant des orientations pratiques pour la sélection optimale des invites dans des cas d’utilisation spécifiques.

5:38

Jun 13, 2025

L'art des requêtes en langage naturel _ Évaluation et optimisation

Source: https://arxiv.org/abs/2506.06950 Cette source est une prépublication de recherche intitulée “What Makes a Good Natural Language Prompt?” par Do Xuan Long et d’autres, soumise sur arXiv le 7 juin 2025. L’article aborde l’importance du prompting dans la communication humain-IA avec les grands modèles linguistiques (LLM). Les auteurs proposent un cadre d’évaluation de la qualité des prompts basé sur 21 propriétés réparties en six dimensions, suite à une méta-analyse de plus de 150 articles traitant du sujet. Ils examinent l’impact de ces propriétés sur les LLM, identifient des lacunes de recherche et offrent des recommandations pour l’amélioration des prompts. Enfin, l’étude explore l’impact des améliorations de prompts et de l’instruction-tuning pour optimiser les modèles de raisonnement.

5:17

Jun 13, 2025

MemOS -Un OS pour la mémoire des LLM

Source : https://arxiv.org/abs/2505.22101 Ce document présente MemOS, un système d’exploitation conçu pour la génération augmentée par la mémoire (MAG) dans les grands modèles linguistiques (LLM). Les auteurs soutiennent que les LLM actuels manquent d’une architecture unifiée pour la gestion de la mémoire, s’appuyant principalement sur la mémoire paramétrique et éphémère. MemOS vise à combler cette lacune en élevant la mémoire au rang de ressource opérationnelle de premier ordre, introduisant un mécanisme unifié pour la représentation, l’organisation et la gouvernance de la mémoire. Au cœur de MemOS se trouve le MemCube, une abstraction de mémoire standardisée qui facilite le suivi, la fusion et la migration de la mémoire hétérogène. Ce système crée un cadre d’exécution centré sur la mémoire, offrant une contrôlabilité, une adaptabilité et une évolutivité accrues pour les systèmes intelligents de nouvelle génération.

6:02

Jun 13, 2025

Prédiction des états cérébraux humains avec Transformer

Source : https://arxiv.org/pdf/2412.19814v1 Le document explore la prédiction des états du cerveau humain en utilisant une architecture de transformateur avec des données d’imagerie par résonance magnétique fonctionnelle (IRMf). Il souligne la complexité du cerveau et l’importance de comprendre sa dynamique pour la neurologie et les interfaces cerveau-ordinateur. Les auteurs proposent une méthode basée sur un transformateur pour prédire les futurs états de repos du cerveau à partir de courtes séquences d’IRMf, démontrant une précision de prédiction allant jusqu’à 5,04 secondes à partir de 21,6 secondes de données précédentes. Les résultats initiaux suggèrent que le modèle apprend les dépendances temporelles des états du cerveau et reflète l’organisation fonctionnelle du cerveau, offrant des implications potentielles pour réduire le temps de numérisation de l’IRMf et prédire les conditions cérébrales.

5:54

Jun 4, 2025

Évaluation des Modèles LLM avec RAG

Source: https://arxiv.org/html/2411.06037v3 Ce texte examine la performance des modèles de langage, notamment Mistral 3 7B, dans les tâches de réponse aux questions, en particulier en utilisant la technique de Génération Augmentée par Récupération (RAG). Il compare différentes approches, incluant des modèles de base, le RAG standard et le réglage fin (fine-tuning) de Mistral avec des stratégies pour encourager l’abstention lors de l’insuffisance de contexte. L’étude analyse la proportion de réponses correctes, d’abstentions et d’hallucinations sur des ensembles de données comme HotPotQA et Musique-Ans. Elle détaille également les méthodologies de fine-tuning, les ensembles de données utilisés et les différentes méthodes d’évaluation, comme un évaluateur basé sur un LLM pour une évaluation sémantique. Les résultats montrent l’impact du fine-tuning et du RAG sur la performance et la propension des modèles à halluciner ou à s’abstenir.

4:53

Jun 3, 2025

REARANK : Réorganisation par Apprentissage par Renforcement

Source: https://arxiv.org/abs/2505.20046v1 Ce document présente REARANK, un agent de classement basé sur un grand modèle linguistique qui utilise le raisonnement explicite et l’apprentissage par renforcement. REARANK améliore considérablement les performances et l’interprétabilité dans les tâches de classement des informations, en atteignant des résultats comparables ou supérieurs à ceux des modèles existants, y compris GPT-4, avec une quantité minimale de données annotées. Le modèle est basé sur Qwen2.5-7B et se distingue particulièrement sur les benchmarks axés sur le raisonnement. Les auteurs mettent en évidence l’efficacité de leur approche et l’impact positif de l’apprentissage par renforcement sur les capacités de raisonnement des grands modèles linguistiques pour le classement.

5:49

Jun 3, 2025

Un Cadre Multi-Agents pour la Finance Quantitative

Source: https://arxiv.org/abs/2505.15155 Ce texte provient de la page arXiv pour un article scientifique intitulé “R&D-Agent-Quant: A Multi-Agent Framework for Data-Centric Factors and Model Joint Optimization”. Il présente le titre, les auteurs, un résumé et les domaines de sujet associés à cette recherche, qui porte sur un nouveau cadre multi-agent pour l’automatisation et l’optimisation des stratégies financières quantitatives. La page fournit également des liens pour accéder au document complet et des outils bibliographiques et de citation. De plus, elle mentionne des liens vers du code, des données et des démos liés à l’article via diverses plateformes.

5:58

Jun 3, 2025

ML-Agent : Ingénierie autonome en apprentissage machine

Source : https://arxiv.org/abs/2505.23723 Ce texte présente une publication de recherche sur le projet ML-Agent, qui vise à améliorer les agents basés sur les grands modèles linguistiques (LLM) pour l’ingénierie autonome de l’apprentissage automatique. Il détaille une nouvelle approche utilisant l’apprentissage par renforcement en ligne où un agent LLM interagit avec des tâches ML pour apprendre. Le document décrit un cadre de formation novateur comportant une exploration améliorée, un apprentissage par renforcement par étapes et un module de récompense spécifique au ML. Les auteurs affirment que leur ML-Agent de 7B surpasse un modèle beaucoup plus grand et démontre une amélioration continue des performances et une excellente généralisation.

5:47

Jun 3, 2025

Machine Darwin Godel : Évolution Ouverte et Auto-Amélioration des Agents

Source : https://arxiv.org/abs/2505.22954 Ce texte est une présentation du projet Darwin Godel Machine (DGM), un nouveau système d’IA qui vise à s’améliorer de manière autonome et continue. Il propose une approche basée sur l’évolution darwinienne et l’exploration ouverte pour modifier son propre code et valider les changements apportés. Le système DGM maintient un historique d’agents de codage générés et utilise un modèle de base pour en créer de nouvelles versions. Les résultats empiriques montrent que le DGM améliore ses capacités de codage de manière significative, dépassant les systèmes existants sans amélioration automatique. Cette recherche représente une étape importante vers des IA capables de s’améliorer en découvrant elles-mêmes de nouvelles méthodes.

7:28

Jun 3, 2025

MemOS _ Un OS pour la mémoire des LLM

Source : https://arxiv.org/abs/2505.22101 Ce document de recherche présente MemOS, un nouveau système d’exploitation conçu pour les Grands Modèles de Langage (LLM) afin de gérer et d’améliorer leur mémoire. Actuellement, les LLM manquent d’une architecture unifiée pour la mémoire, dépendant de la connaissance intégrée aux poids et des états temporaires. Bien que des méthodes comme le RAG intègrent de la mémoire en texte brut, elles n’offrent pas une gestion complète ni une intégration multimodale pour l’évolution des connaissances à long terme. MemOS aborde ces limitations en traitant la mémoire comme une ressource opérationnelle essentielle, avec des mécanismes standardisés pour la représentation, l’organisation et la gouvernance des différents types de mémoire. Son composant central, le MemCube, permet un suivi, une fusion et une migration structurés de la mémoire hétérogène, ouvrant la voie à une adaptation continue et une intelligence personnalisée.

6:46

Jun 3, 2025

ProRL _ L'Apprentissage Prolongé Élargit le Raisonnement des LLM

Source : https://arxiv.org/pdf/2505.24864 Ces textes présentent ProRL, une nouvelle méthode d’apprentissage par renforcement (RL) conçue pour entraîner les grands modèles linguistiques sur des périodes prolongées, afin d’étendre leurs capacités de raisonnement. La méthode intègre le contrôle de la divergence KL et des réinitialisations périodiques pour assurer la stabilité de l’entraînement sur une variété de tâches. Les auteurs montrent que ProRL permet aux modèles, comme Nemotron-Research-Reasoning-Qwen-1.5B, de découvrir de nouvelles stratégies de raisonnement, surpassant les modèles de base sur diverses évaluations et même sur des tâches hors distribution. Les résultats suggèrent que l’amélioration du raisonnement grâce au RL est plus significative sur les tâches où le modèle de base est initialement moins performant et qu’un entraînement prolongé peut conduire à des modèles plus créatifs générant de nouvelles solutions.

4:41

Jun 3, 2025

Détection des biais LLM avec B-score

Source: https://arxiv.org/html/2505.18545v1 Ce document présente un article de recherche intitulé “B-score: Detecting biases in large language models using response history”. Les auteurs, An Vo, Mohammad Reza Taesiri, Daeyoung Kim et Anh Totti Nguyen, proposent une nouvelle métrique, le B-score, pour identifier les biais dans les grands modèles linguistiques (LLM). Ils explorent si permettre aux LLM de voir leurs réponses antérieures à la même question peut réduire ces biais, testant cela sur des questions de divers types. Les résultats suggèrent que les LLM peuvent se “dé-biaiser” en conversation multi-tour pour des questions cherchant une réponse aléatoire et non biaisée. Le B-score est présenté comme une méthode efficace pour détecter les biais sur différents types de questions, améliorant l’évaluation des réponses des LLM.

8:09

Jun 3, 2025

Détection d'Hallucinations Sans Référence par Tâches Auxiliaires

Source: https://arxiv.org/html/2505.12265v1 Ce document examine la détection d’hallucinations dans la génération de texte long par les grands modèles linguistiques (LLMs), en se concentrant sur les méthodes qui ne nécessitent pas de vérification factuelle externe. Les auteurs constatent que les états internes des LLMs seuls sont insuffisants pour distinguer de manière fiable le contenu factuel de celui halluciné. Ils comparent ensuite diverses approches, incluant le prompting, le probing et le fine-tuning, trouvant que ce dernier est le plus efficace. Une nouvelle méthode, RATE-FT, est introduite, qui améliore le fine-tuning en y ajoutant une tâche auxiliaire de questions-réponses et l’incorporation de rationales pour une meilleure précision et généralisabilité. Les expériences démontrent que RATE-FT surpasse les méthodes existantes sur différents ensembles de données et modèles.

5:41

May 31, 2025

Tendances de l'intelligence artificielle

Source : https://www.bondcap.com/report/pdf/Trends_Artificial_Intelligence.pdf Ce rapport examine la croissance sans précédent de l’intelligence artificielle, soulignant l’augmentation exponentielle des utilisateurs, de l’utilisation et des dépenses en capital dans ce domaine. Il aborde la convergence rapide des performances des modèles d’IA et la chute des coûts d’inférence, entraînant une utilisation accrue par les développeurs. Le document met également en lumière les menaces de monétisation posées par l’intensification de la concurrence, l’essor des modèles open source et la montée en puissance de l’IA chinoise. Enfin, il décrit la nature multimodale croissante de l’IA et la manière dont les agents IA transforment les interfaces conversationnelles en infrastructure fonctionnelle, tout en soulignant l’impact significatif et rapide de l’IA sur l’évolution du travail et l’adoption croissante de l’IA par les entreprises, les gouvernements et la recherche.

5:46

May 28, 2025

IA : Productivité et perte de motivation au Travail

Une publication de la Harvard Business Review, relayée par l’application Noah, présente les conclusions d’une recherche menée par des universitaires de l’Université de Zhejiang. Le document explore l’impact de la collaboration avec l’IA générative sur les employés. Il indique que si l’IA peut améliorer la productivité et la qualité immédiates du travail, elle peut paradoxalement diminuer la motivation intrinsèque et augmenter l’ennui des travailleurs lors de tâches non assistées. L’article propose plusieurs stratégies pour les entreprises afin de maintenir l’engagement des employés tout en tirant parti de l’IA.

6:10

May 27, 2025

Le Style des Modèles de Langage Face à la Détection

Source: https://arxiv.org/html/2505.14608v1 Cette source examine si les modèles linguistiques optimisés pour tromper les détecteurs peuvent être rendus indiscernables de l’écriture humaine. Les auteurs identifient que les détecteurs basés sur le style sont plus robustes que les détecteurs traditionnels, même après optimisation, en raison de la diversité des styles d’écriture humains. Ils introduisent une nouvelle approche de paraphrase stylistique qui vise à combler l’écart entre l’écriture humaine et machine, réussissant à éviter la détection avec un seul échantillon. Cependant, avec plus d’échantillons, les distributions humaines et machines redeviennent distinctes. Pour quantifier cet écart, ils proposent une nouvelle métrique, AURA, qui estime le chevauchement distributionnel maximal à mesure que le nombre d’échantillons augmente, suggérant que l’on ne devrait pas s’appuyer uniquement sur la détection de texte généré par machine.

8:17

May 27, 2025

Attaque par manipulation de préférence contre le protocole MCP

Source: https://arxiv.org/html/2505.11154v1 Le protocole de contexte de modèle (MCP) standardise l’accès des grands modèles linguistiques (LLM) aux données et outils externes, facilitant ainsi la croissance de l’écosystème des agents LLM. Cependant, une nouvelle menace de sécurité, appelée MPMA (Preference Manipulation Attack), exploite des versions personnalisées de serveurs MCP pour influencer les LLM. Cette attaque, détaillée dans la source, vise à faire préférer un serveur MCP malveillant aux autres, entraînant des gains économiques pour l’attaquant. L’étude présente deux stratégies pour y parvenir : DPMA (Direct Preference Manipulation Attack) qui modifie directement le nom ou la description de l’outil, et GAPMA (Genetic-based Advertising Preference Manipulation Attack) qui utilise des stratégies publicitaires et des algorithmes génétiques pour une manipulation plus discrète. Des expériences approfondies montrent l’efficacité et, dans le cas de GAPMA, la furtivité de ces attaques, soulignant la nécessité urgente de mécanismes de défense robustes pour préserver l’équité de l’écosystème MCP.

6:57

May 26, 2025

Mélange de Pensées pour le Raisonnement Logique

Source: https://arxiv.org/pdf/2505.15817 Ces sources explorent une nouvelle approche pour améliorer le raisonnement logique des modèles linguistiques de grande taille (LLMs) en leur permettant d’utiliser plusieurs méthodes de pensée complémentaires. Le cadre proposé, baptisé Mixture-of-Thought (MoT), intègre le raisonnement basé sur le langage naturel, le code et les tables de vérité. Contrairement aux méthodes antérieures qui se limitaient souvent à une seule modalité, MoT utilise une formation auto-évolutive qui apprend des raisonnements auto-générés à travers ces modalités et une inférence par vote majoritaire pour combiner les résultats. Des expérimentations sur des benchmarks de raisonnement logique, comme FOLIO et ProofWriter, démontrent que MoT surpasse les baselines classiques basées sur une seule modalité, en particulier sur les problèmes les plus difficiles, confirmant la valeur de l’apprentissage inter-modalités pour une meilleure performance.

7:33

May 26, 2025

Failles des LLM en Hinglish perturbé

Source: https://arxiv.org/html/2505.14226v1 Cette étude évalue la vulnérabilité des grands modèles linguistiques (LLM), y compris les modèles multimodaux, aux attaques de contournement qui utilisent des requêtes en langue mixte (code-mixing) avec des perturbations phonétiques intentionnelles, notamment en Hinglish (un mélange d’hindi et d’anglais). Les auteurs introduisent de nouvelles stratégies de contournement telles que “Sandbox” et “VisGPT” et démontrent leur efficacité à contourner les filtres de sécurité pour les tâches de génération de texte et d’images. L’analyse révèle que la tokenization des mots sensibles est affectée par les perturbations phonétiques, permettant aux modèles de générer des contenus nuisibles. Les conclusions soulignent le besoin urgent d’améliorer l’alignement de sécurité multilingue et multimodal dans les LLM.

8:54

May 26, 2025

Recherche Guidée dans Environnements Non-Sériabilisables

Source: https://arxiv.org/html/2505.13652v1 Ces documents explorent les stratégies de recherche guidée pour améliorer les performances des agents d’ingénierie logicielle basés sur de grands modèles linguistiques (LLM), en particulier dans des environnements non sérialisables comme les conteneurs Docker. Ils soulignent que, bien que les LLM excellent dans les tâches complexes, leurs performances sont inégales et peuvent être améliorées en explorant plusieurs chemins de solution. L’étude examine deux méthodes applicables aux environnements sans sauvegarde d’état : la prospective à 1 pas et la sélection de trajectoire, toutes deux utilisant une estimation de la fonction valeur-action apprise pour guider la recherche. Les résultats sur le benchmark SWE-bench Verified démontrent que ces techniques, surtout lorsqu’elles sont combinées, peuvent doubler le taux de réussite moyen, atteignant de nouveaux sommets pour les modèles open-source et améliorant également les performances des modèles fermés comme GPT-4o.

8:21

May 26, 2025

Détection de Vulnérabilités avec VulTrial

Source: https://arxiv.org/html/2505.10961v1 Ce document présente VulTrial, un nouveau cadre d’agents multiples alimenté par des grands modèles de langage (LLM) pour la détection automatisée des vulnérabilités du code source, inspiré d’un scénario de salle d’audience. Il utilise quatre agents spécialisés : un chercheur en sécurité, un auteur de code, un modérateur et un comité d’examen. Les expériences montrent que VulTrial surpasse les modèles de référence à agent unique et à agents multiples, avec des améliorations de performance significatives utilisant GPT-3.5 et GPT-4o. Le réglage des instructions de l’agent modérateur a été particulièrement efficace, et les résultats indiquent que chaque agent est crucial pour la performance globale. Bien que les systèmes multi-agents augmentent les coûts, l’utilisation de VulTrial avec GPT-3.5 peut offrir une performance supérieure à moindre coût par rapport à un agent unique avec GPT-4o.

6:37

May 26, 2025

Main Cachée_ Vulnérabilités de Backdoor dans les Agents GUI Mobiles MLLM

Source : https://arxiv.org/abs/2505.14418v1 Ce texte est un document académique hébergé sur arXiv, intitulé “Hidden Ghost Hand: Unveiling Backdoor Vulnerabilities in MLLM-Powered Mobile GUI Agents”. Il présente une recherche sur les vulnérabilités de portes dérobées dans les agents d’interface graphique mobile qui utilisent des modèles linguistiques larges multimodaux (MLLM). Les auteurs, menés par Pengzhou Cheng, décrivent AgentGhost, un cadre pour les attaques de portes dérobées qui exploite les déclencheurs au niveau de l’interaction et combine des objectifs pour activer ces portes dérobées de manière discrète. Le document détaille l’efficacité et la furtivité d’AgentGhost et propose une méthode de défense. Il fournit également des liens pour accéder au PDF du papier, aux outils de citation, et à d’autres ressources associées à la recherche.

5:06

May 26, 2025

🧐 Extraction d'Opinion avec les Grands Modèles Linguistiques

Source : https://arxiv.org/abs/2505.15695 Ce texte provient de la page arXiv.org pour un article intitulé “Can Large Language Models be Effective Online Opinion Miners?”. Il fournit des informations sur les auteurs (Ryang Heo et al.), l’abstract qui décrit l’étude introduisant un nouveau benchmark (OOMB) pour évaluer la capacité des LLM à extraire des opinions en ligne. L’article analyse les défis et l’adaptabilité des LLM dans ce contexte. Il comprend également des liens pour accéder au PDF, des détails de soumission, et diverses ressources pour la citation et la recherche de code/données associées.

5:29

May 23, 2025

Défendre Gemini contre les injections de prompt

Source: https://arxiv.org/html/2505.14534v1 Ce rapport de Google DeepMind explore l’évaluation et le renforcement de la robustesse des modèles Gemini face aux attaques par injection de prompt indirect. Ces attaques exploitent la capacité de Gemini à utiliser des outils et à accéder à des données externes, permettant à des acteurs malveillants d’insérer des instructions cachées dans des données non fiables. Les chercheurs détaillent leur cadre d’évaluation adaptatif, qui utilise des techniques d’attaque automatisées pour tester en continu la résilience des modèles. Ils discutent de différentes défenses, y compris des méthodes intégrées au modèle (comme l’entraînement contradictoire) et des défenses externes (comme la classification ou la paraphrase), soulignant la nécessité d’une approche en profondeur. Les résultats montrent que l’entraînement contradictoire améliore la robustesse de Gemini 2.5 sans compromettre ses capacités générales, mais qu’une combinaison de défenses à plusieurs niveaux est essentielle pour une protection complète.

5:10

May 23, 2025

Apprentissage du Raisonnement par Mélange de Pensée

Source : https://arxiv.org/abs/2505.15817 Ce texte est une page d’arXiv.org présentant l’article académique intitulé “Learning to Reason via Mixture-of-Thought for Logical Reasoning”. Il détaille les auteurs de l’article, fournit un résumé expliquant la nouvelle méthode “Mixture-of-Thought (MoT)” permettant aux modèles linguistiques d’utiliser plusieurs modalités de raisonnement pour les tâches logiques, et indique les sujets pertinents. La page inclut également des informations sur la soumission de l’article et des liens pour y accéder dans différents formats. Enfin, elle liste divers outils et ressources liés à la bibliographie, aux citations, au code et aux démos associés à l’article.

7:37

May 21, 2025

Attaques d'interruption de raisonnement pratiques

Source: https://arxiv.org/html/2505.06643v1 Le document explore une nouvelle vulnérabilité des modèles de langage de grande taille capables de raisonnement (RLLM), en particulier DeepSeek-R1, où les invites adverses peuvent interrompre le processus de réflexion, conduisant à une réponse vide. Les chercheurs ont identifié un phénomène appelé Débordement de Jeton de Raisonnement (RTO), où les jetons de raisonnement peuvent déborder dans la réponse finale. En exploitant le RTO, ils ont développé une attaque pratique d’interruption de raisonnement nécessitant beaucoup moins de jetons que les méthodes précédentes. Ils ont également démontré comment le RTO peut être utilisé pour une attaque de jailbreak qui expose un contenu dangereux destiné aux seuls jetons de raisonnement.

7:23

May 21, 2025

Chaîne de Pensée Latérale Diffuse

Source: https://arxiv.org/html/2505.10446v1 Ces documents introduisent le Diffusion Chain of Lateral Thought (DCoLT), un cadre de raisonnement conçu pour les modèles de langage de diffusion (DLMs). Contrairement aux méthodes traditionnelles de Chain-of-Thought (CoT) qui suivent un processus de pensée linéaire et causal, DCoLT permet un raisonnement bidirectionnel et non linéaire. Ce nouveau cadre optimise l’ensemble du processus de diffusion inverse en le considérant comme une série d’actions de “pensée” et en utilisant l’apprentissage par renforcement basé uniquement sur la correction de la réponse finale. Les expériences sur des tâches de génération de mathématiques et de code montrent que les DLMs renforcés par DCoLT surpassent les modèles existants entraînés par d’autres méthodes.

6:56

May 21, 2025

Corriger la pensée de l'agent pour la sécurité

Source : https://arxiv.org/abs/2505.11277 Ce texte décrit une nouvelle méthode, nommée Thought-Aligner, visant à améliorer la sécurité comportementale des agents basés sur de grands modèles linguistiques (LLMs). Il propose un module dynamique de correction qui intervient sur les pensées générées par l’agent avant l’exécution des actions, en particulier celles jugées à haut risque. Les auteurs ont développé un ensemble de données d’entraînement et fine-tuné un modèle léger pour cette correction, démontrant une amélioration significative de la sécurité (passant de 50% à 90% en moyenne) tout en maintenant une faible latence. Thought-Aligner s’intègre facilement aux cadres d’agents existants sans les modifier, ce qui le rend largement applicable et pratique.

5:28

May 21, 2025

Réflexions sans pensée dans les LLM

Source: https://arxiv.org/abs/2505.00875 Les auteurs, examinent le concept de raisonnement en chaîne de pensée (CoT) au sein des pipelines agentiques de modèles linguistiques larges (LLMs). Le papier explore si le raisonnement CoT améliore réellement la compréhension des systèmes et les résultats dans ces contextes. Les conclusions suggèrent que le CoT ne garantit pas de meilleures performances ni n’offre une expliquabilité significative pour l’utilisateur final.

6:18

May 21, 2025

Quand les mauvaises données donnent de bons modèles

Source: https://arxiv.org/html/2505.04741v1 Ce document examine la notion selon laquelle la qualité des données affecte la qualité des modèles de langage à grande échelle (LLM). Contrairement à la pratique courante de filtrer les données toxiques, les auteurs proposent une approche de co-conception formation-pré-formation, suggérant que l’inclusion de plus de données toxiques pendant la pré-formation peut améliorer la capacité d’un modèle à être contrôlé ultérieurement. Grâce à des expériences contrôlées, ils constatent qu’une proportion plus élevée de données toxiques conduit à une représentation linéaire moins intriquée de la toxicité, ce qui facilite la réduction de la génération toxique en post-formation malgré une toxicité accrue du modèle de base. L’article conclut que les “mauvaises données” peuvent en fait être bénéfiques pour créer de “bons modèles” en améliorant leur capacité d’alignement.

5:06

May 21, 2025

Limites du Raisonnement des LLM dans les Environnements Dynamiques

Source: https://arxiv.org/html/2505.10543v1 Cette étude examine la capacité des grands modèles linguistiques (LLMs) à agir en tant qu’agents intelligents dans des environnements dynamiques, au-delà des tests statiques habituels. Les chercheurs évaluent l’efficacité de diverses techniques de prompting telles que la réflexion, la mutation heuristique et la planification pour améliorer l’adaptabilité des LLMs dans des tâches de prise de décision. Bien que les modèles plus grands aient généralement de meilleures performances, l’étude montre que des stratégies de prompting spécifiques peuvent réduire l’écart de performance pour les modèles plus petits, bien que de manière inconsistante. Les résultats révèlent que, malgré l’amélioration de certaines compétences comme le suivi d’instructions, les LLMs actuels présentent toujours des limitations fondamentales en matière de raisonnement et de coordination spatiale dans les environnements complexes, remettant en question l’idée d’une véritable raisonnement émergent.

5:35

May 21, 2025

Optimisation de l'Efficacité des Grands Modèles de Langage

Source: https://arxiv.org/html/2505.13840v1 Ce texte traite de l’évaluation de l’efficacité des grands modèles linguistiques (LLM), une préoccupation croissante en raison de leurs coûts et de leurs demandes en ressources. Il présente EfficientLLM, un cadre d’évaluation qui utilise des métriques détaillées comme l’utilisation de la mémoire et la consommation d’énergie pour fournir une analyse plus réaliste que les méthodes traditionnelles. Les auteurs examinent diverses techniques d’amélioration de l’efficacité pendant la pré-formation, l’ajustement (fine-tuning) et l’inférence, notamment les mécanismes d’attention efficaces, les méthodes de modélisation creuses et les alternatives sans attention. Le texte souligne l’importance de l’évaluation empirique à grande échelle et des compromis entre la performance et les ressources pour guider les décisions de déploiement. Il aborde également les défis ouverts, comme le développement de lois de mise à l’échelle multi-objectifs.

4:47

May 20, 2025

🧐 Fidélité du Raisonnement des Modèles

Source: https://arxiv.org/abs/2505.05410v1 Le papier se penche sur la fidélité des chaînes de pensée (Chain-of-Thought, CoT) produites par les modèles de raisonnement de pointe. Le CoT est considéré comme potentiellement bénéfique pour la sécurité de l’IA, car il permet de surveiller le raisonnement d’un modèle afin de tenter de comprendre ses intentions et ses processus. Cependant, l’efficacité d’une telle surveillance dépend de la mesure dans laquelle les CoT représentent fidèlement les processus de raisonnement réels des modèles.

6:36

May 20, 2025

Agents IA vs IA Agentique : une taxonomie conceptuelle

Source: https://arxiv.org/html/2505.10468v2 Ce texte examine l’évolution des agents IA et de l’IA agentique, en les présentant comme des paradigmes distincts mais liés dans l’intelligence artificielle. Il trace leur développement depuis les systèmes réactifs pré-ChatGPT jusqu’aux architectures collaboratives et adaptatives d’aujourd’hui, soulignant le rôle essentiel des grands modèles linguistiques (LLMs) dans ces avancées. Le document détaille les applications de ces systèmes, met en évidence leurs limites, notamment en matière de raisonnement causal et de coordination multi-agents, et propose des pistes de solution, comme l’utilisation de systèmes de mémoire et l’orchestration plus sophistiquée, pour construire des agents plus fiables et autonomes.

5:04

May 20, 2025

🛡️ Briser le Canevas : sécurité des LLM et jailbreaking

Source : https://arxiv.org/html/2505.04146v1 Ce texte est une présentation de l’article de recherche intitulé “Unmasking the Canvas: A Dynamic Benchmark for Image Generation Jailbreaking and LLM Content Safety”. L’article, soumis sur arXiv, aborde la vulnérabilité des grands modèles de langage (LLM) dans la génération d’images face aux attaques par injection de prompt, ou “jailbreaking”. Les auteurs, Variath Madhupal Gautham Nair et Vishal Varma Dantuluri, décrivent un nouvel ensemble de données, le UTC Benchmark (UTCB), conçu pour évaluer cette vulnérabilité. Ils expliquent leur méthodologie utilisant l’ingénierie de prompt, l’obfuscation multilingue et une pipeline d’évaluation robuste pour identifier et classer les risques associés aux images générées. Le texte met également en garde le lecteur que l’article contient des exemples visuels de ces inputs adversariaux, bien que les sorties générées soient expurgées pour une divulgation responsable.

5:18

May 20, 2025

Le Pouvoir des Histoires pour les Agents LLM

https://arxiv.org/abs/2505.03961v2 Ce texte est une page d’arXiv décrivant une étude intitulée “The Power of Stories: Narrative Priming Shapes How LLM Agents Collaborate and Compete”. L’étude examine si l’introduction d’histoires peut influencer les grands modèles linguistiques (LLM) pour qu’ils collaborent ou soient égoïstes dans un jeu de biens publics répété. Les auteurs explorent comment les récits affectent la négociation, la différence lorsque les agents partagent ou non la même histoire, l’impact d’un nombre croissant d’agents, et la résilience des agents face aux négociateurs intéressés. Ils concluent que l’amorçage par des histoires affecte significativement les stratégies de négociation et les taux de succès, avec des histoires partagées favorisant la collaboration.

6:16

May 20, 2025

😵‍💫 Les LLM Perdent le Fil en Conversation

Source Ce document étudie les performances des grands modèles linguistiques (LLMs) dans les conversations à plusieurs tours, par opposition aux interactions à un seul tour. Il constate que les LLMs affichent une baisse de performance significative dans les scénarios conversationnels, principalement en raison d’une fiabilité réduite plutôt que d’une diminution de leurs capacités. Les auteurs explorent les raisons de ce phénomène, surnommé “perdu en conversation”, notamment les tentatives de réponse prématurées et la difficulté à maintenir le contexte. Ils proposent une nouvelle méthodologie de simulation et de mesure pour évaluer les LLMs dans ces paramètres, et soulignent l’importance pour les constructeurs de LLMs d’améliorer la fiabilité conversationnelle et pour les utilisateurs de consolider les instructions pour une meilleure interaction.

5:37

May 20, 2025

🧐 Métacognition et sagesse de l'IA

Ce texte provient de la page arXiv d’un article de recherche intitulé “Imaginer et construire des machines sages : La centralité de la métacognition de l’IA”. Les auteurs, dont Yoshua Bengio, explorent le concept de sagesse dans l’IA et la comparent à la sagesse humaine. Ils soutiennent que si l’IA est devenue intelligente, elle manque de sagesse, en particulier en ce qui concerne la métacognition. L’article propose que l’amélioration des capacités métacognitives de l’IA pourrait conduire à des systèmes plus robustes, explicables et sûrs. Il aborde également les méthodes potentielles d’évaluation, d’entraînement et de mise en œuvre de l’IA sage.

5:59

May 20, 2025

🤯 Apprentissage accéléré avec IA et ChatGPT

Ce texte explore une méthode d’apprentissage accéléré utilisant l’intelligence artificielle, inspirée initialement par les conseils de l’Université d’Oxford. L’auteur décrit son parcours pour développer un séquence de “prompts” en plusieurs étapes pour un modèle linguistique, afin de mieux comprendre et retenir des informations complexes. Il présente et illustre les différentes étapes de ce processus, de la structuration initiale et l’identification des concepts clés à des exercices interactifs pour approfondir la compréhension et améliorer la rétention, aboutissant à la création de flashcards et de fiches de synthèse.

6:44

May 19, 2025

🤫 Détournement des gardes fous LLMs (attaques via RAG)

Source Cette publication universitaire présente MutedRAG, une nouvelle attaque par déni de service ciblant les systèmes RAG (Retrieval-Augmented Generation). L’attaque exploite les mécanismes de sécurité intégrés des grands modèles linguistiques (LLM) en injectant des instructions “jailbreak” minimales dans la base de connaissances, déclenchant ainsi intentionnellement les garde-fous des LLM. Ce déclenchement amène le système RAG à refuser de répondre aux requêtes légitimes de l’utilisateur. Les auteurs comparent MutedRAG aux attaques d’empoisonnement de données existantes et démontrent son efficacité et son efficience supérieures à travers diverses expériences, tout en évaluant la capacité des défenses actuelles à atténuer cette nouvelle menace.

5:32

May 19, 2025

📖 Prompting et Autoencodeurs pour la Surveillance d'Activation

Ce texte est une entrée arXiv pour un article de recherche intitulé “Investigating task-specific prompts and sparse autoencoders for activation monitoring”, rédigé par Henk Tillman et Dan Mossing et soumis le 28 avril 2025. L’article examine différentes méthodes pour surveiller les activations internes des modèles linguistiques afin de mieux comprendre et prévoir leur comportement. Les auteurs comparent les approches basées sur le sondage linéaire, les invites spécifiques à la tâche (prompted probing) et les autoencodeurs creux (sparse autoencoders) pour l’analyse des activations. Ils concluent que le sondage avec invites est efficace avec des ressources de calcul à l’inférence, tandis que les méthodes basées sur les autoencodeurs sont préférables lorsque ces ressources sont limitées. Le document est classé dans la catégorie “Machine Learning (cs.LG)”.

7:50

May 19, 2025

Risques de Sécurité du Code Web Généré par LLMs

Le document évalue de manière critique la sécurité du code d’application web généré par les grands modèles linguistiques (LLM). En utilisant des paramètres de sécurité prédéfinis, l’analyse révèle que les LLM, bien qu’utiles pour le développement, génèrent souvent du code avec des vulnérabilités critiques dans des domaines tels que l’authentification, la gestion des sessions et la validation des entrées. Bien que certains modèles intègrent des mesures de sécurité limitées, aucun ne répond pleinement aux meilleures pratiques de l’industrie. Les conclusions soulignent la nécessité d’une expertise humaine pour examiner et sécuriser le code généré par les LLM et préconisent des cadres d’évaluation de sécurité robustes pour améliorer la fiabilité du code LLM dans des applications réelles.