Les modèles de langage en auto-optimisation s’épanouissent grâce à la technique SEAL révisée par le MIT.

Des scientifiques du Massachusetts Institute of Technology (MIT) ont introduit une méthode novatrice nommée SEAL (Self-Adapting LLMs), qui permet aux modèles de langage de grande taille (LLM) de rehausser leurs performances en générant des données synthétiques pour leur auto-formation.

Après sa première publication en juin dernier, cette technique a été enrichie et mise à disposition sur GitHub sous une licence open source.

Celle-ci offre aux LLM la capacité de créer et d’intégrer de façon autonome des stratégies de réglage fin, contrairement aux modèles conventionnels qui dépendent de données externes fixes.

SEAL repose sur un mécanisme à double boucle : une boucle interne pour le réglage fin supervisé, et une boucle externe qui exploite l’apprentissage par renforcement.

Les résultats préliminaires indiquent que SEAL améliore la précision des réponses des modèles, dépassant même certains modèles externes tels que GPT-4.

1.

Toutefois, cette approche rencontre des obstacles, tels que l’oubli catastrophique et les limitations en matière de calcul.

Les chercheurs poursuivent leurs investigations pour envisager des applications futures de SEAL, visant à concevoir des systèmes d’intelligence artificielle auto-adaptatifs capables d’évoluer et de progresser sans nécessiter d’intervention humaine continue.

L’article « Les modèles de langage auto-améliorés prennent forme grâce à la technique SEAL mise à jour par le MIT » a été publié en premier sur IA Tech News.

Restez à l’affût des dernières avancées dans le domaine de la technologie et de l’IA.

Source: IA Tech news