Comment SkillOpt permet-il aux agents LLM d'apprendre de nouvelles compétences ?

Index

Découvrez comment SkillOpt de Microsoft révolutionne l'apprentissage des agents IA en optimisant les compétences sans réajuster les modèles, offrant une méthode efficace et innovante pour améliorer les performances.

Pour booster les performances d’un agent IA, on pense souvent à ajuster le modèle. SkillOpt de Microsoft change la donne. Au lieu de réentraîner, il affine un fichier de compétences basé sur du texte. Ce post vous montre comment exploiter SkillOpt pour enseigner à l’agent LLM de nouvelles compétences sans un ajustement.

SkillOpt : Apprendre sans ajustement

SkillOpt, projet open-source de Microsoft Research, permet aux agents IA d’améliorer leurs résultats sans toucher aux poids du modèle. Il polira en permanence un document de compétences, un guide qui explique à l’IA comment s’y prendre pour une tâche. Pendant l’entraînement, SkillOpt évalue, analyse les erreurs, ajuste le document et ne retient que les améliorations qui surpassent les précédentes. À l’arrivée, vous avez un fichier nommé best_skill.md, réutilisable avec le même modèle ou d’autres modèles compatibles.

Pour activer l’agent LLM avec SkillOpt, voilà les étapes à suivre.

  1. Vérifiez que votre système est compatible.
  2. Installez Python.
  3. Installez SkillOpt.
  4. Configurez la clé API.
  5. Exécutez votre premier job d’entraînement SkillOpt.

Entrons dans le vif du sujet.

Exigences système

Avant d’aller plus loin, assurez-vous d’avoir :

  • Windows 11 ou 10
  • Python 3.10 ou une version plus récente
  • Gestionnaire de packages Pip
  • Une clé API pour un fournisseur IA supporté comme OpenAI, Azure OpenAI, Anthropic Claude, Qwen ou MiniMax
  • Une connexion Internet

Si tout est bon, lancez la configuration.

Installation de Python

Pas encore installé ? Voici comment faire :

  1. Allez sur python.org.
  2. Téléchargez la dernière version de Python 3.
  3. Exécutez l’installateur.
  4. Cochez Ajouter Python au PATH.
  5. Complétez l’installation.

Pour vérifier, ouvrez l’invite de commandes et tapez python –version.

Vous devriez voir la version s’afficher.

Installation de SkillOpt

Pour installer SkillOpt, commencez par télécharger Git sur son site officiel. Rendez-vous sur git-scm.com et téléchargez l’outil.

Une fois installé, vérifiez avec la commande – git –version.

Ensuite, téléchargez le dépôt SkillOpt via l’invite de commandes avec :

git clone https://github.com/microsoft/SkillOpt.git.

Entrez dans le dossier du projet en utilisant la commande : cd SkillOpt.

Microsoft recommande d’installer SkillOpt directement depuis le dépôt, plutôt que par le package PyPI. Exécutez donc pip install -e . pour l’installer en mode modifiable, avec ses dépendances. Si vous souhaitez le support optionnel pour le benchmark ALFWorld, tapez :

pip install -e ".[alfworld]"

Et voilà, SkillOpt est prêt.

Configurer la clé API

SkillOpt a besoin d’un accès à un modèle de langage supporté. Pour cela, configurez votre clé API.

Dans le dossier SkillOpt, cherchez le fichier .env.example.

Copiez-le et renommez-le en .env.

Ouvrez-le avec un éditeur de texte et insérez vos identifiants API.

Pour les points de terminaison OpenAI compatibles :

AZURE_OPENAI_ENDPOINT=https://api.openai.com/v1 AZURE_OPENAI_API_KEY=your_api_key AZURE_OPENAI_AUTH_MODE=openai_compatible

Pour…

Azure OpenAI :

AZURE_OPENAI_ENDPOINT=https://your-resource.openai.azure.com/ AZURE_OPENAI_API_KEY=your_api_key

Enregistrez le fichier à la fin.

Exécutez votre premier job d'entraînement SkillOpt

Identifiants API ? Check. Passons à l’entraînement SkillOpt.

Accédez à l'invite de commandes. Dirigez-vous vers le dossier SkillOpt.

Voici la commande à exécuter.

python scripts/train.py

En fonction du modèle et des benchmarks, dites adieu à la monotonie, vous aurez probablement besoin de paramètres supplémentaires décrits dans le dépôt du projet.

Durant l'entraînement, SkillOpt répète les étapes suivantes :

  • Exécute des tâches avec le document de compétence en cours.
  • Évalue les résultats, qu'ils soient bons ou mauvais.
  • Affûte les instructions de compétence.
  • Teste les mises à jour sur les tâches de validation.
  • Retient uniquement ce qui booste les performances.

Ce cycle d'entraînement continue jusqu'à ce que le document de compétence optimal soit créé.

La durée de l'entraînement varie selon le modèle, la taille des données et le nombre de cycles d'optimisation.

Comment fonctionnent les compétences dans LLM ?

Dans un Modèle de Langage de Grande Taille (LLM), les compétences constituent des instructions et des capacités liées à des tâches spécifiques, essentielles pour le codage, la synthèse, le raisonnement ou l’analyse des données. Elles émergent des données d’entraînement, d’un affinage ou de fichiers externes. SkillOpt, en finesse, améliore les capacités d’un agent en optimisant les instructions sans altérer le modèle. L'intelligence artificielle exécute ainsi les tâches plus efficacement, tout en maintenant le modèle de langage intact.

Quels sont les 4 types de LLM ?

Les Modèles de Langage de Grande Taille se divisent en quatre types : général, optimisé par instruction, spécifique à un domaine et multimodal. Général, il est entraîné sur des ensembles de données variés et gère diverses tâches. Optimisé par instruction, il suit les ordres des utilisateurs avec précision. Spécifique à un domaine, il est adapté à des domaines comme la santé, la finance ou le droit. Multimodal, il traite et génère texte, images, audio et vidéos.

Maintenant que tu as fini de lire Comment SkillOpt permet-il aux agents LLM d'apprendre de nouvelles compétences ?, nous t'invitons à explorer davantage la catégorie Applications. Tu y trouveras d'autres articles intéressants qui élargiront tes connaissances et te tiendront informé. Ne cesse pas de lire et de découvrir plus!

Go up