Serverless SFT

Découvrez comment effectuer le Fine-tuning de modèles à l’aide du fine-tuning supervisé (SFT) sur W&B

Désormais en préversion publique, Serverless SFT aide les développeurs à effectuer le Fine-tuning de LLM à l’aide de l’apprentissage supervisé sur des Datasets sélectionnés. W&B met à votre disposition l’infrastructure d’entraînement (sur CoreWeave) tout en vous laissant une flexibilité totale dans la configuration de votre environnement. Serverless SFT vous donne un accès immédiat à un cluster d’entraînement géré qui s’adapte automatiquement à l’échelle pour prendre en charge vos charges d’entraînement.

Serverless SFT est idéal pour des tâches telles que :

• Distillation : transférer les connaissances d’un modèle plus grand et plus performant vers un modèle plus petit et plus rapide
• Apprentissage du style et du format de sortie : entraîner un modèle à respecter des formats de réponse, un ton ou une structure spécifiques
• Amorçage avant le RL : préentraîner un modèle avec des exemples supervisés avant d’appliquer l’apprentissage par renforcement pour un affinage plus poussé

Serverless SFT entraîne des adaptateurs LoRA afin de spécialiser un modèle pour votre tâche spécifique. Les adaptateurs LoRA que vous entraînez sont automatiquement stockés comme Artifacts dans votre compte W&B, et peuvent être enregistrés en local ou chez un tiers à des fins de sauvegarde. Les modèles que vous entraînez via Serverless SFT sont également automatiquement hébergés sur W&B Inference.

Voir la documentation ART sur Serverless SFT pour commencer.

​

Pourquoi Serverless SFT ?

Le fine-tuning supervisé (SFT) est une technique d’entraînement dans laquelle un modèle apprend à partir d’exemples d’entrée et de sortie soigneusement sélectionnés. Serverless SFT sur W&B offre les avantages suivants :

• Coûts d’entraînement réduits : en mutualisant l’infrastructure entre de nombreux utilisateurs, en évitant d’avoir à configurer chaque job et en ramenant vos coûts GPU à 0 lorsque vous n’êtes pas activement en train d’entraîner, Serverless SFT réduit considérablement les coûts d’entraînement.
• Temps d’entraînement plus court : en mettant immédiatement à disposition l’infrastructure d’entraînement lorsque vous en avez besoin, Serverless SFT accélère vos tâches d’entraînement et vous permet d’itérer plus rapidement.
• Déploiement automatique : Serverless SFT déploie automatiquement chaque checkpoint que vous entraînez, ce qui élimine le besoin de configurer manuellement une infrastructure d’hébergement. Les modèles entraînés sont immédiatement accessibles et testables dans des environnements locaux, de préproduction ou de production.

​

Comment Serverless SFT utilise les services W&B

Serverless SFT s’appuie sur une combinaison des composants W&B suivants pour fonctionner :

• Inference : Pour exécuter vos modèles
• Models : Pour suivre les métriques de performances pendant l’entraînement de l’adaptateur LoRA
• Artifacts : Pour stocker et versionner les adaptateurs LoRA
• Weave (facultatif) : Pour avoir de la visibilité sur la manière dont le modèle répond à chaque étape de la boucle d’entraînement

Serverless SFT est en préversion publique. Pendant cette phase, seuls l’utilisation de l’inférence et le stockage des Artifacts vous sont facturés. W&B ne facture pas l’entraînement des adaptateurs pendant la période de préversion.