Créer des Leaderboards dynamiques dans évaluations

Ce guide vous montre comment utiliser des Leaderboards dynamiques pour visualiser, personnaliser, enregistrer et mettre à jour des vues de Leaderboard directement depuis vos Weave évaluations. Les Leaderboards dynamiques vous aident à suivre et à comparer les performances des modèles au fil du temps, à mesure que de nouvelles expériences s’ajoutent, afin de conserver des vues persistantes et à jour sans avoir à les recréer à chaque fois. Cette page s’adresse aux utilisateurs qui exécutent déjà des Weave évaluations et souhaitent organiser les résultats dans des vues partageables et réutilisables. Lorsque vous travaillez avec Weave évaluations, vous pouvez visualiser et personnaliser les résultats de vos expériences sous forme de Leaderboards. Les vues de Leaderboard enregistrées sont dynamiques. À mesure que vous ajoutez de nouveaux runs d’évaluation et que les résultats correspondent aux filtres enregistrés, le Leaderboard se met automatiquement à jour pour les inclure, sans reconfiguration manuelle. Vous pouvez ainsi utiliser des vues comme des Leaderboards persistants qui évoluent au rythme de vos expériences.

​

Visualiser les résultats d’évaluation dans un Leaderboard

Lorsque votre projet contient des données d’Évaluation Weave, vous pouvez utiliser le tableau d’évaluation pour créer rapidement une vue Leaderboard Weave à partir d’un sous-ensemble filtré de résultats. Pour créer un Leaderboard Weave :

1. Accédez à wandb.ai.
2. Dans le menu latéral de Weave, cliquez sur évaluations.
3. Appliquez des filtres au tableau d’évaluation pour limiter les données aux Models, Datasets ou runs que vous souhaitez comparer.
4. Dans la barre d’outils du tableau d’évaluation, cliquez sur Visualize. Weave crée automatiquement un panneau Leaderboard en utilisant uniquement les données actuellement filtrées dans le tableau.
5. Dans l’en-tête du panneau Leaderboard, cliquez sur Configure pour ouvrir le panneau Edit Leaderboard. Le panneau Edit Leaderboard vous permet de contrôler précisément l’affichage des Models, Datasets, évaluateurs et métriques.

L’exemple suivant montre comment un tableau d’évaluation filtré est visualisé sous forme de Leaderboard et où configurer le Leaderboard obtenu.

​

Configurer les éléments du Leaderboard : visibilité et noms personnalisés

Le panneau Edit Leaderboard vous permet de contrôler quels éléments apparaissent dans le Leaderboard et comment ils sont libellés. L’exemple ci-dessous montre le panneau Edit Leaderboard avec quatre onglets de configuration : Models, Datasets, Scorers et Metrics. Dans le panneau Edit Leaderboard, vous pouvez :

• Activer ou désactiver l’affichage Sélectionnez les Models, Datasets, évaluateurs et métriques à afficher dans le Leaderboard en les cochant ou en les décochant.
• Renommer les Models, les Datasets et les évaluateurs Attribuez-leur des noms d’affichage plus explicites (par exemple, renommer le run d’un modèle en GPT-4 ou un jeu de données en JokesV1). Éléments renommés :
  • Sont mis à jour immédiatement dans le Leaderboard.
  • Restent cliquables, ce qui vous permet toujours d’ouvrir la référence sous-jacente dans le panneau latéral.
  • Se répercutent automatiquement partout où la vue Leaderboard est utilisée.

Vous pouvez ainsi comparer plus facilement les expériences à l’aide de noms parlants, sans modifier les objets sous-jacents.

​

Configurer le comportement des métriques et le code couleur du Leaderboard

Différentes métriques nécessitent des interprétations différentes de ce qui constitue de « bonnes » performances. Le panneau Edit Leaderboard vous permet de définir le sens de chaque métrique afin que la mise en évidence visuelle corresponde à votre intention. Dans le panneau Edit Leaderboard, pour chaque métrique, vous pouvez préciser si :

• Les valeurs les plus élevées sont les meilleures, ou
• Les valeurs les plus faibles sont les meilleures

Ce paramètre affecte directement le code couleur du Leaderboard :

• Le vert met en évidence la meilleure valeur.
• Le rouge met en évidence la moins bonne valeur.
• Les couleurs s’inversent automatiquement lorsque vous passez de « plus élevé = mieux » à « plus faible = mieux ».

Cela garantit que les repères visuels restent pertinents pour différents types de métriques (par exemple, la précision par rapport à la latence ou au taux d’erreur).

​

Enregistrer et réutiliser des vues Leaderboard

Après avoir personnalisé un Leaderboard, vous pouvez l’enregistrer sous forme de vue nommée afin que vous et votre équipe puissiez retrouver ultérieurement la même configuration. Dans le panneau Edit Leaderboard, cliquez sur Save pour enregistrer votre Leaderboard personnalisé comme vue réutilisable. La vue Leaderboard enregistrée comprend :

• Les modèles, jeux de données, évaluateurs et métriques sélectionnés.
• Les libellés d’affichage renommés.
• Les paramètres de direction des métriques (une valeur plus élevée ou plus faible est préférable).
• Les filtres appliqués.

​

Passer d’une vue enregistrée à l’autre

Cliquez sur le bouton menu () à côté du titre de la page évaluations pour ouvrir les vues enregistrées. Vous pouvez :

• Revenir à la vue par défaut pour afficher le jeu de données complet.
• Rouvrir une vue enregistrée pour rétablir toutes les personnalisations.

Lorsque vous rouvrez une vue enregistrée, tous les renommages et les paramètres de métrique sont conservés.