Comparer les traces et autres informations enregistrées

La fonctionnalité de comparaison de W&B Weave vous permet de comparer visuellement le code, les traces, les prompts, les modèles et les configurations de modèle, ainsi que d’en afficher les différences. Vous pouvez comparer deux objets côte à côte ou analyser un ensemble plus large d’objets pour identifier des différences, des schémas et des tendances. Cela est utile lorsque vous itérez sur des prompts ou des modèles, déboguez des changements de comportement d’un run à l’autre, ou vérifiez comment les configurations ont évolué au fil du temps. Ce guide s’adresse aux utilisateurs de Weave qui souhaitent examiner les différences entre les objets enregistrés dans l’interface utilisateur. Il explique comment lancer une comparaison et présente les actions disponibles pour personnaliser votre vue de comparaison, notamment les comparaisons de référence et le formatage des différences numériques.

​

Accéder à la vue de comparaison

Pour ouvrir la vue de comparaison pour deux objets enregistrés ou plus :

1. Dans la barre latérale, sélectionnez le type d’objet à comparer (par exemple, Traces ou Models).
2. Sélectionnez les objets que vous voulez comparer. La méthode de sélection varie selon le type d’objet comparé :
   • Pour les Traces, sélectionnez les traces à comparer en cochant les cases des lignes appropriées dans la colonne Trace.
   • Pour des objets comme Models, accédez à la page Versions du modèle et cochez les cases à côté des versions que vous souhaitez comparer.
3. Sélectionnez Compare pour ouvrir la vue de comparaison. En haut de la page, la barre de comparaison contient des jetons interactifs d’ID d’appel (par exemple, f02b, 4a98) que vous pouvez faire glisser, réorganiser ou supprimer pour modifier la comparaison.
4. Vous pouvez affiner votre vue à l’aide des actions disponibles.

​

Personnaliser la vue de comparaison

Dans la vue de comparaison, vous pouvez ajuster la façon dont les objets sont affichés et comparés. Les sections suivantes décrivent les actions disponibles :

• Afficher le résumé
• Afficher une vue Calls
• Modifier l’affichage des différences
• Afficher côte à côte
• Afficher dans une vue unifiée
• Définir une référence
• Supprimer une référence
• Modifier l’ordre de comparaison
• Modifier le format d’affichage des différences numériques
• Comparer avec la référence ou l’élément précédent
• Comparer une paire dans une comparaison multi-objets
• Retirer un objet de la comparaison

​

Afficher le résumé

La vue par défaut pour la comparaison d’un objet sélectionné est le résumé. Ce résumé inclut un aperçu des entrées et sorties du LLM, ainsi que des tokens, du coût et de la latence. Pour les traces, la barre colorée affichée en haut du tableau de comparaison reflète les types et couleurs personnalisés que vous avez appliqués à vos Ops. Pour en savoir plus sur cette visibilité améliorée, voir Appliquer des types et des couleurs.

​

Afficher une vue Calls

Pour comparer les appels de chaque objet, sélectionnez Calls. Cette vue :

• Affiche l’arborescence de trace complète de l’appel.
• Offre une recherche textuelle simple en mémoire.
• Permet d’afficher ou de masquer la latence, le coût, les tokens, les types d’op et les retours pour chaque appel.

​

Modifier l’affichage des différences

Par défaut, Diff only est désactivé. Pour filtrer les lignes du tableau afin que seules les lignes modifiées apparaissent, activez Diff only. Diff only s’applique aux vues côte à côte et unifiées, et est désactivé dans les autres vues.

​

Afficher côte à côte

Pour comparer les objets côte à côte dans des colonnes distinctes, sélectionnez Côte à côte.

​

Afficher dans une vue unifiée

Pour comparer deux objets dans une vue unifiée, sélectionnez Unified. Cette vue n’est pas disponible si vous comparez plus de deux objets.

​

Définir une référence

Par défaut, chaque objet de la vue de comparaison est comparé à l’objet situé à sa gauche. Cependant, vous pouvez définir un objet comme référence, ce qui signifie que tous les objets seront comparés à l’objet situé tout à gauche dans la vue. Utilisez une référence lorsque vous souhaitez que chaque objet soit évalué par rapport à un seul point de référence, comme une exécution dont vous savez qu’elle est correcte. Pour définir un objet comme référence :

1. Dans la barre de comparaison, placez le pointeur sur l’objet que vous souhaitez définir comme référence.
2. Cliquez sur le menu d’actions () à droite de l’ID.
3. Dans la liste, sélectionnez Make référence. L’interface utilisateur s’actualise avec l’objet de référence tout à gauche dans la barre de comparaison et Référence à côté de l’ID.

​

Supprimer une référence

Pour supprimer un objet en tant que référence :

1. Dans la barre de comparaison, survolez l’objet de référence.
2. Cliquez sur le menu d’actions () à droite de l’ID.
3. Dans la liste, sélectionnez Supprimer la référence. Référence ne s’affiche plus à côté de l’ID de l’appel.

​

Modifier l’ordre de comparaison

Faites glisser les objets dans la barre de comparaison pour les réordonner. Cela réorganise également les colonnes correspondantes dans le tableau de comparaison. Pour modifier l’ordre de comparaison :

1. Dans la barre de comparaison, placez le pointeur sur l’ID que vous souhaitez réordonner.
2. Cliquez sur les six points à gauche de l’ID, maintenez le clic et faites-le glisser vers la gauche ou la droite selon vos besoins.
3. Placez l’ID à l’emplacement souhaité. Les données de comparaison s’actualisent avec le nouvel ordre de comparaison.

​

Modifier le format d’affichage des différences numériques

Pour les valeurs numériques telles que completion_tokens et total_tokens, vous pouvez afficher la différence sous forme d’entier ou de pourcentage. Vous pouvez également afficher les valeurs numériques positives sous forme de multiplicateur. Pour modifier le format d’affichage d’une différence numérique :

1. Dans le tableau de comparaison, trouvez la valeur numérique dont vous souhaitez modifier le format d’affichage de la différence.
2. Cliquez sur la valeur de la différence. Le format est automatiquement mis à jour et s’affiche soit en entier, soit en pourcentage.

​

Comparer avec la référence ou l’objet précédent

Cette option n’est disponible que lorsque vous comparez trois objets ou plus. Vous pouvez également définir une référence ou supprimer une référence existante. Pour effectuer une comparaison avec référence sur trois objets ou plus :

1. Dans l’angle supérieur droit de la vue de comparaison côte à côte ou unifiée, cliquez sur la liste. Selon votre configuration actuelle de la vue, le titre de la liste est soit Comparer avec l’objet précédent soit Comparer avec la référence.
2. Selon votre configuration actuelle de la vue, sélectionnez Comparer avec l’objet précédent ou Comparer avec la référence.
   • Comparer avec la référence : définit l’objet le plus à gauche comme référence. Le tableau se met à jour afin que la colonne la plus à gauche corresponde à la référence.
   • Comparer avec l’objet précédent : aucun objet n’est défini comme référence.

​

Comparer une paire dans une comparaison multi-objets

Cette option est disponible uniquement lorsque vous comparez trois objets ou plus. Lorsque vous comparez 3 objets ou plus, vous pouvez comparer un objet unique à l’objet adjacent ou à une référence. Cela modifie la vue du tableau de comparaison pour qu’elle soit identique à celle d’une comparaison entre deux objets. Pour comparer une paire d’objets dans une comparaison multi-objets :

1. Dans la barre de comparaison, sélectionnez l’ID que vous souhaitez comparer. Si vous avez défini une référence, la vue compare l’objet sélectionné à cette référence. Sinon, elle compare l’objet à l’ID situé immédiatement à sa gauche dans la barre de comparaison.
2. Pour sélectionner l’élément, cliquez sur l’ID. L’interface utilisateur s’actualise avec un tableau de comparaison à deux entrées.

Pour réinitialiser la vue afin d’afficher dans le tableau les six premiers objets sélectionnés pour la comparaison, cliquez de nouveau sur l’ID.

​

Retirer un objet de la comparaison

Cette option est disponible uniquement lorsque vous comparez trois objets ou plus. Pour retirer un objet de la comparaison :

1. Dans la barre de comparaison, repérez l’objet que vous souhaitez retirer de la comparaison.
2. Cliquez sur le menu d’actions () à droite de l’ID.
3. Dans la liste, sélectionnez Supprimer l’objet de la comparaison. L’interface utilisateur s’actualise avec un tableau mis à jour qui n’inclut plus l’objet supprimé.

​

Notes d’utilisation

Les notes suivantes décrivent les limitations et les comportements de la fonctionnalité de comparaison :

• La fonctionnalité de comparaison est uniquement disponible dans l’interface utilisateur.
• Vous pouvez comparer autant d’objets que vous le souhaitez, mais l’interface utilisateur en affiche un maximum de six. Pour afficher un objet dans le tableau de comparaison qui n’est pas visible lors de la comparaison de plus de six objets, modifiez l’ordre de comparaison afin que l’objet figure parmi les six premiers de gauche à droite, ou associez-le depuis une comparaison multi-objets pour le visualiser.