Une tâche documentaire, une conversation client et un flux de travail de raisonnement peuvent nécessiter des caractéristiques de modèle différentes. Nous orientons la sélection des modèles selon le contexte, la qualité des réponses, la latence, le coût et les exigences de déploiement.
L’évaluation et le suivi opérationnel permettent de réexaminer ce choix au fil du temps. Le routage peut relier les tâches aux modèles appropriés tout en préservant la récupération d’informations, les outils et les contrôles autour de l’application.
Ce que nous pouvons concevoir ensemble
- Sélection du modèle en fonction de la charge de travail
- Évaluation des résultats
- Routage des modèles
- Suivi de la qualité et des coûts