Rising · Manuel
AI Evaluation
Sans métrique d’échec, un système IA n’est qu’un récit. Le sujet monte, les suites publiques restent rares.
Pourquoi c’est là
Règle du Lab : métriques d’abord, interprétation ensuite. Observe ce sujet pour ne pas laisser les agents se raconter tout seuls.
Ce que je surveille
Task completion, exactitude, tool-use, coût, latence, hallucinations. Versioning des runs (MLflow et équivalents). Ce qui se fait passer pour une eval alors que c’est un LLM-as-judge opaque.
Lecture actuelle
Rising : plus de discours « evals matter ». Ici, les livrables publics sont un tableau A/B/C de profilage et un gold HITL (hitl-agent.v2).
SignalLab
Volumes quotidiens sur quatre sources, plus le vocabulaire TF-IDF du collect. Les scores interprétables restent V2.5. Le statut éditorial de cette page reste manuel.