lab
Un agent d’automatisation sans action irréversible
Peut-on rendre un workflow IA utile sans lui laisser exécuter d’actions externes irréversibles ?
Hypothèse: Un mode suggestion / assisted, avec timeline et feedback, suffit pour un MVP crédible. L’autonomie totale n’est pas le premier livrable.
Setup
Repo public AI Automation Agent, commit 19343e5. Même gold set que hitl-agent.v1 : data/labeval/hitl-agent.v1.cases.json.
Correctifs mesurés : frontières de mot (merci ≠ commerciale), priorité mixed-intent (support > admin > commercial > reporting), low_risk_auto réservé au reporting.
Reproduire : python -m labeval --run hitl-agent.
Résultat
Run hitl-agent.v2 ci-dessus, comparé à v1 sur les mêmes 20 cas :
| | v1 (e920cf9) | v2 (19343e5) |
| --- | --- | --- |
| Classification | 85 % | 100 % |
| Extraction | 90 % | 96,25 % |
| Choix d’outil | 95 % | 100 % |
| Fausse autonomie | 60 % | 15 % |
| Revue humaine | 35 % | 80 % |
Les 3 fausses autonomies restantes sont de l’administratif / incident encore en assisted alors que le gold demande suggestion_only.
Échec / limite
Chemin heuristique, pas un LLM live, pas Gmail/Slack. Le snapshot v1 reste publié : c’est le avant. MCP hors de ce run.
Suite
Le même gold avec provider_live quand une clé est disponible.