Annotation collaborative & cross-validation
Notre client traite chaque jour des centaines d'e-mails métier : demandes, devis, confirmations, imprévus… Pour préparer l'automatisation de ces échanges (tri, extraction, réponses assistées), il fallait d'abord une matière première de qualité : des milliers d'e-mails étiquetés selon une taxonomie métier précise : type de client, intention, service concerné.
Or, étiqueter à la main, à plusieurs, directement dans l'outil que les équipes utilisent toute la journée, Outlook, sans bouleverser leurs habitudes, est un vrai défi. Et un jeu de données mal annoté condamne d'avance tout ce qui sera construit dessus.
Constituer un jeu d'annotations fiable soulève plusieurs difficultés à la fois :
Nous avons développé un add-in Outlook : un volet qui s'ouvre juste à côté de l'e-mail ouvert, accompagné d'un tableau de bord d'administration.
1. Annotation sans friction : catégories groupées et multi-sélection, en quelques clics, directement dans Outlook (web comme bureau). Le volet peut rester épinglé et suit l'e-mail sélectionné.
2. Connexion silencieuse : authentification via le SSO Microsoft de l'entreprise : aucun mot de passe, aucun écran de connexion pour les annotateurs.
3. Annotation « en aveugle » : le plugin n'affiche jamais les annotations des autres. Chacun étiquette indépendamment, ce qui rend la mesure d'accord honnête.
4. Mesure de la fiabilité : le tableau de bord calcule l'accord inter-annotateurs (cross-validation) pour chaque e-mail, suit la couverture (e-mails vus contre e-mails annotés) et exporte tout (CSV / JSON).
5. Respect de la vie privée : seules les métadonnées et les catégories sont conservées : jamais le corps des e-mails.
Le tout avec une taxonomie pilotée par un simple fichier de configuration : ajouter ou retirer une catégorie ne demande aucun redéploiement.