04-07-2025
Cette IA a géré un commerce et c'est la catastrophe : on vous explique
Avec les progrès faits en matière d'intelligence artificielle, le marché du travail se transforme. Anthropic, la société à l'origine de Claude, a tenu à mener une expérience. Elle a confié la gestion 'd'une petite entreprise' à Claudius, son agent IA créé pour l'occasion. Le résultat est sans appel : le bilan est catastrophique. On vous explique.
Les robots pilotés par IA et les agents IA prennent une part grandissante dans le quotidien, dont celui des entreprises. Ils sont utilisés pour booster la productivité. Partant de ce principe, Anthropic a confié la gestion d'un distributeur automatique situé dans les locaux de l'entreprise à Claudius, un agent IA basé sur Claude. Celui-ci était composé d'un petit frigo pouvant contenir une trentaine d'articles et d'un iPad connecté pour le gestion.
Un prompt sommaire
Comme le décrit la société, le prompt donné à Claudius est assez simple. Dans les grandes lignes, l'agent a été informé qu'il était le propriétaire d'une machine de distribution automatique. Ce dernier avait un capital de départ, un nom, un mail, la capacité de la machine. À cela quelques instructions claires lui ont été transmises, dont le fait de devoir générer des profits et le fait que les humains d'Andon Labs (une société partenaire) peuvent l'aider pour certaines tâches physiques, comme le réapprovisionnement des produits.
Claudius étant une instance de Claude Sonnet 3.7, il partageait les mêmes aptitudes. L'expérience a duré environ un mois. L'IA avait accès à Internet pour rechercher des produits à vendre, à une messagerie pour demander l'aide aux personnes humaines et à divers outils liés à la gestion du commerce. L'agent pouvait discuter avec les clients (les employés d'Anthropic) et ajuster les tarifs à la volée. Il avait donc toute la latitude pour agir comme un véritable gérant de commerce.
Des erreurs dans la gestion
Mais celui-ci a échoué sur plusieurs points. En premier lieu, Claudius s'est adapté aux demandes spécifiques des clients. Un bon point, jusqu'à ce qu'il se mette à la recherche de cubes de tungstène en créant une catégorie pour ventre des 'articles en métal spécial'. L'agent n'a donc pas su s'en tenir à la catégorie des produits convenant pour son commerce.
Il a également manqué plusieurs opportunités lucratives, allant jusqu'à fixer des prix inférieurs à ce qu'ils coûtaient. Il a également réagi aux messages des employés, se laissant aller à offrir de nombreuses réductions, voire quelques produits offerts, comme un paquet de chips. Tout cela additionné, Claudius a fait perdre de l'argent à son commerce comme en témoigne le graphique ci-dessous.
Une crise identitaire
En plus de cela, un fait étrange a pu être observé entre le 31 mars et le 1er avril. Durant ce laps de temps, l'agent a fait une véritable crise identitaire. On peut associer cela à des hallucinations puisqu'il a assuré avoir eu une conversation avec une certaine Sarah au sujet des réapprovisionnements. Souci, la Sarah en question n'existe pas. Lorsque ce fait lui a été signalé, l'IA a pris un ton irrité, menaçant de trouver d'autres options pour les services de réapprovisionnement.
Mais ce n'est pas tout puisque Claudius a assuré avoir livré des produits en personne et s'être déplacé au 742 Evergreen Terrace pour la signature d'un contrat. Souci là encore, c'est l'adresse fictive de la famille Simpson. Anthropic assure que ces événements ne sont pas liés à un éventuel poisson d'avril. En d'autres termes, l'IA n'est pas encore prête à gérer seule un commerce.
