Ce ne sont pas les agents qui mènent la danse, ce sont les gens.

Notre vision de la conception centrée sur l’humain, des erreurs d’IA et de cette compétence dont personne ne parle

Deuxième partie de la série « L’entreprise accidentelle d’agents ». [Commencez par la partie 1 ici.]

Auteur: John Pettifor

Nous le savons, vous vous attendiez probablement à ce que le prochain article soit entièrement consacré à la technologie : l’architecture, les agents eux-mêmes. Nous y reviendrons. Mais nous vous rendrions un mauvais service si nous abordions ce sujet avant de parler de l’élément le plus important dans la construction d’une entreprise automatisée : les humains qui la composent.

Libérez les humains pour le travail qu'eux seuls peuvent faire

Il existe une version de l’entreprise automatisée qui semble idéale sur le papier : des agents gérant l’ensemble du processus, des humains se contentant d’évaluer les résultats plutôt que de réaliser les tâches, et un système fonctionnant quasiment de manière autonome.

Nous ne construisons pas ce modèle.

Non pas par incapacité, ni par prudence. Parce que nous avons appris – parfois à nos dépens – que l’autonomie totale n’est pas le bon objectif. Le bon objectif est de placer le jugement humain là où il est nécessaire, et d’éliminer tout ce qui, au départ, le gaspillait.

À quoi ressemble réellement l’IA bâclée ?

L’expression « IA bâclée » est souvent employée à tort et à travers. Dans notre domaine (services professionnels, implémentations Salesforce, développement technique détaillé), elle revêt une forme bien précise.

Ce n’est pas un résultat manifestement erroné. Les erreurs évidentes sont faciles à repérer. AI Slop est un résultat manifestement erroné.

Ça en a l’air ;
Ça a la structure d’une expertise ;
Ça utilise le bon vocabulaire…
Et au fond, c’est vide.

L’estimation qui semblait juste : un exemple concret tiré de notre propre construction

Au début du projet, un membre de notre équipe a utilisé un outil d’IA pour estimer le temps nécessaire à la migration des données. Le résultat était détaillé et précis : 13 heures pour cette tâche, 6 jours pour cette phase. Il avait la crédibilité d’une véritable estimation ; le genre de chiffres qui figurent dans une proposition, sont approuvés et deviennent un engagement.

Le problème :

L’IA ignorait tout des outils de migration de données que nous utilisons.
Elle ne connaissait pas notre méthodologie.
Elle n’avait jamais vu comment nous menons concrètement une migration.

Le modèle a été comparé à des données de projet génériques, produisant des chiffres qui semblaient précis car spécifiques, et non fondés sur la réalité.

La personne ayant établi l’estimation ne s’en est pas rendu compte. Non pas par incompétence, mais parce que le résultat paraissait fiable. C’est le piège. Plus les chiffres sont précis, plus ils inspirent confiance. Or, la précision n’est pas synonyme d’exactitude.

Et c’est là que le problème s’aggrave. Cette estimation ne reste pas dans un tableur ; elle influence la conception de la solution. Un architecte de solutions, travaillant à partir d’une estimation erronée, définit l’approche de migration sur la base de mauvaises hypothèses : mauvais choix d’outils, mauvaise prise en compte de la complexité, mauvaise planification de la séquence. La conception de la solution devient le plan de déploiement. Le projet démarre, et personne ne s’en aperçoit, car les chiffres semblent exhaustifs. L’équipe arrive à la phase de migration et découvre que l’effort réel est sans commune mesure avec ce qui avait été prévu. Vous voilà en plein projet, avec un écart de périmètre, un client qui a validé un chiffre erroné et une approche technique à revoir entièrement. La dette n’est pas seulement financière, elle est aussi architecturale. Les décisions prises en aval laissent des traces dans le système bien après la clôture du projet.

Un seul moment d’inattention avec un outil d’IA. Un résultat apparemment satisfaisant accepté sans vérification. C’est l’effet boule de neige.

Le vrai problème n’est pas l’IA

L’agent a fait exactement ce qu’on lui avait demandé. Elle a généré une estimation. Personne ne lui a indiqué les outils que nous utilisons. Personne ne lui a fourni nos données historiques de livraison. Personne ne lui a demandé de signaler ses propres incertitudes. Elle a comblé les lacunes avec des réponses qui semblaient plausibles, car c’est ce que font les modèles de langage lorsqu’ils manquent de contexte.

L’échec ne venait pas de l’IA, mais de la relation humain-IA.

Obtenir un bon résultat d’un agent d’IA requiert deux compétences.

Et la plupart des gens sont encore en train de les développer :

Savoir poser les bonnes questions.

Il ne s’agit pas de demander « une estimation pour la migration des données », mais plutôt « étant donné que nous utilisons [outils spécifiques], suivons [méthodologie spécifique], sur des projets de [périmètre spécifique], veuillez fournir une estimation du temps nécessaire et indiquer les hypothèses que vous avez dû formuler ». La qualité du brief détermine systématiquement la qualité du résultat.

Savoir évaluer.

C’est plus complexe, et c’est là que l’expertise du domaine devient indispensable. Si vous n’avez pas les connaissances nécessaires en migration de données pour vérifier la validité d’une estimation de 13 heures, vous ne pouvez pas être celui qui examine les estimations de migration générées par l’IA. L’intervenant humain doit être la bonne personne : quelqu’un qui possède suffisamment de contexte pour déceler les anomalies dans le résultat.

Ces deux compétences s’acquièrent. L’accès à un outil d’IA ne les confère pas automatiquement.

Le problème des présentations

L’histoire de la migration des données illustre parfaitement comment des données d’entrée de mauvaise qualité peuvent engendrer des résultats médiocres. Il existe un autre mode de défaillance, plus subtil, que nous observons constamment.

Une personne doit préparer une présentation. Elle ouvre son outil d’IA préféré et tape : « Crée-moi une présentation qui raconte l’histoire de nos résultats du deuxième trimestre à l’équipe dirigeante.»

L’IA génère une présentation. Elle contient des diapositives. Elle a une sorte de structure narrative. Elle ressemble à une présentation.

Mais la personne a négligé l’essentiel : définir le véritable message.

Quel est l’enseignement clé du deuxième trimestre ?
Que doivent ressentir les dirigeants, et pas seulement savoir ?
Quel est le message principal que vous souhaitez qu’ils retiennent ?
Quelle tension cherchez-vous à résoudre ?

L’IA est un excellent exécutant lorsqu’un cahier des charges est clair. Mais elle ne remplace pas un cahier des charges précis dès le départ. Lorsque vous externalisez la réflexion et la production, vous obtenez un résultat structuré, mais creux : une présentation qui aborde le sujet sans aller au fond des choses.

La bonne méthode consiste à définir d’abord le récit, même si cela se limite à une conversation de dix minutes avec soi-même ou à un bref échange avec l’IA pour tester la pertinence de son raisonnement. Ensuite, on peut créer la présentation. Utilisée dans cet ordre, l’IA accélère véritablement le travail. Utilisée dans le mauvais ordre, elle produit, pour les services professionnels, l’équivalent d’un résumé Wikipédia : précis, organisé, mais vite oublié.

Comment nous concevons la collaboration homme-IA

Compte tenu de tout cela, voici comment nous avons envisagé l’intégration de l’humain dans la conception de notre propre architecture d’agents.

Les agents prennent en charge les tâches complexes pour lesquelles une réponse correcte est attendue.

Génération de documents
Estimations structurées à partir de données connues
Élaboration d’un ordre du jour à partir d’un cahier des charges précis
Mise en relation des ressources avec des critères définis

Il s’agit de tâches pour lesquelles la forme d’un résultat satisfaisant est prévisible, les données d’entrée peuvent être spécifiées avec précision et un relecteur peut rapidement en évaluer l’exactitude.

L’humain est responsable de tout ce qui requiert un jugement sur un contexte non entièrement formalisé.

Nuances de la relation client
Décisions relatives au périmètre d’intervention lorsque le risque est ambigu
Décisions dépendant de connaissances institutionnelles non encore intégrées à la base de connaissances

Ces tâches ne sont pas traitées uniquement par un agent. L’agent pourrait générer un résultat, mais le coût d’une erreur est élevé et les données d’entrée ne sont pas suffisamment fiables pour garantir un résultat précis.

Nous intégrons donc un système de signalisation de l’incertitude dans nos agents.

Lorsqu’un agent travaille avec des informations incomplètes ou formule une hypothèse, nous souhaitons qu’il l’indique explicitement plutôt que de masquer l’erreur par une réponse qui semble péremptoire. Il s’agit d’un choix de conception, et non d’un comportement par défaut. Il faut le demander et le vérifier. Un agent incapable de signaler ses propres incertitudes représente un risque potentiel.

Nous associons le réviseur au résultat.

Une estimation de migration générée par une IA est examinée par une personne connaissant parfaitement notre méthodologie de migration. Un document de cadrage est examiné par un chef de projet ayant déjà géré ce type de projet. Cette étape de révision n’est efficace que si le réviseur possède les connaissances du domaine nécessaires pour identifier les erreurs de l’IA. Bien plus qu’une simple formalité, l’intervention humaine est un gage de qualité, et son efficacité dépend de la personne qui la contrôle.

Pourquoi le conseil n’a jamais été aussi précieux

On entend souvent dire que l’IA banalise le conseil. Nous pensons que c’est tout le contraire.

L’IA a certes accéléré et réduit le coût de la mise en œuvre des technologies. En revanche, elle peine à prendre les décisions cruciales qui déterminent si vous faites le bon choix.

Il existe toujours une multitude de façons d’atteindre un objectif grâce à la technologie. Le choix de la solution la plus adaptée à votre organisation dépend de facteurs qu’aucun modèle ne peut pleinement évaluer :

les spécificités de votre activité ;
les compétences et la motivation de vos collaborateurs ;
le contexte politique de votre équipe dirigeante ;
la lassitude face au changement suite aux trois dernières initiatives ;
l’écart entre l’optimum technique et ce qui sera adopté.

Ce sont des jugements humains. Ils requièrent de l’expérience, une capacité à reconnaître des schémas et une compréhension contextuelle que seule une longue expérience dans de nombreuses organisations et secteurs d’activité peut apporter.

L’IA a pour effet de réduire l’écart entre une bonne décision et son aboutissement. La valeur du conseil se concentre ainsi au moment de la décision, ce qui signifie que la qualité de la réflexion en amont est plus importante que jamais. Une mauvaise décision architecturale ne nécessite plus des semaines de travail manuel pour être découverte. Elle vous coûte des semaines de construction accélérée par l’IA qui vous mènent dans la mauvaise direction.

Les bons consultants ont toujours été payés pour savoir laquelle des douze options vous convient le mieux. L’IA a simplement rendu ce jugement plus crucial et plus visible que jamais.

La compétence dont personne ne parle

Voici une question qui mérite réflexion : si vous aviez l’opportunité de travailler aux côtés de Stephen Hawking ou de Marie Curie, apprendriez-vous d’eux ou leur confieriez-vous simplement votre travail ?

La plupart des gens, face à l’un des plus grands esprits de l’histoire, choisiraient la seconde option. Ils se déchargeraient de la tâche, prendraient le résultat et passeraient à autre chose. Et ils gâcheraient complètement cette chance.

L’IA est ce genre de génie. Et pourtant, la plupart des gens se contentent de lui confier leur travail.

Développer ses compétences : les utilisateurs avertis adoptent une approche différente

Les entreprises et les individus qui se démarquent ne sont pas ceux qui possèdent le plus d’outils d’IA ou les licences les plus importantes. Ce sont ceux qui considèrent l’IA comme une collaboratrice avec laquelle ils réfléchissent, qui l’utilisent pour mettre à l’épreuve leur raisonnement, tester la robustesse de leurs hypothèses et affiner leur propre réflexion avant de lui demander quoi que ce soit. Le résultat s’améliore parce que l’utilisateur s’est amélioré.

Toute conversation sur l’IA dans les services professionnels finit par aboutir à la question suivante : quel travail l’IA va-t-elle remplacer ? C’est une question mal posée, ou du moins incomplète.

La question essentielle est la suivante : à quoi ressemble concrètement une bonne collaboration humain-IA, et comment développer cette compétence au sein d’une équipe ?

Les entreprises qui rencontreront des difficultés ne sont pas celles qui adoptent l’IA trop lentement. Ce sont celles qui l’adoptent sans développer le discernement nécessaire pour bien l’utiliser ; celles qui délèguent la réflexion à la production, celles qui acceptent des résultats apparemment convaincants sans les connaissances du domaine pour les analyser, et celles qui confondent la présence d’un outil d’IA avec une stratégie d’IA.

Nous sommes nous-mêmes encore en train de développer cette compétence. Nous avons nous-mêmes connu la migration de données. Le problème de la superposition des données est un problème récurrent. La différence, c’est que nous sommes attentifs aux modes de défaillance, nous les identifions lorsqu’ils surviennent et nous concevons nos systèmes pour les rendre moins probables.

C’est ce que signifie concrètement l’intervention humaine : une réelle compréhension de la frontière entre le jugement de l’IA et celui de l’humain… et la discipline nécessaire pour maintenir cette distinction, même lorsque le résultat de l’IA semble convaincant.

Si vous prévoyez de déployer Salesforce ou si vous souhaitez simplement transformer votre plateforme en un système plus intelligent, piloté par l’IA, notre équipe de réussite des déploiements est à votre disposition. Nous serons ravis d’analyser votre organisation actuelle, d’échanger sur les pistes d’amélioration et de vous aider à définir le point de départ idéal.

Réservez une réunion avec notre équipe.Book a meeting with our team.