Le paradoxe de la valeur de l’IA : mesurer ce qui compte (pas seulement ce qui est facile)

L’évolution rapide l’intelligence artificielle (IA) divise les opinions, et les tensions apportées par ces différences illustrent les défis liés à l’intégration de l’IA à l’échelle d’une entreprise.

D’un côté, nous avons les passionnés des nouvelles technologies, qui souhaitent expérimenter avec les derniers outils et explorer les possibilités de l’IA. Ces utilisateurs précoces aident à démontrer le potentiel de l’IA pour les individus et encouragent les autres à faire de même. Toutefois, leurs efforts sont rarement mis en œuvre à l’échelle d’une entreprise, où la valeur provient de l’harmonie entre les processus et les équipes, et pas nécessairement d’une productivité individuelle maximisée.

De l’autre côté se trouvent les gens sceptiques et réticents à prendre des risques, qui sont préoccupés par les fuites de données, les conseils inadéquats, la suppression d’emplois ou pire encore. Qu’elles soient fondées ou non, ces peurs freinent l’adoption et la mise à l’échelle de l’IA au sein des organisations. Bien que la gestion du changement, autant que les réglementations, les guides et les cadres de gouvernance responsable de l’IA, peut aider à surmonter ces peurs, celles-ci demeurent un obstacle important.

Entre ces deux extrêmes se trouve la véritable occasion d’affaires, qui repose sur la compréhension et la démonstration de la valeur réelle que l’IA peut générer. Cela permet de dissiper la frénésie, la peur et la vague promesse que « l’IA va tout régler ». Si les organisations peuvent mesurer sa valeur, elles réussiront à mettre à l’échelle l’IA.

Cependant, comme toute personne qui a déjà travaillé sur un projet d’IA le sait, mesurer sa valeur est plus difficile qu’il n’y paraît.

Pourquoi les mesures de la valeur de l’IA sont importantes

Avant de discuter des parties prenantes, des indicateurs clés de performance ou des échéanciers, une question doit d’abord être posée : « Pourquoi mesurer la valeur de l’IA? »

Les projets d’IA débutent souvent avec de grandes attentes, mais l’enthousiasme n’est pas une stratégie d’investissement durable. Notre expérience démontre que sans une approche structurée permettant de définir et de mesurer la valeur de l’IA, les organisations font face à trois risques prévisibles :

1. Énoncés de problèmes imprécis menant à des critères flous de réussite
   Les équipes conçoivent des solutions impressionnantes sans clairement définir les critères de réussite, ou bien elles définissent la réussite de manière incomplète ou déconnectée de la valeur commerciale. Cela mène à des projets pilotes exploratoires centrés sur les outils et les capacités, plutôt que sur la résolution de problèmes concrets.
2. Attentes divergentes des parties prenantes
   Nous connaissons tous cette histoire : tout le monde semble être sur la même page. Toutefois, les utilisateurs s’attendent à des économies de temps. Les propriétaires de processus s’attendent à de meilleurs délais d’exécution. Les leaders des fonctions d’affaires s’attendent à une réduction des coûts. Les leaders des fonctions de TI s’attendent à des progrès liés à l’architecture. Finalement, l’équipe de conformité veut simplement pouvoir se reposer la nuit. Sans une valeur mesurable, les priorités ne sont pas exprimées et elles s’entrechoquent.
3. Difficulté à obtenir des investissements continus
   Lorsque la valeur n’est pas démontrée, le financement, la mise à l’échelle et la confiance s’érodent rapidement.

L’évaluation de la valeur est parfois perçue comme un processus bureaucratique (« Nous devons mesurer quelque chose. ») ou un obstacle au progrès rapide, mais il s’agit d’une étape stratégique. Elle renforce la prise de décision, permet une mise à l’échelle responsable et garantit que les équipes travaillent vers l’atteinte de résultats qui importent réellement pour les organisations et leurs clients.

L’évaluation de la valeur doit être reproductible et évolutive

Les mesures de réussite des premiers projets pilotes en IA sont rarement représentatives d’une adoption à l’échelle de l’entreprise et des résultats escomptés. Par exemple, calculer la moyenne des améliorations observées quant aux délais, aux coûts et aux flux de travaux des utilisateurs précoces mène souvent à une surestimation des avantages pour l’ensemble des utilisateurs d’une organisation. Ainsi, la fiabilité de l’évaluation de la valeur ajoutée est essentielle.

Les équipes de recherches appliquées de CGI tirent avantage d’une approche axée sur les meilleures pratiques (en anglais) pour évaluer les avantages liés à la productivité. Cette rigueur scientifique et statistique garantit que ces avantages sont reproductibles et défendables, même avec de petits échantillons (ce qui est souvent le cas avec les projets pilotes d’IA), y compris les deux tests statistiques suivants :

• tests t appariés pour mesurer la signification statistique des écarts entre l’effort manuel et le travail assisté par l’IA;
• tests t unilatéraux pour vérifier si des gains précis de productivité sont observés.

Grâce à cette approche statistique, les organisations peuvent garantir que les améliorations sont attribuables à l’IA, et non à des coïncidences, en plus de pouvoir générer des conclusions pertinentes sans grands volumes de données.

Le prochain défi est de recueillir les bonnes données tout au long du cycle de vie de l’IA. Cela peut être accompli en deux étapes, décrites ci-dessous.

Étape no 1 : établir les attentes des parties prenantes et les échéanciers, ensemble

Il est important de se rappeler que la valeur dépend des paries prenantes. Donc, la première question n’est pas « Qu’est-ce que l’IA peut accomplir? », mais plutôt « Pourquoi l’utilisons-nous et à qui s’adresse-t-elle réellement? ».

Les parties prenantes font souvent partie de ces groupes :

• utilisateurs (qui vont soit adorer l’outil d’IA ou éviter de l’utiliser);
• équipes des technologies (qui assurent la mise en œuvre et l’intégration);
• clients (internes ou externes);
• propriétaires de processus (dont vous pouvez affecter non intentionnellement leurs indicateurs clés de performance);
• équipes de conformité et de gestion des risques (qui auront leur mot à dire, sans aucun doute);
• haute direction ou parrains (qui veulent constater une retombée positive sur leur stratégie);
• société ou organismes de réglementation (selon votre domaine).

Les outils d’IA affecteront ces parties prenantes de différentes manières, pouvant aller de l’expérience des utilisateurs et des clients, en passant par les indicateurs clés de performance des propriétaires de processus, jusqu’aux risques encourus par les équipes de conformité de même que le rendement du capital investi attendu par les parrains principaux.

Exemple de cas : intégrer l’IA aux opérations de fabrication

Une entreprise manufacturière a déployé l’IA pour accroître l’efficacité, réduire les coûts et augmenter la fiabilité de ses opérations de recherche et de développement, de production, de chaîne d’approvisionnement ainsi que de logistique. Les résultats préliminaires semblaient prometteurs en affichant de meilleures prédictions, des tableaux de bord plus riches et des gains d’efficacité à l’échelle locale. Cependant, les délais d’exécution restaient inchangés, les coûts demeuraient imprévisibles et les talents qui s’occupent des activités quotidiennes observaient une faible amélioration générale.

La haute direction a réalisé que le défi n’était pas de choisir les bons outils d’IA, mais de mesurer avec précision leur réussite. Juger ces outils seulement par leur performance technique ou leurs améliorations isolées, par exemple, ne permettait pas de démontrer l’ensemble des résultats d’exploitation.

Les membres de la haute direction ont décidé que l’IA devait être évaluée selon son incidence sur trois indicateurs clés de performance axés sur les résultats.

• Efficacité des systèmes : délai d’exécution de bout en bout, efficacité globale de l’équipement, temps moyen entre les défaillances, respect de l’échéancier, consommation énergétique par unité finale;
• Coûts : coût par bonne unité, coût lié aux interruptions imprévues, coût énergétique par commande, coûts liés aux modifications techniques;
• Expérience utilisateur (prévisibilité et effort déployé au quotidien) : fréquence d’intervention des opérateurs, effort de maintenance par accident, stabilité de la planification, délai du cycle de rétroaction d’ingénierie.

Avec ces mesures, la production s’est stabilisée, les urgences ont diminué et les boucles de rétroaction entre les équipes d’ingénierie et des opérations se sont réduites. Les modèles d’IA n’ont pas fondamentalement changé. Cependant, l’évaluation de leur réussite à l’aide de mesures plus pertinentes a permis de mettre de l’avant leur valeur et de l’appliquer à grande échelle.

Connecter la valeur au cycle de vie de l’IA

La valeur évolue, et les indicateurs clés de performance doivent en faire autant. Par exemple, s’attendre à une valeur ajoutée pour l’ensemble de l’entreprise dans le cadre d’un projet pilote n’invite que la déception.

Les indicateurs clés de rendement doivent être alignés sur chaque phase du projet.

• Conception du projet pilote : possibilités sur le plan commercial et technique ainsi que démonstration de la valeur (exactitude, précision, taux d’automatisation);
• Adoption précoce : potentiel d’amélioration opérationnelle (économies de temps, réduction du dédoublement de travail);
• Ingénierie et mise à l’échelle : répercussions sur les activités, interopérabilité au sein de l’entreprise, alignement stratégique;
• Amélioration continue : résultats à long terme, optimisation, gestion des dérives des modèles.

Créer une matrice de valeur

La valeur ne dépend pas que des parties prenantes, mais aussi des délais. Comprendre qui profite et quand est la base de tout ce qui suit.

Pour garder le tout organisé, nous utilisons une matrice de valeur, qui nous permet de systématiquement cartographier les résultats escomptés et les attentes des parties prenantes.

Utilisez une matrice de valeur dans laquelle :

• colonnes = parties prenantes;
• lignes = phases du cycle de vie;
• cellules = avantages escomptés.

Cette matrice devient la pierre angulaire pour la gestion des priorités, des attentes et des mesures. Si un avantage ne peut y être inscrit, alors le cas d’utilisation est sans doute trop vague, ou il ne génère pas de valeur ajoutée.

	Partie prenante 1	Partie prenante 2	Partie prenante 3	…
Conception (projet pilote)	Avantage no 1	Avantage no 2	…
Exploration (adoption précoce)
Ingénierie (et mise à l’échelle)		…
Expansion (pour l’amélioration continue)

Étape no 2 : choisir des mesures qui résisteront à un examen rigoureux

Les mesures doivent suivre et évaluer les avantages promis et ne doivent pas simplement servir à bonifier des tableaux de bord.

De bonnes mesures respectent trois conditions.

• Plausibilité causale : l’IA peut influencer de façon raisonnable la mesure.
• Disponibilité et qualité des données : la mesure peut être évaluée avec fiabilité. L’évaluation ne doit pas nécessairement être quantitative (par exemple, délai, coût, effort); elle peut être qualitative (par exemple, expérience utilisateur recueillie à l’aide d’entrevues ou de sondages).
• Robustesse : les facteurs externes peuvent être expliqués ou contrôlés.

Voici quelques exemples.

• Indicateurs clés de performance de l’efficacité du rendement : mesure le temps et les efforts déployés avant et après le soutien de l’IA; l’effort manuel de référence doit être mesuré.
• Indicateurs clés de performance du rapport coûts-avantages : calcul des coûts globaux liés à la technologie actuelle, aux licences, à l’effort manuel, aux délais, aux erreurs et aux processus manuels pour aider à identifier les véritables économies de coûts; l’automatisation possède aussi ses coûts au-delà des licences, y compris la consommation, la surveillance continue et la maintenance.
• Expérience utilisateur : la convivialité, la précision, l’adaptabilité et la satisfaction non seulement des utilisateurs finaux, mais aussi des équipes responsables de la mise en œuvre et de la gestion des solutions.

Ces mesures aident aussi à illustrer que tout ne doit pas nécessairement être automatisé. L’IA doit justifier la solidité de son modèle économique.

Mesurer la valeur de l’IA pour la rendre tangible

L’IA devient un actif stratégique seulement lorsque sa valeur est démontrée, défendable et connectée à des objectifs concrets. Une méthodologie structurée, une matrice de valeur et des indicateurs clés de performance du cycle de vie permettent de mesurer son progrès. De plus, une communication transparente renforce la confiance.

Voici quelques recommandations à adopter pour l’avenir :

1. Définissez le problème, les parties prenantes, les échéanciers et les mesures, dans cet ordre.
2. Mesurez la valeur des domaines financier, opérationnel, stratégique et humain.
3. Utilisez des méthodes statistiques pour assurer la reproductibilité.
4. Choisissez des indicateurs clés de performance que l’IA peut réellement influencer.
5. Attribuez une responsabilité d’affaires claire pour chaque indicateur clé de performance; l’IA ne génère pas de valeur à moins que quelqu’un en soit imputable.
6. Alignez les attentes de chaque phase du projet; les projets pilotes sont destinés à l’apprentissage, non pas à générer de la valeur à l’échelle de l’entreprise.
7. Publiez les résultats, car une valeur non communiquée est une valeur non réalisée.

Lorsque la valeur est adéquatement mesurée, l’IA se transforme de tendance du moment à outil stratégique, capable de générer des résultats fiables et pragmatiques pour les leaders. Pour discuter davantage de ce sujet, communiquez avec l’un d’entre nous.

Nous tenons à remercier notre collègue Helena Jochberger pour sa contribution à ce blog. Également, apprenez-en plus à propos des compétences et du travail de CGI en matière d’intelligence artificielle.