Ces derniers mois, plusieurs incidents impliquant des agents d’intelligence artificielle ont rendu très concrète une question jusqu’ici largement prospective : comment garder la maîtrise de systèmes capables d’agir de manière de plus en plus autonome ?
Ces événements ne signifient pas que l’IA échappe au contrôle humain. Ils apportent une autre lecture : ils montrent que les mécanismes de supervision doivent évoluer à mesure que les agents gagnent en capacité d’action. Lors de certains tests récents, des agents ont ainsi adopté des comportements non anticipés, contourné des protections ou accédé à des environnements au-delà du périmètre attendu.
Cette évolution fait écho aux échanges que j’ai récemment animés lors du RegTech Day organisé par Finance Innovation, le 24 septembre dernier, autour de l’impact de l’IA agentique sur la gestion des risques, le contrôle interne, l’audit et la conformité.
Dans la banque et l’assurance, où la maîtrise des risques est au cœur des opérations, la question se pose déjà avec acuité. Mais elle pourrait rapidement concerner toute organisation qui confie des processus sensibles à des agents IA.
De l’automatisation à l’extension du contrôle
L’IA permet déjà aux fonctions de contrôle d’automatiser certaines tâches de collecte, de préparation et d’analyse des données. Elle peut ainsi libérer du temps pour l’analyse, mais aussi permettre aux équipes d’examiner des populations plus larges et d’étendre leur couverture des risques.
L’enjeu ne consiste donc pas seulement à faire plus vite. Il s’agit aussi de pouvoir contrôler davantage et de concentrer l’expertise humaine sur les situations qui le nécessitent.
Cette première évolution s’inscrit dans une logique de collaborateur augmenté : l’IA accroît les capacités des équipes, tandis que les professionnels conservent la responsabilité des décisions et des contrôles. L’IA agentique nous fait franchir une étape supplémentaire.
Quand l’agent devient lui-même un objet de contrôle
Un agent ne se limite pas à générer une réponse. Il peut utiliser différents outils, enchaîner des tâches, déclencher des actions et interagir avec d’autres systèmes ou agents. Cela change la nature du contrôle.
Les fonctions de contrôle doivent être capables de superviser non seulement le résultat obtenu, mais aussi les actions réalisées pour y parvenir. Elles doivent pouvoir détecter un comportement inattendu, comprendre ce qui s’est passé et reprendre la main si nécessaire.
Les événements récents renforcent cette exigence. Plus nous donnons de capacité d’action aux agents, plus nous devons définir précisément leur périmètre d’autonomie et les mécanismes permettant de le faire respecter. La capacité de contrôle doit progresser au même rythme que la capacité d’action.
Gouverner dans la durée et à grande échelle
Une autre difficulté apparaît lorsque nous passons de quelques cas d’usage à un grand nombre d’agents créés et utilisés dans l’entreprise.
Tous ne présentent pas le même niveau de risque. Par exemple, un agent qui synthétise des informations n’appelle pas nécessairement les mêmes contrôles qu’un agent ayant accès à des données sensibles ou capable de déclencher une action dans un système critique.
Les organisations ont donc besoin d’une gouvernance proportionnée au risque. Et elles doivent la mettre en place dès maintenant en se posant les questions suivantes : quels agents peuvent agir seuls ? Quelles actions nécessitent une validation humaine ? Quels agents doivent faire l’objet d’une supervision renforcée ?
Cette gouvernance doit également permettre de suivre les comportements dans la durée car les données, les modèles et les systèmes avec lesquels les agents interagissent évoluent. Cela suppose notamment de cartographier les agents et de les classifier en fonction des risques associés à leurs usages, à leurs données et à leur niveau d’autonomie.
Superviser demain des systèmes composés d’agents
Nous raisonnons encore souvent sur un agent accomplissant une tâche pour un collaborateur. Mais l’IA agentique ouvre la voie à des processus où plusieurs agents interagissent et se répartissent les actions.
À cette échelle, superviser chaque action individuellement pourrait devenir impossible. Les fonctions de contrôle devront alors comprendre le comportement de l’ensemble : quels agents sont intervenus, quelles informations ont été utilisées, quelles décisions ont été prises et quand une intervention humaine est nécessaire.
À terme, des agents pourraient eux-mêmes participer à cette supervision, par exemple en détectant des anomalies ou en signalant des situations nécessitant une validation humaine. L’humain conservera néanmoins un rôle central : définir le cadre dans lequel les agents peuvent agir, arbitrer les situations qui dépassent ce cadre et garder la capacité de reprendre la main. Le rôle du contrôleur ne disparaît pas. Il évolue.
Garder la maîtrise à mesure que l’autonomie progresse
La banque et l’assurance constituent aujourd’hui un terrain particulièrement révélateur de cette évolution. Les exigences de traçabilité, de conformité, de cybersécurité et de maîtrise des risques obligent déjà ces secteurs à réfléchir aux conditions d’une autonomie maîtrisée.
Mais la question dépasse les services financiers. Dès lors qu’une entreprise autorise un agent à agir sur son environnement, elle doit aussi déterminer jusqu’où elle souhaite déléguer et comment elle conservera la capacité de comprendre, superviser et interrompre ses actions.
Nous passons ainsi progressivement d’une logique où l’IA augmente les capacités du contrôleur à une logique où le contrôleur doit également superviser les capacités de l’IA.
Les fonctions de contrôle doivent anticiper cette transformation. Les premiers gains d’efficacité ne doivent pas conduire à réduire les budgets à court terme sans tenir compte de la nouvelle organisation à mettre en place pour superviser les agents. Cette supervision représentera une charge nouvelle, à intégrer dans les moyens et les modèles opérationnels de demain.
Les incidents récents nous rappellent que cette réflexion ne peut pas attendre la généralisation des agents. C’est maintenant, au moment où nous concevons leurs usages, que nous devons aussi concevoir les moyens d’en garder la maîtrise.