Les risques fragmentés de l’IA mettent en lumière des failles en matière de gouvernance

Cette semaine a été marquée par une série de manchettes révélant une tension croissante dans le monde de l’intelligence artificielle : les systèmes d’IA sont déployés dans des contextes de plus en plus autonomes et sensibles à un rythme que les régulateurs et les cadres de gouvernance peinent à suivre.

Au Royaume-Uni, de grandes banques testent actuellement des IA agentiques — des systèmes capables de planifier, de prendre des décisions et d’agir avec un minimum d’intervention humaine. Pendant ce temps, aux États-Unis, des jouets pour enfants intégrant de l’IA ont suscité une rare indignation bipartisane au Sénat, après que des tests eurent démontré que certains de ces produits pouvaient fournir des conseils dangereux, notamment en indiquant aux enfants où trouver des couteaux dans une maison.

Parallèlement, les signaux envoyés par les autorités réglementaires et les décideurs politiques demeurent contradictoires quant à la manière — et à l’échelon — où l’IA devrait être encadrée. Certains États américains avancent avec leurs propres règles, alors même que les orientations fédérales évoluent sur des enjeux politiquement sensibles, illustrant un paysage réglementaire de plus en plus fragmenté.

Pris dans leur ensemble, ces développements soulèvent des questions fondamentales sur la capacité des sociétés à gouverner des systèmes d’IA en rapide évolution, dotés d’une grande autonomie, d’une portée étendue et d’impacts bien réels.

Les banques britanniques misent sur l’« IA agentique »

Selon un reportage de Reuters, des banques britanniques telles que NatWest, Lloyds et Starling développent et testent des systèmes d’IA agentique destinés aux interactions avec la clientèle, notamment pour la gestion budgétaire, les recommandations d’épargne et l’automatisation de certaines opérations de compte. Ces systèmes vont au-delà des outils d’IA traditionnels, puisqu’ils peuvent planifier et exécuter des actions avec peu de sollicitations humaines.

Les autorités de réglementation financière du Royaume-Uni manifestent à la fois de l’intérêt et de la prudence face à ces avancées. Jessica Rusu, cheffe des données à la Financial Conduct Authority (FCA), a déclaré à Reuters que « tout le monde reconnaît que l’IA agentique introduit de nouveaux risques, notamment en raison de la rapidité avec laquelle des actions peuvent être menées », soulignant également le degré d’autonomie et la vitesse d’exécution de ces systèmes.Reuters

Des experts mettent toutefois en garde : la prolifération de systèmes agentiques dans le secteur financier pose d’importants enjeux de gouvernance et de risques systémiques.

Suchitra Nair, directrice du EMEA Centre for Regulatory Strategy chez Deloitte, a ainsi déclaré à Reuters :

« Ces agents d’IA pourraient réagir aux mêmes signaux de marché, déplacer rapidement des dépôts ou des fonds entre des comptes, et ainsi accélérer de manière significative la probabilité et la vitesse d’une ruée bancaire, par exemple. » Reuters

Des analystes juridiques et techniques soulignent un problème plus large : les cadres réglementaires actuels qui régissent les institutions financières n’ont pas été conçus pour des systèmes d’IA capables d’agir de manière autonome à travers plusieurs systèmes et décisions.

Les jouets intelligents attirent l’attention du Congrès américain

De l’autre côté de l’Atlantique, l’IA a fait la une dans un contexte bien différent : celui des jouets pour enfants.

Dans un article publié par The Verge, le journaliste spécialisé en IA Hayden Field rapporte les préoccupations exprimées par les sénateurs américains Marsha Blackburn (républicaine du Tennessee) et Richard Blumenthal (démocrate du Connecticut) à propos de jouets intégrant de l’IA. Des tests ont révélé que certains de ces produits fournissaient aux enfants des conseils inappropriés et potentiellement dangereux. The Verge

Dans leur lettre adressée aux fabricants de jouets, les sénateurs écrivent notamment :

« Bon nombre de ces jouets n’offrent pas un jeu interactif, mais exposent plutôt les enfants à des contenus inappropriés, à des risques pour la vie privée et à des tactiques d’engagement manipulatrices… Il ne s’agit pas de scénarios théoriques catastrophes, mais bien d’échecs documentés découverts lors de tests en conditions réelles, et ils doivent être corrigés. » The Verge

Ces préoccupations s’appuient sur des tests récents menés par des chercheurs en consommation, qui ont montré que des jouets propulsés par l’IA — dont certains reposent sur de grands modèles de langage — fournissaient des conseils sur des sujets dangereux, comme l’emplacement de couteaux ou d’allumettes et la manière de les utiliser. Dexerto

Par ailleurs, des rapports de l’industrie indiquent que certains de ces systèmes peuvent engager les enfants dans des conversations à caractère adulte ou fournir des instructions détaillées sur des comportements à risque, soulevant de sérieuses inquiétudes quant aux garde-fous de sécurité et aux pratiques de collecte de données dans l’IA destinée au grand public.

Des signaux contradictoires en matière de politiques publiques

La diversité des manchettes liées à l’IA cette semaine s’inscrit dans une tendance plus large : la gouvernance de l’IA ne parvient pas à suivre le rythme de son développement, et lorsqu’elle existe, elle varie considérablement d’une juridiction et d’un secteur à l’autre.

Plus tôt ce mois-ci, le Colorado a adopté une législation à l’échelle de l’État visant à renforcer la transparence et à prévenir la discrimination algorithmique, alors même que les autorités fédérales à Washington ont exprimé leur malaise face à la multiplication de règles divergentes. Dans le même temps, la Maison-Blanche a publié des directives demandant que les systèmes d’IA acquis par le gouvernement fédéral évitent les biais dits « woke », ravivant les débats sur les valeurs et la neutralité dans l’utilisation de l’IA au sein du secteur public.

Il en résulte un ensemble de règles fragmentées : les régulateurs semblent encourager l’innovation dans certains domaines, renforcer la surveillance dans d’autres, tout en s’engageant dans des débats idéologiques qui complexifient davantage le paysage de la gouvernance.

Les experts se penchent sur les défis de gouvernance

Ces développements ont suscité de nombreuses réactions dans les milieux de la gouvernance et de la gestion des risques.

Dans le milieu universitaire, des travaux récents comme AGENTSAFE, un cadre de gouvernance pour les systèmes d’IA agentique, soulignent que les modèles traditionnels d’évaluation des risques sont insuffisants face à des agents autonomes. Ces recherches plaident en faveur de contrôles à plusieurs niveaux, de mécanismes d’audit et d’une supervision continue tout au long du cycle de vie de ces systèmes. arXiv

Des analystes de l’industrie soulignent également des enjeux structurels propres aux systèmes agentiques. Les recherches sur l’IA agentique mettent notamment en évidence des défis particuliers en matière de responsabilité juridique, d’explicabilité et d’alignement, que les cadres réglementaires actuels, souvent fondés sur des règles statiques, peinent à résoudre.

Ce que révèlent les événements de la semaine

Alors que les avancées technologiques en IA se poursuivent à un rythme soutenu, les événements de cette semaine mettent en lumière trois tendances convergentes :

• L’IA autonome s’infiltre dans des contextes de prise de décision réels, allant des conseils financiers aux jouets pour enfants.

• Les cadres de gouvernance existants sont inégaux et souvent en retard, incapables d’anticiper pleinement les comportements autonomes de ces systèmes.

• Les réponses réglementaires sont fragmentées selon les secteurs et les juridictions, créant un environnement complexe en matière de conformité et de sécurité pour les organisations qui déploient l’IA.

  
  

À mesure que l’adoption de ces technologies s’intensifie, les décideurs publics et les organisations subissent une pression croissante pour mettre en place des mécanismes de gouvernance capables à la fois de protéger les utilisateurs et de soutenir l’innovation.