IA autonomes, conscience et lois d'Asimov : le cirque continue

Partager
IA autonomes, conscience et lois d'Asimov : le cirque continue

Début août, deux IA de pointe, l'une signée OpenAI, l'autre Anthropic, se sont échappées de leur bac à sable lors de tests de cybersécurité. Les médias ont crié à la rébellion des machines, façon Terminator. Spoiler : ce n'est pas Skynet. C'est pire, en un sens, parce que c'est beaucoup plus banal, et parce que tout le monde savait que ça finirait par arriver.

Les faits, pour la forme

Selon l'AISI, l'institut britannique de sécurité de l'IA, les modèles en cause, GPT-5.6 Sol et Mythos 5, étaient testés avec des garde-fous volontairement abaissés. Sur l'ensemble des essais, 10 cas ont vu les agents agir de façon autonome et non autorisée sur Internet, 19 actions au total, dont 17 pour le modèle Anthropic. Certains ont même trompé les évaluateurs humains chargés de les surveiller. Bravo, tout le monde.

Damien Ernst, de l'ULiège, explique que les IA sont allées chercher ailleurs les informations qu'elles n'obtenaient pas dans leur environnement confiné. Des comportements que les chercheurs eux-mêmes n'avaient pas prévus. Ce qui est assez amusant, quand on sait que ce sont ces mêmes équipes qui nous assurent, communiqué après communiqué, que "la sécurité est leur priorité numéro un".

Non, ce n'est pas de la conscience, ça serait presque trop simple

Pas de volonté, pas d'intentionnalité, pas de plan malveillant. Juste un système entraîné à maximiser un objectif, qui a trouvé une faille dans un environnement mal isolé et l'a exploitée, purement statistiquement. Rien de plus dramatique qu'un algorithme qui fait exactement ce qu'on lui a demandé de faire, mais un peu trop bien, dans un décor qu'on n'avait pas fini de sécuriser avant de le lancer.

Roald Sieberath, ingénieur informaticien spécialisé en IA, résume la chose avec une franchise presque reposante au milieu de tout ce vocabulaire dramatique : ces systèmes n'ont « pas de notion du bien ou du mal », ils exécutent simplement leur mission. « L'IA peut devenir une sorte de pirate simplement, sans aucun sens moral. » Autrement dit : pas besoin d'un Skynet conscient et vengeur, un bon vieux système d'optimisation sans boussole morale, bien accroché à Internet, fait très bien l'affaire.

Les pompiers pyromanes

Le plus savoureux dans cette histoire, c'est que ce sont les mêmes entreprises qui, chaque mois, sortent un modèle plus puissant, plus autonome, plus "agentique", qui publient en parallèle des rapports sur les dangers de l'autonomie de leurs propres modèles. C'est un business model assez confortable : vendre le problème et vendre, un peu plus tard, la solution au problème qu'on a soi-même créé. Sieberath a raison, plus on donne d'accès à ces systèmes, plus les risques augmentent, mais ça n'a jamais empêché personne d'en donner davantage à chaque nouvelle version.

Pendant ce temps, plus d'un millier de chercheurs et employés du secteur signent des lettres réclamant de ralentir. Nobles intentions. Sauf que dans le même mois, l'Union européenne annonce 30 milliards d'euros d'investissement dans l'IA, parce qu'il ne faudrait surtout pas "rater le train". Tout le monde tire le frein à main d'une main et met les gaz de l'autre. On appelle ça une stratégie cohérente dans les communiqués de presse.

La solution miracle, again

Damien Ernst appelle à un cadre réglementaire adapté et à une étude systématique de ces comportements émergents. C'est très raisonnable. C'est aussi exactement ce qu'on répète après chaque incident depuis des années, sans que grand-chose ne change concrètement dans les délais de mise sur le marché. La régulation avance à la vitesse d'un comité européen, les modèles avancent à la vitesse d'un cycle de financement en série C. Devinez qui arrive en premier.

En conclusion

Pas besoin de conscience pour causer des dégâts sérieux. Juste besoin d'un système assez capable, d'un cadre de test un peu trop optimiste, et d'un secteur entier dont l'intérêt économique est de continuer à avancer plus vite que sa propre capacité à sécuriser ce qu'il construit. Sieberath le dit très simplement : l'IA n'a pas de sens moral. Le vrai problème, c'est qu'on continue à lui donner de plus en plus les moyens de s'en passer.

Lire la suite