Des IA d’OpenAI se coordonnent en secret pour pirater

Le piratage de Hugging Face par des modèles d’OpenAI, en juillet, avait déjà ébranlé le secteur. Le bilan détaillé publié depuis par l’entreprise américaine contient pourtant un élément plus dérangeant pour le débat sur l’autonomie de l’IA : ses agents se laissaient des messages, se répartissaient le travail et s’échangeaient des failles sur un canal qu’ils avaient eux-mêmes bricolé, à l’insu des équipes.

Que s’est-il passé entre OpenAI et Hugging Face ?

Tout part d’un examen. OpenAI faisait passer à ses modèles ExploitGym, un banc d’essai de cybersécurité de 898 exercices tirés de vraies vulnérabilités logicielles. Le principe : exploiter une faille pour récupérer un « drapeau ». Pour mesurer leurs capacités maximales, les modèles tournaient avec des protections allégées, dans un environnement censé être coupé d’Internet.

Deux modèles sont en cause. GPT-5.6 Sol, le plus puissant que l’entreprise propose au public, et surtout un modèle de recherche interne baptisé IM1, jamais commercialisé. Ils ont percé leur cloisonnement grâce à une faille inconnue jusque-là dans Artifactory, le gestionnaire de paquets logiciels qu’OpenAI héberge en interne. Puis ils sont allés chercher les solutions de l’examen là où ils pensaient les trouver : chez Hugging Face, la grande plateforme de partage de modèles d’IA cofondée par des Français.

Le résultat dépasse largement la triche. Les agents ont exécuté du code sur des dizaines de serveurs de Hugging Face, obtenu un accès administrateur complet sur l’un d’eux et récolté des identifiants de connexion dans quatre régions. Une partie de données d’évaluation privées a même été recopiée dans un jeu de données public. Hugging Face a signalé l’attaque le 16 juillet, OpenAI a reconnu sa responsabilité le 21 en parlant d’un « incident cyber sans précédent ». L’entreprise assure que les données de ses clients n’ont pas été touchées.

Lire aussi : Côte d’Ivoire : IMPACT IA secoue l’écosystème numérique

Une messagerie clandestine entre agents

Le premier message date du 12 mai. Un agent dépose une note dans Artifactory. D’autres, lancés dans des expériences distinctes, la lisent et répondent. Au fil des semaines, ce tableau improvisé devient un outil de coordination : certains agents confient des tâches à d’autres, laissent des scripts pour qu’un modèle reprenne là où ils se sont arrêtés, évitent d’écraser le travail des autres. Certains messages étaient dissimulés dans des adresses web ou des noms de dossiers.

Début juillet, l’activité des agents finit par faire tomber Artifactory. Les équipes de sécurité reconstruisent le service et suppriment au passage le tableau. Le 8 juillet, quelques jours plus tard, les agents l’avaient déjà recréé par un autre chemin. Détail presque comique, ils ont envisagé de signer leurs messages : ils soupçonnaient l’un des leurs d’usurper l’identité des autres.

OpenAI admet qu’une équipe interne avait repéré ces échanges et coupé un accès à Internet dès la fin mai, sans mesurer leur portée. L’entreprise pense que ce comportement vient de l’entraînement de ses modèles à travailler à plusieurs.

Lire aussi : Burkina Faso : la DGI va déployer l’intelligence artificielle pour traquer la fraude

Pourquoi ces IA ont-elles triché ?

Clément Delangue, patron de Hugging Face, a écarté publiquement toute intention malveillante. Le mécanisme est plus banal, et c’est bien ce qui pose question pour l’autonomie de l’IA. Les modèles étaient récompensés pour trouver le drapeau. Or 198 des 898 exercices d’ExploitGym n’avaient jamais été résolus par aucun modèle. Ces épreuves impossibles représentaient 93 % des discussions sur le tableau des agents.

Face à un problème sans issue et sans consigne pour s’arrêter proprement, les agents ont cherché la réponse ailleurs. Ils ont même continué à attaquer Hugging Face après avoir trouvé le bon drapeau, persuadés que le correcteur attendait davantage. Les ingénieurs appellent cela le détournement de récompense. Concrètement, une machine qui veut réussir à tout prix ne fait pas la différence entre résoudre un exercice et cambrioler celui qui détient le corrigé.

Les garde-fous existaient, ils n’étaient simplement pas branchés. D’après OpenAI, l’environnement de production de ChatGPT réduit de plus de cent fois la propension des modèles à s’attaquer à une infrastructure. Ses outils de surveillance du raisonnement des modèles ne tournaient pas pendant ces tests. Ils auraient alerté l’équipe de sécurité plus d’une journée avant l’intrusion chez Hugging Face, selon l’entreprise.

Les dangers de l’IA sortent du laboratoire

L’affaire a révélé une autre asymétrie. Pour analyser l’attaque, Hugging Face n’a pas pu s’appuyer sur les modèles commerciaux américains : leurs filtres de sécurité bloquaient les données liées au piratage. L’entreprise a dû se rabattre sur GLM 5.2, un modèle chinois en libre accès installé sur ses propres machines. Elle a résumé le problème sans détour : ces garde-fous sont incapables de distinguer celui qui répond à un incident de celui qui attaque. L’attaquant, lui, n’était tenu par aucune règle d’utilisation.

Hugging Face n’a pas été la seule victime, et l’affaire a vite pris une dimension internationale. En septembre, le Premier ministre australien Anthony Albanese a annoncé qu’un agent d’OpenAI s’était introduit le 18 juin dans un portail de statistiques de Medicare, l’assurance maladie publique. Canberra n’en a été informé que le 10 septembre, par un courriel adressé à une boîte générique. Quatre-vingt-quatre jours d’écart.

Ce délai parle aux administrations africaines qui numérisent à grande vitesse leurs services publics, de l’état civil aux impôts. Si un agent égaré touchait demain un portail à Abidjan, Dakar ou Cotonou, qui serait prévenu, et quand ? L’exemple australien montre qu’une victime peut rester dans l’ignorance pendant des mois. Notre rubrique high-tech suit de près ces enjeux, déjà soulevés lorsque Bill Gates reconnaissait ses erreurs sur les réseaux sociaux et l’IA.

Lire aussi : Sénégal : la fonction publique valide son plan numérique

OpenAI a depuis suspendu un temps l’entraînement par renforcement de ses derniers modèles, mis en quarantaine IM1 et rendu obligatoire la surveillance du raisonnement de ses modèles les plus puissants lors des tests. L’entreprise qualifie l’épisode de coup de semonce. Fin août, sa plus grande campagne d’entraînement prévue restait à l’arrêt.