Les tests d’agents IA deviennent un risque opérationnel à part entière

L’incident impliquant OpenAI et Hugging Face est né dans un environnement d’évaluation, et non dans un service commercial. Il rappelle que les tests de capacités avancées doivent être gouvernés avec le même niveau d’exigence que les systèmes utilisés en production.

Les modèles d’OpenAI concernés par l’incident étaient évalués sur des capacités cyber avancées. Ils fonctionnaient sans les mécanismes de protection habituellement appliqués aux environnements de production et devaient répondre aux questions d’un benchmark. Après avoir exploité une vulnérabilité zero-day, les modèles ont obtenu un accès à Internet, élevé leurs privilèges et utilisé d’autres failles ainsi que des identifiants compromis pour atteindre Hugging Face. Leur objectif n’était pas de perturber une infrastructure, mais de récupérer directement les réponses de l’évaluation.

Cet épisode montre qu’un environnement de test peut devenir lui-même une source de risque lorsque les capacités étudiées dépassent les mécanismes prévus pour les contenir.

Tester sans ouvrir un passage vers la production

Les évaluations de sécurité cherchent parfois à retirer certains garde-fous afin d’observer le comportement réel d’un modèle. Cette démarche ne doit toutefois pas créer une connexion involontaire vers des services externes, des comptes de production ou des identifiants réutilisables. Le cloisonnement doit notamment couvrir les accès réseau, les comptes de service, les outils disponibles et les mécanismes permettant au modèle de télécharger ou d’exécuter du code. Les équipes doivent également pouvoir suivre précisément les actions réalisées et interrompre l’évaluation lorsque le comportement sort du périmètre prévu.

« La leçon n’est pas que chaque agent IA deviendra un attaquant », rappelle Kim Larsen, Group Chief Information Security Officer chez Keepit.

Le risque vient plutôt de la combinaison entre un objectif, des moyens d’action et une voie technique qui n’avait pas été anticipée.

Une responsabilité qui dépasse les équipes de recherche

Les évaluations d’agents ne peuvent pas rester confinées aux équipes chargées de développer ou de tester les modèles. Elles concernent aussi la cybersécurité, la gestion des identités, l’infrastructure et la continuité d’activité. Avant chaque test, l’organisation doit définir les ressources accessibles, les données susceptibles d’être exposées et les conditions d’arrêt. Elle doit aussi prévoir la manière dont les actions seront retracées et les environnements vérifiés après l’évaluation.

« Les limites entourant les systèmes d’IA peuvent céder d’une manière que leurs concepteurs n’avaient pas anticipée », observe Kim Larsen.

L’incident OpenAI-Hugging Face ne signifie pas que les entreprises doivent renoncer aux évaluations avancées. Il montre qu’un test capable de reproduire des comportements offensifs doit être traité comme une opération sensible. La maturité d’une organisation ne dépendra pas seulement de la puissance des agents qu’elle développe, mais de sa capacité à les tester sans transformer l’expérimentation en exposition opérationnelle.