Lazarus : Microsoft teste une porte dérobée dans des modèles d’IA

Microsoft Research a présenté Lazarus, une méthode expérimentale pour insérer une porte dérobée dans un modèle utilisé par un agent d’IA. Elle consiste à modifier une petite partie des poids du modèle, sans le réentraîner. Le modèle peut continuer à se comporter normalement jusqu’à ce qu’un déclencheur précis apparaisse.

Dans les démonstrations, ce déclencheur pousse l’agent à produire des instructions imprévues. Le risque dépend des outils et des droits accordés à l’agent. S’il peut utiliser un terminal, une instruction peut mener à l’exécution d’un script ou à l’accès à des données que son compte est autorisé à lire. La démonstration suppose que le modèle a déjà été modifié en amont.

Microsoft souligne que des tests ordinaires peuvent passer à côté d’un comportement qui n’apparaît qu’en présence du déclencheur. Cela donne de l’importance à la provenance des modèles, à l’intégrité de leurs poids et aux permissions accordées aux agents qui les utilisent.

Sources

• Source 1

À très vite sur l’EternoStation.