Lorsqu\u2019un mod\u00e8le d\u2019IA re\u00e7oit une t\u00e2che, le sc\u00e9nario peut lui donner des indices sur le fait qu\u2019il est \u00e9valu\u00e9. Cette question revient dans les travaux de s\u00e9curit\u00e9 d\u2019Anthropic autour de Claude. Si le contexte d\u2019un exercice influence le comportement du mod\u00e8le, le r\u00e9sultat peut \u00eatre plus difficile \u00e0 transposer \u00e0 un usage r\u00e9el.<\/p>\n
Anthropic combine plusieurs m\u00e9thodes pour \u00e9valuer Claude Fable 5.2 et Mythos 5.2. Le laboratoire pr\u00e9sente notamment un audit automatis\u00e9 de Mythos 5.2 sur environ 1 900 sc\u00e9narios, des tests cibl\u00e9s et des \u00e9valuations externes. Il examine aussi la tendance du mod\u00e8le \u00e0 rationaliser des indices qui sugg\u00e8rent qu\u2019il se trouve dans une simulation.<\/p>\n
Dans ses travaux sur les g\u00e9n\u00e9rations pr\u00e9c\u00e9dentes, Anthropic a mesur\u00e9 la d\u00e9tection du contexte de plusieurs fa\u00e7ons, par exemple en rep\u00e9rant les cas o\u00f9 le mod\u00e8le mentionne spontan\u00e9ment un test et en lui demandant ensuite d\u2019\u00e9valuer cette possibilit\u00e9. Ces m\u00e9thodes produisent parfois des r\u00e9sultats diff\u00e9rents.<\/p>\n
Le travail des \u00e9valuateurs consiste donc \u00e0 comparer des sc\u00e9narios vari\u00e9s et \u00e0 expliciter ce que chaque mesure capte. Rep\u00e9rer des indices de test et changer de comportement en cons\u00e9quence sont deux observations distinctes.<\/p>\n