Anthropic lance un programme de bug bounty de 15 000 $ pour renforcer la sécurité de l'IA

Anthropic, une start-up d'IA soutenue par Amazon, a lancé un programme de bug bounty et paiera jusqu'à 15 000 dollars pour chaque rapport dent les faiblesses critiques de ses systèmes d'intelligence artificielle. Cette initiative est l’un des efforts les plus importants déployés par une entreprise travaillant avec des modèles de langage avancés pour externaliser les tests de sécurité.

Selon l’entreprise, la prime cible les attaques de « jailbreak universel », des méthodes permettant de contourner les mesures de sécurité de l’IA dans des domaines tels que les armes biologiques et les cybermenaces. Avant de mettre son système d’atténuation de sécurité de nouvelle génération à la disposition du public, Anthropic prévoit de permettre aux pirates informatiques éthiques de le tester afin d’éviter toute utilisation abusive potentielle.

Démarrant comme une initiative sur invitation uniquement réalisée en collaboration avec HackerOne, le programme de bug bounty d'Anthropic recherche les compétences des chercheurs en cybersécurité dent identifier et corriger les vulnérabilités de ses systèmes d'IA. L’entreprise prévoit de l’ouvrir plus largement à l’avenir, offrant potentiellement un modèle de coopération à l’échelle de l’industrie en matière de sécurité de l’IA.

Cela survient alors que l'Autorité britannique de la concurrence et des marchés (CMA) enquête sur l'investissement de 4 milliards de dollars d'Amazon dans Anthropic en raison de problèmes de concurrence potentiels. Dans ce contexte de surveillance réglementaire accrue, se concentrer sur la sécurité pourrait renforcer la réputation d'Anthropic et la distinguer de ses concurrents.

Anthropic établit de nouvelles normes de sécurité en matière d'IA

Bien qu'OpenAI et Google disposent également de programmes de bug bounty, ils se concentrent principalement sur les vulnérabilités logicielles traditionnelles plutôt que sur celles spécifiques à l'intelligence artificielle. Meta a été critiqué pour avoir adopté ce que certains considèrent comme une approche relativement fermée de la recherche visant à garantir le développement sûr de machines de plus en plus intelligentes. En ciblant explicitement ces problèmes et en invitant à un examen externe, Anthropic crée un dent en matière d’ouverture au sein du secteur.

Cependant, des doutes subsistent quant à la capacité des bug bounties à elles seules à répondre efficacement à l’ensemble des préoccupations liées à la sécurisation des systèmes avancés d’apprentissage automatique. Bien qu’utiles pour dent et corriger des failles particulières, ils ne parviendront peut-être pas à relever les défis plus larges liés à l’alignement de l’IA et à la sécurité à long terme. Une stratégie plus globale impliquant des tests approfondis, une interprétabilité améliorée et potentiellement de nouvelles structures de gouvernance pourrait être nécessaire pour garantir que les systèmes d’IA restent alignés sur les valeurs humaines à mesure qu’ils deviennent plus puissants.