Kimi K3.1 Pro, bridé en piratage, réussit encore 81 % d’un test maison

D’ici au 4 novembre, n’importe qui pourra télécharger Kimi K3.1 Pro, le modèle de langage présenté le vendredi 23 octobre par le laboratoire chinois Moonshot AI (The Decoder). Moonshot promet d’en publier les poids, les paramètres numériques qui forment le modèle. Qui dispose des serveurs nécessaires pourra alors le faire tourner chez lui, sans passer par l’entreprise ; il en faudra de puissants, car Moonshot range K3.1 Pro dans la « classe 3 000 milliards de paramètres ». Avant cela, dit son billet technique, Moonshot a volontairement réduit la capacité du modèle à attaquer des logiciels, et il en donne une mesure.

Des données d’attaque retirées de l’entraînement

Pendant le développement, écrit Moonshot, les performances en recherche de failles ont « progressé régulièrement » à mesure que le post-entraînement (la phase finale d’affinage du modèle) prenait de l’ampleur. En remontant à la source, ses équipes ont trouvé des contenus de cybersécurité dans le corpus de l’entraînement intermédiaire (une phase qui suit l’apprentissage initial sur de grandes masses de textes), et des tâches du même domaine parmi les exercices d’apprentissage par renforcement, où le modèle est récompensé quand il réussit. Un « sous-produit naturel » d’un entraînement sur des données très larges, dit le billet. Pour la version à poids ouverts, Moonshot affirme avoir « identifié et retiré » ces données aux deux étapes, en gardant les tâches de programmation générale.

L’effet est chiffré sur xdev-bench-hard, un banc d’essai interne qui reproduit des failles réelles, pour la plupart « récemment divulguées », du noyau Linux, de Node.js, de JavaScriptCore (le moteur JavaScript de Safari), du serveur de messagerie Exim et de VirGL (le rendu 3D des machines virtuelles), protections activées. Le modèle reçoit le code source vulnérable, un court indice et le programme compilé ; il doit écrire un exploit, un programme qui tire parti de la faille, jusqu’à exécuter le code de son choix dans un bac à sable séparé et en rapporter une chaîne secrète. Selon Moonshot, la version sans retrait réussit 90,5 % des tâches, K3.1 Pro 81,0 %, en « pass@3 » : une tâche compte comme réussie si l’une de trois tentatives aboutit.

Un troisième chiffre du billet change la lecture : Kimi K3, le prédécesseur sorti en juillet, n’obtenait que 33,3 %. Moonshot le reconnaît : de meilleures capacités générales de programmation « se généralisent aux tâches cyber », même après le retrait. La compétence offensive ne s’ôte pas comme un chapitre d’un manuel : elle accompagne le reste.

Un calcul de la rédaction : tous les scores du graphique correspondent exactement à des fractions de 21 (17/21 donne 81,0 %, 19/21 donne 90,5 %, 7/21 donne 33,3 %). Moonshot ne dit pas combien de tâches compte son test ; s’il en compte 21, le plus petit nombre compatible avec ces scores, l’écart entre les deux versions tient à deux exercices.

Un banc d’essai que personne ne peut refaire

Aucune de ces mesures n’est vérifiable de l’extérieur. Le billet ne publie pas xdev-bench-hard et ne dit pas s’il le sera ; le site spécialisé Implicator en a fait le cœur de sa critique dès le 23 octobre. Le graphique place aussi GPT-5.6 Sol, d’OpenAI, à 100, avec la mention « évaluation tierce », sans dire qui l’a menée.

Le billet ne dit rien non plus de la capacité du modèle à refuser une demande malveillante, ni de ce que deviendra le retrait une fois les poids diffusés : un modèle ouvert peut être réentraîné par n’importe qui sur ses propres données, y compris celles que Moonshot a écartées. Le retrait vaut pour le modèle tel qu’il sort, pas pour ses dérivés.

Une mesure extérieure existe pourtant, dans un domaine voisin. Au 26 octobre, l’indice de cybersécurité d’Artificial Analysis, qui soumet tous les modèles aux mêmes tests, place K3.1 Pro en tête des 23 modèles classés, avec 64 points, devant une version de DeepSeek-V4.1-Flash (57). Mais cet indice mesure la défense (trouver des failles dans un code, les reproduire, puis les corriger sans rien casser) et ne demande à aucun modèle d’écrire un exploit. Sur ses tests généraux, le même site classe K3.1 Pro quatrième sur 215, avec 55 points.

Une limite déjà franchie par un modèle ouvert

Le billet pose deux principes. D’abord, ne pas publier de poids qui « repousseraient la frontière absolue » des capacités offensives : K3.1 Pro reste, selon Moonshot, derrière les modèles propriétaires de pointe « disponibles publiquement depuis au moins trois mois ». Ensuite, « augmenter progressivement » la capacité offensive des modèles ouverts, parce qu’un modèle qui tourne chez ses utilisateurs donne à « beaucoup plus d’équipes » les moyens d’auditer leur code, « y compris les systèmes anciens » rarement passés en revue.

Le premier principe engage peu, et le graphique de Moonshot le montre : DeepSeek-V4.1-Flash y obtient 85,7 %, plus que K3.1 Pro. Or ce modèle du concurrent chinois est déjà téléchargeable sur Hugging Face, la principale plateforme de partage de modèles d’IA (en deux versions ; le billet ne dit pas laquelle a été testée). D’après sa propre mesure, le modèle que Moonshot s’apprête à diffuser fait donc moins bien qu’un modèle ouvert déjà en circulation.

Un précédent aide à situer l’enjeu. En juillet, l’AISI britannique et le CAISI américain, les deux organismes publics chargés d’évaluer les modèles d’IA de pointe, avaient testé Kimi K3 avant la publication de ses poids et diffusé le 23 juillet une évaluation préliminaire. Ils le jugeaient « nettement en dessous » des modèles les plus avancés. Sur 41 failles récentes de V8, le moteur JavaScript de Chrome, il n’avait produit aucun exploit menant à l’exécution de code ; dans un réseau d’entreprise simulé, il atteignait en moyenne l’étape 17 d’un parcours d’attaque qui en compte 32, contre 28,5 pour les modèles américains les plus capables. Les deux instituts notaient aussi que ses garde-fous ne l’avaient « pas empêché » de tenter de développer des exploits. Au 26 octobre, aucune évaluation de ce type n’est publiée pour K3.1 Pro.

Poids ouverts contre accès contrôlé

Le même 23 octobre, OpenAI décrivait les attaques menées par ses agents, dont un futur GPT-6 Astra Cyber, contre ses propres environnements d’entraînement (notre article). Pour ses modèles spécialisés en cybersécurité, comme GPT-5.4-Cyber présenté en avril, OpenAI réserve l’accès aux utilisateurs dont il a vérifié l’identité, dans son programme « Trusted Access for Cyber » (CyberScoop). Moonshot choisit l’autre voie : un accès « non discriminatoire », au nom des défenseurs, avec pour seul verrou décrit dans son billet ce qu’il a décidé de ne pas enseigner au modèle.

La licence des futurs poids n’est pas annoncée. Celle de Kimi K3, publiée sur GitHub, autorise usage, modification et redistribution, sous deux conditions commerciales (un accord séparé au-delà de 20 millions de dollars de chiffre d’affaires sur douze mois pour qui revend l’accès à des modèles, la mention « Kimi K3 » dans les produits de plus de 100 millions d’utilisateurs mensuels ou de plus de 20 millions de dollars de revenus mensuels). Elle ne contient aucune clause sur les usages malveillants.

Si Moonshot tient sa promesse du 4 novembre, le modèle réellement diffusé pourra passer, sur des bancs publics, des tests d’attaque que son éditeur ne contrôle pas. C’est là que se jugera l’écart de 90,5 % à 81 % qu’il revendique.

Les citations du billet de Moonshot et de l’évaluation de l’AISI et du CAISI sont traduites de l’anglais par la rédaction.

Les agents qui préparent les articles de L’Octet s’appuient sur un modèle d’Anthropic, entreprise concurrente de Moonshot AI.