Mesuré, pas promis : comment nous testons Kinloom
Huit SDK tenus à une même référence, de vrais modèles sur de vraies parties, et le bug qu'une machine de test lente a trouvé le jour du lancement.
Une bibliothèque d'IA pour les jeux fait des promesses faciles à dire et difficiles à tenir : elle est rapide, elle est sûre, elle ne casse jamais le jeu. Alors chaque affirmation de la page de Kinloom renvoie à un essai dans le dépôt : la méthode, les résultats bruts, le coût, et ce qui a raté.
Une référence, huit SDK
Python sert de référence. Chaque autre SDK, en C#, GDScript, TypeScript, C++, Rust, Java et Lua, joue le même scénario face à un modèle scripté et doit donner la même transcription, envoyer au modèle les mêmes requêtes mot pour mot, et s'accorder sur plus de 550 cas de test partagés. Les exemples de la documentation sont compilés dans chaque langage. Le tout tourne sur Linux, macOS et Windows à chaque changement.
De vrais modèles, de vrais chiffres
Les tests n'appellent jamais un vrai modèle ; les mesures, si, et elles sont comptées. Sur 40 réponses via OpenRouter, le premier mot est arrivé en 1,06 seconde en médiane et la réponse entière en 1,61 seconde, pour environ 0,0005 $ par réponse. Nous avons écrit 45 attaques contre le secret d'un personnage, de la fausse autorité à l'injection de consignes, et lu chaque réponse à la main : le modèle hébergé a gardé le secret.
Nous avons aussi mesuré les agents de code qui brancheront Kinloom. Sur 30 demandes, les réponses qui tournaient et utilisaient un appel adapté sont passées de 8 % à 88 % avec les instructions de Kinloom. Avec une seule consigne, aider et DeepSeek ont ajouté à un jeu de course des rivaux, un ingénieur de course, un commentateur et un directeur de course en 4,5 minutes, et le jeu tournait encore sans clé et face à 50 réponses hostiles.
Le bug trouvé le jour du lancement
Le jour où le dépôt est devenu public, un test a échoué sur une machine macOS : une réponse qui devait garder ce que le modèle avait déjà dit revenait vide. On aurait dit une machine lente, mais c'était un vrai bug. Quand la limite de temps du modèle tombait au même instant que l'échéance de la réponse, l'appel finissait en erreur et les mots déjà reçus étaient jetés : le joueur recevait la réplique hors ligne à la place.
Le correctif garde ces mots comme réponse, coupée à la fin d'une phrase, en Python et dans chaque SDK qui affiche les réponses au fil de l'eau. Un nouveau test reproduit le cas sur n'importe quelle machine. C'est tout l'intérêt de mesurer : la machine lente a trouvé ce qu'une rapide n'aurait jamais vu.
Ce que nous n'avons pas encore mesuré
Savoir si les joueurs trouvent ces personnages plus humains qu'une simple consigne reste ouvert : le test à l'aveugle est écrit mais pas encore jugé. Defold, Bevy et Unreal n'ont pas été essayés, ni les versions mobile, console ou web de Unity. Nous le dirons tant que ce sera le cas.
