Comment on mesure la justesse de BankKey.
BankKey est testé sur un jeu d’emails fictifs de demande de financement, écrits et annotés à la main par l’équipe, à partir de situations réelles de courtage. Chaque email du jeu dit ce que BankKey doit en tirer : les montants, ce qui n’est pas écrit, la note, le nom, les questions à traiter. Le jeu est rejoué dans le vrai logiciel à chaque changement important.
Les chiffres de cette page sont les derniers mesurés. Ils datent du et seront remplacés au prochain passage, qu’ils montent ou qu’ils baissent.
160
emails fictifs dans le jeu, dont 131 vraies demandes et 29 hors sujet
7
critères vérifiés sur chaque email, détaillés ci-dessous
115 sur 160
emails où les 7 critères sont réussis en même temps
Les sept critères, un par un
Pour chaque critère : ce qu’on vérifie, le résultat du passage du 26 octobre 2026 en nombre de cas réussis sur le nombre de cas mesurés, et ce qui n’est pas encore réussi. D’un passage à l’autre, sur le même code, le résultat d’un critère bouge d’environ 2 cas : c’est la part de hasard de l’IA, pas un changement du logiciel.
Critère 1
Aucun prospect perdu
124 sur 131vraies demandes
Une vraie demande de financement ne doit jamais être écartée par le tri. Pour chaque demande du jeu, on vérifie que BankKey l’a bien reconnue comme telle.
Ce qui reste : Les demandes encore écartées à tort le sont par le tri, qui s’appuie sur l’IA. Une demande écartée reste visible dans « Écartés » avec la raison du tri, et se restaure en un clic.
Critère 2
Montants exacts
102 sur 131vraies demandes
Chaque montant (prix du bien, apport, revenus, crédits en cours) doit être repris tel qu’il est écrit : même chiffre, même devise, même période (par mois ou par an) et même nature (salaire, loyer, indépendant).
Ce qui reste : Les écarts restants portent surtout sur la nature d’un revenu ou sur sa devise quand l’email ne l’écrit pas clairement. Un montant sans devise écrite n’entre pas dans le calcul de la note.
Critère 3
Aucun fait inventé
127 sur 131vraies demandes
Ce qui n’est pas écrit dans l’email doit rester « non précisé » : délai du projet, ancienneté dans le poste, statut de frontalier, lien entre les emprunteurs, bien actuel gardé ou vendu, situation professionnelle.
Ce qui reste : Il reste quelques cas où l’IA déduit un fait d’une phrase qui ne le dit pas vraiment (par exemple un bien actuel « vendu » alors que le prospect ne l’a pas écrit).
Critère 4
Note égale à la somme des facteurs
131 sur 131vraies demandes
La note affichée doit être exactement la somme des facteurs affichés, et un facteur dont la donnée est inconnue doit rapporter 0 point.
Ce qui reste : Plus aucun écart sur ce critère depuis le 26 octobre 2026. Quand le prospect ne dit rien de ses crédits en cours, la capacité de remboursement rapporte 0 point : le taux d’effort calculé sur le nouveau prêt seul reste affiché au courtier, avec la question à poser au rappel.
Critère 5
Brouillons propres
123 sur 131vraies demandes
Le brouillon de réponse ne doit contenir aucune expression qui engage le courtier (promesse d’accord, taux chiffré, « c’est jouable »), et chaque question directe du prospect doit recevoir une réponse. Les expressions interdites sont vérifiées par le code ; les questions, par une seconde lecture automatique.
Ce qui reste : Les échecs restants viennent du texte rédigé par l’IA : une question du prospect traitée trop vaguement, ou une phrase qui affirme un fait qu’il n’a pas écrit. Un brouillon refusé par le contrôle est réécrit une fois, puis montré tel quel au courtier, qui le relit avant tout envoi.
Critère 6
Nom juste
130 sur 131vraies demandes
Le nom du prospect doit être pris dans la signature de l’email, ou dans son corps (« je m’appelle »), jamais inventé à partir de l’adresse d’expédition ni d’un collègue qui transfère.
Ce qui reste : Le jeu contient des emails où une autre personne écrit pour le prospect (un parent, un collègue) : le code ne sait pas toujours dire avec certitude qui sera l’emprunteur, et laisse alors l’IA trancher.
Critère 7
Hors-sujets bien classés
27 sur 29emails hors sujet
Un email hors sujet (publicité, notification, message personnel) ne doit pas devenir un prospect. Les compteurs de l’application, eux, sont les mêmes sur toutes les pages parce qu’ils viennent d’un seul calcul, vérifié par les tests automatiques.
Ce qui reste : Le jeu contient des emails volontairement ambigus : une vraie personne qui pose une question de crédit sans demander de prêt immobilier (regrouper ses crédits à la consommation, changer l’assurance d’un prêt en cours). Ce sont ceux que le tri classe le moins bien.
Ce qui tient au code, pas à l’IA
L’IA lit l’email et rédige le brouillon. Tout ce qui suit est fait par des règles fixes écrites dans le logiciel : cela ne dépend pas d’un passage du banc et ne varie pas d’un jour à l’autre.
La note se recalcule à la main
Le score de 0 à 100 est calculé par des règles écrites dans le code, pas par l’IA. Le même dossier donne toujours la même note, chaque facteur est affiché avec ses points, et la note est leur somme exacte. Une donnée absente de l’email vaut 0 point et le dit.
Chaque chiffre est cité mot pour mot
Pour chaque montant ou situation extraite (prix, apport, revenus, crédits, contrat de travail, ancienneté), l’IA doit citer le passage exact de l’email. Le code vérifie que ce passage existe bien et que le chiffre s’y lit ; sinon la valeur est effacée et affichée « non précisé ».
Rien ne part sans votre clic
BankKey prépare la réponse ; elle ne quitte votre boîte que lorsque vous cliquez sur « Envoyer ». Aucun envoi automatique n’existe dans le code.
Les brouillons sont contrôlés
Avant de vous être montré, chaque brouillon passe un contrôle : liste d’expressions interdites (promesse d’accord, verdict de faisabilité, « j’ai étudié votre dossier »), aucun taux d’intérêt chiffré, aucun montant ni statut affirmé qui ne soit écrit par le prospect. Un brouillon refusé est réécrit une fois.
Ce que nous ne mesurons pas encore
Un jeu d’emails fictifs ne dit pas tout. Voici ce qui manque, dans l’état actuel.
Les vraies décisions de banque
Le banc compare BankKey à des annotations faites à la main, pas à ce que les banques ont réellement décidé. La table qui enregistre l’issue de chaque dossier existe déjà dans l’application ; elle ne contient pas encore assez de décisions réelles pour en tirer un chiffre.
Une relecture à l’aveugle par des courtiers
Les annotations du jeu viennent d’une seule personne. Une relecture par d’autres courtiers, sans connaître la réponse de BankKey, est prévue ; elle n’a pas encore eu lieu.
Le dossier Spam
Depuis le 26 octobre 2026, BankKey lit aussi le dossier Spam de Gmail à la recherche de demandes de financement. Cette lecture n’est pas mesurée par le banc : il faudrait envoyer de vrais emails, ce que le jeu fictif ne fait pas.
Jugez sur pièces.
La démo montre des dossiers scorés avec le vrai barème. Le baromètre nous dit comment vous jugez un dossier, pour régler les cas où les courtiers et le logiciel ne sont pas encore d’accord.