J’écris des tests pour gagner ma vie. Enfin, en partie. Et le secret un peu honteux du métier de testeur, c’est que la plupart du temps, on passe plus de temps à maintenir d’anciens tests qu’à en écrire de nouveaux. Un bouton est renommé, un sélecteur change, une page est repensée — et soudain 40 tests échouent, non pas à cause de vrais bugs, mais simplement parce que l’interface a bougé.
Alors quand les outils de test IA ont promis des « tests auto-réparateurs », j’étais sceptique mais désespérément plein d’espoir. Comme un pompier épuisé entendant parler d’un bâtiment qui s’éteint tout seul.
En réalité, certains tiennent vraiment leur promesse.
Où l’IA apporte vraiment quelque chose aux tests
La génération de tests avec Copilot est la fonctionnalité IA liée aux tests la plus utile que j’ai rencontrée. Vous écrivez une fonction, vous passez au fichier de tests, et Copilot suggère des cas de test — y compris des cas limites auxquels je n’aurais pas pensé.
La semaine dernière, il a suggéré un test pour une entrée négative sur une fonction que je n’avais pas envisagée. La fonction plantait avec des nombres négatifs. Copilot a trouvé un vrai bug en écrivant un test que je n’aurais pas écrit. C’est… plutôt génial.
Le hic : Copilot génère des tests qui passent, mais « réussir » un test et « tester ce qui compte vraiment » ne sont pas la même chose. Il a tendance à tester l’implémentation plutôt que le comportement — donc si l’implémentation est fausse mais cohérente, Copilot écrira des tests qui valident un comportement incorrect. Il faut toujours lire les tests générés et se demander « est-ce que ce test vérifie ce qui m’importe vraiment ? »
Les tests visuels avec Applitools ont résolu un problème qui me faisait redouter les changements sur le frontend. Avant, les tests de régression visuelle consistaient à comparer pixel par pixel, ce qui échouait sans cesse à cause des différences d’anticrénelage, des mises à jour des moteurs de rendu, et du contenu dynamique comme les horodatages ou les publicités.
Applitools utilise l’IA pour comparer des captures d’écran comme le ferait un humain — en ignorant les différences sans importance tout en détectant les vraies anomalies. Une date qui change ? Ignorée. Un bouton qui bouge de 50 pixels ? Signalé. Un changement de couleur de texte ? Signalé. Un contenu publicitaire dynamique ? Ignoré.
On est passés de plus de 30 faux positifs visuels par version à environ 2. Mon équipe QA a arrêté de redouter les revues des tests visuels.
Les tests auto-réparateurs avec Testim sont ce qui se rapproche le plus de la magie. L’IA suit plusieurs attributs de chaque élément de l’interface — son texte, sa position, sa classe CSS, les éléments autour, et plus encore. Quand un attribut change (comme une classe CSS renommée), l’IA utilise les autres attributs pour retrouver l’élément quand même.
Avant Testim : une refactorisation CSS cassait 120 tests. Après Testim : le même type de refactorisation n’en a cassé que 3 (ceux où l’élément avait vraiment disparu, pas seulement été renommé). Cela représente une réduction de 97,5 % des faux échecs. Le temps économisé sur la maintenance des tests est considérable.
Les outils qui m’ont déçu
Les agents de test entièrement autonomes — ceux qui promettent « pointez-les simplement vers votre application et ils testeront tout » — ne sont pas encore au point. J’ai essayé deux outils autonomes différents. Ils ont trouvé quelques problèmes de fonctionnalité basiques mais ont raté des cas limites, écrit des tests fragiles, et généré des faux positifs qui prenaient plus de temps à examiner que les problèmes réellement détectés.
La technologie y arrivera. Ce n’est juste pas encore le cas aujourd’hui.
Les tests d’intégration générés par IA sont moyens. Les tests unitaires (portant sur des fonctions individuelles) conviennent bien à la génération par IA car leur périmètre est limité et les attentes sont claires. Les tests d’intégration demandent de comprendre comment les composants interagissent, quel est le comportement attendu au niveau système, et où se trouvent les modes d’échec intéressants. L’IA n’a pas encore assez de contexte pour ça.
Ma stack de test actuelle
Tests unitaires : Copilot génère les premiers jets, je révise et ajuste. La couverture est passée de 45 % à 78 % sans ajouter de temps dédié aux tests. La qualité des tests individuels n’est pas toujours parfaite, mais la quantité compense.
Tests E2E : Testim pour les parcours utilisateur principaux. L’auto-réparation garde la maintenance faible. Nous avons plus de 200 tests E2E qui tournent en CI et restent vraiment verts.
Tests visuels : Applitools pour les pages et composants clés. Ils détectent des régressions CSS que les tests fonctionnels ne voient pas du tout.
Tests manuels : Toujours irremplaçables pour les tests exploratoires, l’évaluation UX, et les questions du type « est-ce que ça semble juste ? » auxquelles aucune IA ne peut encore répondre.
Ce que je dis aux équipes qui commencent
Commencez avec Copilot pour les tests unitaires. C’est l’investissement IA le plus facile et le plus rentable en testing. Vous écrivez déjà du code dans un IDE — les tests viennent presque gratuitement.
Ajoutez ensuite Applitools si votre application est très axée sur le visuel. L’installation prend une journée, et la réduction des faux échecs visuels est immédiate.
Envisagez Testim ou un outil similaire si la maintenance des tests E2E bouffe le temps de votre équipe. La valeur est proportionnelle à la taille de votre suite de tests — si vous avez 20 tests E2E, la maintenance manuelle reste gérable. Si vous en avez plus de 200, l’auto-réparation est un vrai sauveur.
N’achetez pas encore d’outils de test autonomes. Donnez-leur un an de plus.
La vérité qui dérange
Les outils de test IA rendent les tests plus rapides et moins pénibles. Ils ne rendent pas les tests plus réfléchis. La partie difficile du testing — décider quoi tester, comprendre les risques, prioriser les cas de test qui comptent vraiment — reste entièrement un travail humain.
Une suite de tests avec 95 % de couverture grâce aux tests générés par IA peut toujours manquer le bug qui met la production à genoux, car la couverture mesure ce qui a été exécuté, pas ce qui a été effectivement vérifié. L’IA a écrit des tests qui vérifiaient les valeurs de retour mais pas les effets secondaires. Elle a validé le chemin heureux mais sauté la gestion des erreurs.
Utilisez l’IA pour le travail répétitif. Utilisez votre cerveau pour le travail important. C’est la combinaison qui marche vraiment.
🕒 Published: