Un modèle d'intelligence artificielle qui voit juste 95 % du temps mais ne sait pas expliquer pourquoi peut-il servir à diriger une entreprise ? Mes recherches de master ont porté précisément sur cette frontière : l'IA explicable. La conclusion en bref : la précision sans explication ne suffit pas pour décider.
Le contexte
J'ai comparé cinq modèles pour classifier des avis clients en espagnol : des méthodes statistiques classiques jusqu'aux Transformers — la même famille d'architectures qui sous-tend les grands modèles de langage actuels. Les Transformers entraînés spécifiquement sur l'espagnol l'ont emporté nettement : environ 95 % d'exactitude équilibrée contre 85 % pour les méthodes classiques, une différence statistiquement significative dans tous les tests.
Jusque-là, l'histoire que tout le monde connaît : les grands modèles se trompent moins. L'intéressant commence ensuite.
Demander des comptes au modèle
Un classifieur qui dit « ce client est insatisfait » est utile. Un classifieur qui dit « il est insatisfait à cause du retard de livraison » est actionnable. Pour y parvenir, j'ai appliqué deux techniques d'explicabilité (SHAP et LIME) qui identifient les mots soutenant chaque prédiction, et je les ai mises à l'épreuve : si l'on supprime du texte les mots que le modèle désigne comme décisifs, sa prédiction change-t-elle ?
Avec SHAP et LIME, oui — nettement. Les explications désignaient des termes qui soutenaient réellement la décision du modèle : une preuve de fidélité, et non un ornement.
La surprise est venue de la troisième technique : les poids d'attention du modèle lui-même, que de nombreux outils affichent comme s'ils étaient « ce que le modèle regarde ». Soumis au même test de suppression, ils se sont révélés indiscernables du hasard. Autrement dit : l'explication la plus spectaculaire et la moins coûteuse à produire était celle qui ne résistait pas à l'examen — un résultat cohérent avec les mises en garde répétées de la littérature académique.
Pourquoi cela compte hors du monde académique
1. Exigez la traçabilité, pas le récit. De plus en plus d'outils « avec IA » habillent leurs résultats d'explications. La bonne question n'est pas de savoir si l'explication semble convaincante, mais si elle résiste à une épreuve : la donnée désignée soutient-elle réellement la conclusion ?
2. Le même principe s'applique à votre BI. Un tableau de bord est lui aussi un modèle de votre entreprise. Si un chiffre ne peut pas être retracé jusqu'à sa source — quelles commandes, quelles dates, quel critère —, ce n'est pas de l'information : c'est de la décoration. Dans nos projets, chaque indicateur doit pouvoir répondre à la question « d'où viens-tu ? ».
3. La transparence est un avantage concurrentiel. Les cadres réglementaires européens évoluent vers l'exigence d'explicabilité des systèmes automatisés. Les entreprises qui travaillent déjà avec des données traçables n'auront rien à reconstruire.
La règle pratique
Avant de faire confiance à tout système qui vous donne des réponses — un modèle d'IA ou un simple rapport mensuel —, posez-lui la question de la suppression : si je retire cet élément que tu présentes comme important, ta conclusion change-t-elle ? Si la réponse est non, vous avez de la décoration. Si elle est oui, vous avez un outil pour décider.
Ricardo Borja est le fondateur d'Inteleqta et consultant en ERP et Business Intelligence. Ce billet résume les résultats de ses recherches de master en Méthodes Quantitatives (UBA) sur la classification d'avis en espagnol avec des Transformers et l'IA explicable.