Mistral AI vs ChatGPT : OCR fiable ?

Chez Koncile, nous sommes toujours en quête des dernières avancées dans le domaine des modèles de langage visuel (VLM) et nous mettons régulièrement ces nouvelles technologies à l’épreuve pour mieux comprendre leurs limites en conditions réelles. C’est dans cette dynamique que nous avons développé notre propre logiciel OCR propulsé par l’IA, afin d’offrir une solution plus précise et fiable pour l’extraction de données complexes.

Aujourd'hui, Mistral AI a dévoilé son tout nouveau modèle OCR, qu'ils présentent comme étant à la pointe de la technologie (SOTA), basé sur des benchmarks encore non publiés. Comme souvent, l'excitation a rapidement envahi internet. Le modèle s'est retrouvé en tête des discussions sur Hacker News, et de nombreux utilisateurs ont immédiatement clamé que l'extraction de texte depuis des PDF était désormais une problématique réglée une fois pour toutes.

‍

C'est dans cette optique que nous avons choisi d'évaluer l'OCR de Mistral, en le comparant avec ChatGPT, un autre acteur de taille dans l'univers de l'intelligence artificielle. Bien que Mistral annonce une précision de 94,9 % pour son OCR et que d'autres rapports suggèrent que ChatGPT atteint des scores similaires (89,77%), nos tests ont révélé un écart notable entre ces performances théoriques et les résultats réels obtenus sur notre propre jeu de données.

Performance de Mistral.Ai sur des factures

Nous avons analysé une facture type à l'aide du nouveau modèle OCR de Mistral, un cas d’usage classique dans la reconnaissance facture.

Voici la légende de l’extraction de données:

• Types d'erreurs: Cette colonne décrit les différentes catégories d'erreurs que l'outil a commises lors de l'extraction des données de la facture. On distingue :
  • Données manquantes: Il s'agit des informations qui auraient dû être extraites du document mais qui n'ont pas été détectées par l'outil.
  • Données mal placées: Cela concerne les données qui ont été extraites, mais qui ont été attribuées à une mauvaise catégorie ou à un mauvais emplacement dans la sortie de l'outil.
  • Données mal retranscrites: Cette catégorie englobe les erreurs où l'outil a extrait des données, mais les a transcrites de manière incorrecte (par exemple, des chiffres ou des lettres mal reconnus).

Les résultats sont présentés ci-dessous.

Voici la légende du tableau de fiabilité :

• Nombre d'erreurs: Cette colonne indique le nombre de fois que chaque type d'erreur a été rencontré lors de l'analyse de la facture.
• Pourcentage d'erreur (%): Cela représente le pourcentage de chaque type d'erreur par rapport au nombre total de données à extraire.
• Fiabilité (%): Cette colonne indique la fiabilité de l'outil, c'est-à-dire le pourcentage de données qui ont été correctement extraites.

En résumé, cette légende nous donne un aperçu clair des types d'erreurs commises par l'outil, de leur fréquence et de leur impact sur la fiabilité globale.

Tableau de performance de Mistral.Ai sur des factures :

📌 Taux de fiabilité global : 63,75 %

Performance de ChatGPT 4.5 sur des factures

Nous avons donc également analysé une facture type à l'aide du modèle de ChatGPT.

Les résultats nous donne un aperçu clair des types d'erreurs commises par l'outil, de leur fréquence et de leur impact sur la fiabilité globale.

Tableau de performance de ChatGPT sur des factures :

📌 Taux de fiabilité global : 57,5 %

Conclusion

Mistral AI vs ChatGPT – Des performances en deçà des attentes… et une meilleure alternative ?

Malgré des promesses alléchantes, notre test a révélé que ni Mistral AI (63,75 % de fiabilité) ni ChatGPT (57,5 %) ne tiennent réellement leurs engagements en matière d’OCR.

📌 Mistral AI excelle en transcription pure (98,75 % de précision sur la retranscription), mais souffre de 27,5 % de données manquantes.

📌 ChatGPT, lui, positionne parfaitement les données, mais perd encore plus d’informations essentielles (42,5 % de données manquantes).

🔍 Le constat est clair : aucun des deux modèles ne garantit une extraction fiable et complète des données, surtout pour des documents complexes comme les factures.

Koncile, l’alternative OCR boostée à l’IA

Chez Koncile, nous avons conçu un OCR nouvelle génération, alliant précision d’extraction et compréhension intelligente des documents. Notre approche s’inscrit dans une logique d’automatisation des documents, pensée pour offrir un gain réel de productivité aux entreprises.

Grâce à notre intelligence artificielle optimisée, nous réduisons drastiquement les erreurs et garantissons une extraction fidèle, même sur des documents non standardisés.

💡 Pourquoi choisir l’OCR de Koncile ?

Fiabilité supérieure grâce à un modèle conçu pour minimiser les erreurs

Moins de données manquantes et meilleure structuration des informations

Adapté aux documents complexes comme les factures, contrats et rapports