Mistral AI vs ChatGPT: Der ultimative Genauigkeitstest für OCR

Bei Koncile verfolgen wir ständig die neuesten Fortschritte im Bereich der visuellen Sprachmodelle (VLM) und testen regelmäßig neue Technologien, um ihre Grenzen unter realen Bedingungen zu verstehen. In diesem Kontext haben wir unsere eigene OCR-Software entwickelt, die von KI unterstützt wird – für eine präzisere und verlässlichere Extraktion komplexer Daten.

Heute hat Mistral AI sein brandneues OCR-Modell vorgestellt, das laut Angaben des Unternehmens den aktuellen Stand der Technik (SOTA) darstellt – basierend auf bislang unveröffentlichten Benchmarks. Wie so oft verbreitete sich die Begeisterung rasch im Internet. Das Modell wurde auf Hacker News heiß diskutiert, und viele Nutzer verkündeten sofort, dass die Texterkennung aus PDFs nun endgültig gelöst sei.

‍

Vor diesem Hintergrund haben wir beschlossen, Mistral OCR im Vergleich zu ChatGPT – einem weiteren großen Akteur der KI-Welt – zu evaluieren. Obwohl Mistral eine Genauigkeit von 94,9 % beansprucht und andere Berichte ChatGPT ähnliche Werte (89,77 %) zuschreiben, zeigte unser Test einen deutlichen Unterschied zwischen dieser theoretischen Leistung und den tatsächlichen Ergebnissen auf unserem eigenen Datensatz.

Leistung von Mistral.AI bei Rechnungen

Wir haben eine typische Rechnung mit dem neuen OCR-Modell von Mistral analysiert – ein klassischer Anwendungsfall für Rechnungs-OCR, bei dem eine präzise Datenstrukturierung entscheidend ist.

Hier die Legende der Datenauswertung:

• Fehlertypen: Diese Spalte beschreibt die verschiedenen Arten von Fehlern, die beim Extrahieren der Rechnungsdaten auftraten. Unterschieden wird zwischen:
  • Fehlende Daten: Informationen, die hätten erkannt werden sollen, aber vom Tool nicht extrahiert wurden.
  • Falsch zugeordnete Daten: Daten, die zwar erkannt, aber in der falschen Kategorie oder an der falschen Stelle im Ergebnis platziert wurden.
  • Falsch transkribierte Daten: Fälle, in denen Daten extrahiert, aber falsch wiedergegeben wurden (z. B. vertauschte Zahlen oder Buchstaben).

Die Ergebnisse sind in der folgenden Tabelle dargestellt.
‍

Legende zur Zuverlässigkeitstabelle:

• Fehleranzahl: Wie oft der jeweilige Fehlertyp bei der Analyse der Rechnung auftrat.
• Fehlerquote (%): Anteil des Fehlertyps an der Gesamtzahl der zu extrahierenden Daten.
• Zuverlässigkeit (%): Anteil der korrekt extrahierten Daten an der Gesamtheit der erkannten Informationen.

Diese Übersicht zeigt klar, welche Fehlerarten auftreten, wie häufig sie vorkommen und welchen Einfluss sie auf die Gesamtzuverlässigkeit haben.

Leistungsdiagramm von Mistral.AI bei Rechnungen

📌 Gesamtzuverlässigkeitsrate: 63,75 %

ChatGPT 4.5 Leistung bei Rechnungen

Wir haben außerdem eine Standardrechnung mit dem ChatGPT-Modell getestet.

Die Ergebnisse zeigen typische Probleme, die häufig bei der intelligenten Dokumentenverarbeitung auftreten – insbesondere bei variierenden Formaten und unstrukturierten Daten.

Leistungsdiagramm von ChatGPT bei Rechnungen

📌 Gesamtzuverlässigkeitsrate: 57,5 %

Mistral AI vs. ChatGPT: Leistung bleibt hinter den Erwartungen

Trotz der hohen Erwartungen zeigen unsere Tests, dass weder Mistral AI (63,75 % Zuverlässigkeit) noch ChatGPT (57,5 %) ihre OCR-Versprechen einlösen.

📌 Mistral AI überzeugt zwar bei der reinen Transkription mit 98,75 % Genauigkeit, weist jedoch 27,5 % fehlende Daten auf.

📌 ChatGPT platziert Daten etwas besser, verliert aber noch mehr essentielle Informationen – 42,5 % der Daten fehlen.

🔍 Fazit: Keines der beiden Modelle gewährleistet eine zuverlässige und vollständige Datenerfassung, insbesondere bei komplexen Dokumenten wie Rechnungen.

Koncile: Die Next-Gen-OCR-Alternative

Bei Koncile haben wir eine neue Generation von OCR entwickelt, die präzise Extraktion mit intelligentem Dokumentenverständnis kombiniert. Unsere optimierte KI reduziert Fehler drastisch und gewährleistet eine genaue Datenerfassung – selbst bei nicht standardisierten Dokumenten.

💡 Warum Koncile OCR?

Höhere Zuverlässigkeit – unser Modell minimiert Erkennungsfehler

Weniger fehlende Daten & bessere Informationsstrukturierung

Ideal für komplexe Dokumente – perfekt für Rechnungen, Verträge und Berichte

Für Unternehmen, die auf präzise und strukturierte Datenerfassung angewiesen sind, ist Koncile OCR die überlegene Alternative.

‍