Aufgabe
Extraktion aller Felder, bei Lieferscheinen und Rechnungen samt Positionen.
Klassifizierung und weitere Dokumenttypen folgen.
Wie zuverlässig lesen Sprachmodelle die Daten aus deinen Dokumenten aus? Gemessen mit Lector: dieselben Dokumente, dieselben Soll-Werte, jedes Feld einzeln geprüft.
Leaderboard
Rangliste nach Field Accuracy …
Stand …| Rang | Modell | |
|---|---|---|
| Rangliste wird geladen … | ||
Field Accuracy = richtige ÷ erwartete Felder. Mehr dazu unter Methodik.
Dokumentbeispiele
Generierte Lieferscheine, Rechnungen und Schadenanzeigen aus dem Testsatz mit Soll-Werten und den tatsächlichen Antworten der Modelle. Eine Auswahl, nicht der vollständige Datensatz.
Dokument
Modellergebnis
Kopfdaten
Positionen
Ein Feld ist korrekt, wenn der Wert exakt dem Soll entspricht. Ein fehlender Wert zählt als Fehler.
Methodik
Alle Modelle lesen in Lector dieselben Dokumente aus.
Jedes Feld wird mit dem Soll-Wert verglichen.
Extraktion aller Felder, bei Lieferscheinen und Rechnungen samt Positionen.
Klassifizierung und weitere Dokumenttypen folgen.
Generierte Dokumente mit Soll-Werten:
Field Accuracy = richtige ÷ erwartete Felder. Fehlende, falsche und erfundene Werte zählen als Fehler.
Werte müssen exakt stimmen, die Reihenfolge der Positionen ist egal.
Evaluation-CenterBeta
Die Rangliste oben stammt aus dem Evaluation-Center von Lector. Dort misst du Modelle, Prompts und Einstellungen auf deinen eigenen Dokumenten, mit denselben Kennzahlen.
Geprüfte Dokumente mit Soll-Werten, zum Beispiel alle als Gold markierten.
Jede Variante, ob anderes Modell oder geänderter Prompt, läuft auf ihrem eigenen Branch gegen denselben Datensatz.
Field Accuracy je Variante, Feld und Dokumenttyp nebeneinander. Die beste Variante geht live.