Model Arena

Wie zuverlässig lesen Sprachmodelle die Daten aus deinen Dokumenten aus? Gemessen mit Lector: dieselben Dokumente, dieselben Soll-Werte, jedes Feld einzeln geprüft.

  • – Modelle im Vergleich
  • – generierte Dokumente
  • – geprüfte Felder

Leaderboard

Welches Modell liest am zuverlässigsten aus?

Rangliste nach Field Accuracy …

Stand …
Rangliste der Modelle nach Field Accuracy.
Rang Modell
Rangliste wird geladen …

Field Accuracy = richtige ÷ erwartete Felder. Mehr dazu unter Methodik.

Dokumentbeispiele

Wo liegen die Modelledaneben?

Generierte Lieferscheine, Rechnungen und Schadenanzeigen aus dem Testsatz mit Soll-Werten und den tatsächlichen Antworten der Modelle. Eine Auswahl, nicht der vollständige Datensatz.

Echte Modellantwort aus der Evaluation

Dokument

Generiertes Dokument aus dem Testsatz. Soll-Werte und Antworten stammen aus der Evaluation in Lector.

Dokument

Modellergebnis

…

    Kopfdaten

      Positionen

        Ein Feld ist korrekt, wenn der Wert exakt dem Soll entspricht. Ein fehlender Wert zählt als Fehler.

        Methodik

        So messen wirdie Modelle

        Alle Modelle lesen in Lector dieselben Dokumente aus.
        Jedes Feld wird mit dem Soll-Wert verglichen.

        Aufgabe

        • Extraktion aller Felder, bei Lieferscheinen und Rechnungen samt Positionen.

        • Klassifizierung und weitere Dokumenttypen folgen.

        Datensatz

        Generierte Dokumente mit Soll-Werten:

          Bewertung

          • Field Accuracy = richtige ÷ erwartete Felder. Fehlende, falsche und erfundene Werte zählen als Fehler.

          • Werte müssen exakt stimmen, die Reihenfolge der Positionen ist egal.

          Evaluation-CenterBeta

          Deine Dokumente,deine Rangliste.

          Die Rangliste oben stammt aus dem Evaluation-Center von Lector. Dort misst du Modelle, Prompts und Einstellungen auf deinen eigenen Dokumenten, mit denselben Kennzahlen.

          1. Datensatz wählen

            Geprüfte Dokumente mit Soll-Werten, zum Beispiel alle als Gold markierten.

          2. Varianten antreten lassen

            Jede Variante, ob anderes Modell oder geänderter Prompt, läuft auf ihrem eigenen Branch gegen denselben Datensatz.

          3. Vergleichen und übernehmen

            Field Accuracy je Variante, Feld und Dokumenttyp nebeneinander. Die beste Variante geht live.

          Mehr zum Evaluation-Center
          Beispieldaten

          Teste die Modelle auf deinen Daten

          Interessiert dich, wie gut die Modelle auf deinen Daten und mit deinen Prompts funktionieren? Dann melde dich jetzt an und probier es aus.