Kriterien-Sets¶
Organisieren Sie Bewertungskriterien in wiederverwendbaren Sets, die konsistente Bewertungen ermöglichen
Kriterien-Sets sind Sammlungen von Bewertungskriterien, die definieren, wie KI-Antworten bewertet werden sollen. Sie ermöglichen eine systematische Evaluierung, indem sie verwandte Kriterien zusammenfassen, sodass sie einfach in Ihren Experimenten verwendet werden können.
Was sind Kriterien-Sets?¶
Ein Kriterien-Set enthält ein oder mehrere Kriterien - binäre Bewertungsfragen, die KI-Antworten als "pass" oder "fail" bewerten. Jedes Kriterium stellt eine spezifische Ja/Nein-Frage zur Antwortqualität, wie "Beantwortet die Antwort die Frage korrekt?" oder "Ist die Antwort frei von schädlichen Inhalten?".
Kriterien-Sets bieten Konsistenz durch die Anwendung derselben Bewertungsstandards über Ihre Experimente hinweg, ermöglichen Wiederverwendbarkeit durch geteilte Kriterien und verbessern die Effizienz durch die Reduzierung von Doppelarbeiten bei der Bewertung ähnlicher Prompt-Variationen.
Key Concepts¶
Kriterien: Einzelne Bewertungsfragen, die spezifische Aspekte der Antwortqualität bewerten. Jedes Kriterium muss mit Ja/Nein beantwortbar sein, wobei „Ja“ bedeutet, dass die Antwort gut war, und sollte auf einen bestimmten Aspekt der Antwortqualität abzielen.
Collection Compatibility: Kriterien-Sets müssen mit den Daten kompatibel sein, auf denen sie bewertet werden. Kompatibilität bedeutet, dass Platzhalter in den Kriterien (z.B. {{user_question}}) exakt mit den Spaltennamen der Collection übereinstimmen, bei Persona-Experimenten mit den Feldnamen des Szenario-Sets (einschließlich {{expected_conversation_outcome}}, siehe Szenarien). Bei der Erstellung von Experimenten sind nur kompatible Kriterien-Sets zur Auswahl verfügbar. Wenn keine Platzhalter in den Kriterien verwendet werden, ist die Kompatibilität mit jeder Collection und jedem Szenario-Set garantiert.
Template Linking: Kriterien-Sets können mit Prompt-Templates verknüpft werden. Diese Verknüpfung bestimmt, welches Kriterien-Set standardmäßig für Experimente mit diesem Prompt-Template ausgewählt wird. Ein alternativer Ansatz ist die Auswahl des Kriterien-Sets bei der Experiment-Erstellung. Siehe Prompt-Templates zuordnen.
Version Control: Automatische Versionierung verfolgt Änderungen an Kriterien für Reproduzierbarkeit und stellt sicher, dass Experimente konsistent bleiben, auch wenn Kriterien aktualisiert werden.
Ein Kriterien-Set erstellen¶
Öffnen Sie Kriterien-Bibliothek in der Seitenleiste, um alle Kriterien-Sets des Projekts zu sehen. Der Eintrag ist für jeden Evaluationstyp (Single-turn, Persona und Agent) verfügbar und zeigt dieselben Sets. Klicken Sie auf Neues Kriterien-Set, um den Kriterien-Workbench zu öffnen.
Legen Sie zuerst die Collection (oder das Szenario-Set) an, die Sie evaluieren möchten. Der Workbench arbeitet gegen deren Spalten; sie ist die einzige Voraussetzung für den Assistenten.
Der Kriterien-Workbench¶
Der Workbench hat zwei Hälften: links den Chat mit dem Assistenten, rechts die Kriterien des Sets. Darüber steht der Kopf mit Name und Beschreibung des Sets sowie den Daten, gegen die die Kriterien geschrieben werden. Derselbe Workbench öffnet sich, wenn Sie in der Kriterien-Bibliothek ein bestehendes Set anklicken.
Set-Details und Daten¶
| Feld | Pflicht | Beschreibung |
|---|---|---|
| Name | Ja | Direkt in den Titel tippen („Set benennen“). Muss im Projekt eindeutig sein. |
| Beschreibung | Nein | Kurze Erklärung des Zwecks des Sets, unter dem Namen. |
| Farbe | Nein | Der Punkt neben dem Namen legt die Farbe fest, mit der das Set angezeigt wird. |
| Collection | Für den Assistenten | „Collection wählen“. Ihre Spalten sind das, worauf sich Kriterien als {{Platzhalter}} beziehen dürfen. Alle Collection-Typen werden angeboten, auch die Szenario-Sets von Persona-Evaluationen. Das × daneben entfernt die Auswahl. |
| Template | Nein | „Keins (optional)“. Ein Prompt-Template, gegen das geschrieben wird. Angeboten werden nur Templates, die zur gewählten Collection kompatibel sind. |
Ein Chip neben der Collection zeigt ihre erste Zeile, damit Sie sehen, was eine Spalte enthält. Das Template ist Kontext für den Assistenten und für das Testen eines Kriteriums bei Collections mit Variablen; es wird nicht am Set gespeichert. Um ein Set mit Templates zu verbinden, siehe Prompt-Templates zuordnen.
Das Set merkt sich seine Collection: Sie wird am Set gespeichert und beim erneuten Öffnen wiederhergestellt. Das Wechseln der Collection bei einem Set, das schon Kriterien enthält, verlangt eine Bestätigung (Wechseln und prüfen). Die neue Collection wird sofort am Set gespeichert, und der Assistent prüft jedes Kriterium erneut dagegen und meldet die, die Spalten verwenden, die die neue Collection nicht hat.
Mit dem Assistenten schreiben¶
Wählen Sie zuerst eine Collection; bis dahin ist die Chat-Eingabe gesperrt („Zuerst eine Collection wählen“). Dann können Sie
- beschreiben, was eine gute Antwort tun soll oder nie tun darf, zum Beispiel „Die Antwort muss den Zeitrahmen der Erstattung nennen“, oder
- den Assistenten bitten, sich Ihre Collection anzusehen und Kriterien vorzuschlagen.
Der Assistent macht aus Ihrer Beschreibung Ja/Nein-Kriterien. Er kann auch eine Frage zum Schreiben von Kriterien beantworten oder ein Kriterium kommentieren. Was Sie selbst geschrieben haben, schreibt er nicht um, solange Sie ihn nicht darum bitten.
Jedes vorgeschlagene Kriterium erscheint rechts unter Vorgeschlagen. Entscheiden Sie pro Vorschlag:
| Aktion | Wirkung |
|---|---|
| Ins Set übernehmen | Verschiebt das Kriterium nach Im Set. |
| Überarbeiten | Schickt es zurück an den Assistenten, damit Sie sagen können, was geändert werden soll. |
| Verwerfen | Verwirft den Vorschlag. |
| Alle N übernehmen | Übernimmt alle offenen Vorschläge auf einmal. |
Ein Vorschlag, der ein bestehendes Kriterium verbessert, zeigt Ersetzt: mit der alten Formulierung und bietet Im Set ersetzen statt Ins Set übernehmen an.
Übernommene Kriterien gehören zum Entwurf des Sets. Gespeichert wird erst, wenn Sie speichern.
Kriterien selbst schreiben¶
Klicken Sie auf Kriterium selbst schreiben, um eine leere Zeile hinzuzufügen. Geben Sie ein Kurzes Label (optional; elluminate erzeugt eines, wenn Sie es leer lassen) und den Kriterientext ein und klicken Sie dann auf Kriterium speichern (Strg+Enter). Klicken Sie ein Kriterium im Set an, um es direkt zu bearbeiten, oder entfernen Sie es mit dem × in seiner Zeile.
Nachdem Sie ein Kriterium von Hand geschrieben oder bearbeitet haben, kann der Assistent es kommentieren. Ein Kriterium, das er für schwach hält, wird mit seiner Begründung als Überarbeiten markiert; klicken Sie die Markierung an, um es im Assistenten zu überarbeiten.
Jedes Kriterium sollte:
- Binäre Ja/Nein Bewertung sicherstellen
- Auf beobachtbare Antwortmerkmale fokussieren
- Klare, eindeutige Sprache verwenden
- Auf einen bestimmten Aspekt der Antwortqualität abzielen
Beispiel-Kriterien:
- "Enthält die Antwort korrekte Informationen?"
- "Ist die Antwort frei von schädlichen Inhalten?"
- "Hält die Antwort das geforderte Format ein?"
Platzhalter einfügen¶
Unter Spalte einfügen listet der Workbench die Spalten der gewählten Collection als Chips auf. Klicken Sie einen Chip an, um seinen {{Platzhalter}} in das Kriterium einzufügen, das Sie gerade schreiben; beim Hovern sehen Sie den Wert aus der ersten Zeile.
- Conversation-Spalten enthalten strukturierte Daten und lassen sich nicht in ein Kriterium einsetzen. Sie erscheinen ausgegraut, und ein Kriterium, das eine verwendet, zeigt eine Warnung.
- Ein Platzhalter, der keine Spalte der gewählten Collection ist, wird in der Zeile markiert („ist keine Spalte der gewählten Collection – das Set würde damit nicht laufen“).
- Der mit System markierte Chip fügt eine System-Variable ein, die keine Spalte braucht.
Kriterium testen¶
Nachdem der Assistent ein Kriterium vorgeschlagen hat, kann er eine Karte Kriterium testen anbieten. Klicken Sie auf Auf N Zeilen testen, um die Formulierung an echten Daten zu prüfen, bevor Sie sie übernehmen.
Der Test nimmt die ersten Zeilen der Collection (bis zu drei), erzeugt pro Zeile eine Antwort und bewertet sie anhand des Kriteriums. Jede Zeile zeigt Bestanden oder Nicht bestanden mit der Begründung des Judges und der erzeugten Antwort, sodass Sie sehen, ob das Kriterium gute von schlechten Antworten trennt. Es wird nichts gespeichert, aber jede Zeile kostet eine Generierung und eine Bewertung.
- Collections mit Variablen brauchen ein Prompt-Template: Wählen Sie zuerst eines unter Template. Collections mit einer Conversation- oder Raw-Input-Spalte enthalten den ganzen Prompt und brauchen keines.
- Der Test ist für Single-turn-Collections verfügbar. Für Persona- und Agent-Collections ist er noch nicht verfügbar.
Gespeicherte Kriterien überarbeiten¶
Klicken Sie bei einem Kriterium im Set auf Im Assistenten überarbeiten, um es an den Assistenten zu schicken. Dafür muss eine Collection gewählt sein. Das Kriterium erscheint als „Überarbeiten: ...“ über der Eingabe: Sagen Sie, was geändert werden soll, oder senden Sie die Nachricht leer, damit der Assistent es nur prüft. Überarbeitung abbrechen bricht ab. Der Assistent antwortet mit einem Vorschlag, der das Kriterium ersetzt.
Versionsverlauf¶
Das Speichern eines geänderten Kriteriums erzeugt eine neue Version; unveränderte Kriterien behalten ihre Version. Gespeicherte Kriterien zeigen ein Versions-Badge (z.B. v2). Klicken Sie es an, um frühere Versionen mit ihrem Datum anzuzeigen. Experimente behalten die Version, mit der sie gelaufen sind.
Speichern¶
| Situation | Button |
|---|---|
| Neues Set | Kriterien-Set erstellen. Braucht einen Namen und mindestens ein Kriterium, und kein Kriterium darf leer sein. Der Grund steht neben dem Button, solange er deaktiviert ist. |
| Bestehendes Set | Änderungen speichern. Aktiv, sobald sich etwas geändert hat. |
Beim Speichern wird nur geschrieben, was sich geändert hat; unberührte Kriterien behalten also Versionsverlauf und bestehende Bewertungen. Wenn Sie mit nicht gespeicherten Änderungen weggehen, fragt elluminate, ob diese zuerst gespeichert werden sollen.
Das Drei-Punkte-Menü eines bestehenden Sets bietet Kriterien-Set kopieren nach... und Kriterien-Set löschen. Beim Löschen wird das Set aus allen verknüpften Prompt-Templates entfernt, und die Experiment-Zeitpläne, die es verwenden, werden gelöscht.
Plattform-Sets sind schreibgeschützt
Von der Plattform bereitgestellte Sets öffnen sich schreibgeschützt und ohne Assistenten. Kopieren Sie eines, um eine bearbeitbare Version zu erhalten. Die Collection-Auswahl funktioniert dort weiterhin, um zu prüfen, welche Platzhalter eine Collection füllen kann; die Auswahl wird nicht gespeichert.
System-Variablen¶
Zusätzlich zu den von der Collection bereitgestellten Platzhaltern unterstützen Kriterien eine integrierte System-Variable, die elluminate zum Zeitpunkt der Bewertung automatisch einsetzt:
| Variable | Wert | Beschreibung |
|---|---|---|
{{system_current_date}} |
Heutiges Datum im ISO-Format (YYYY-MM-DD) |
Wird bei jeder Bewertung des Kriteriums automatisch ersetzt und zum Zeitpunkt der Bewertung neu berechnet. |
Verwenden Sie sie, um datumsabhängige Kriterien aktuell zu halten, ohne ein Datum fest zu hinterlegen, das veraltet und vor jedem Experiment manuell aktualisiert werden muss:
Klicken Sie im Workbench unter Spalte einfügen auf den Chip mit der Markierung System. Da die Variable automatisch befüllt wird, benötigt sie keine passende Collection-Spalte und zählt nicht als erforderlicher Platzhalter für die Collection-Kompatibilität — ein Kriterium, das ausschließlich {{system_current_date}} verwendet, bleibt mit jeder Collection kompatibel.
Info
System-Variablen gelten nur für Kriterien. Gewöhnliche Platzhalter ohne das system_-Präfix (z.B. {{current_date}}) bleiben reguläre, von der Collection bereitgestellte Variablen.
Prompt-Templates zuordnen¶
Kriterien-Sets können mit Prompt-Templates verknüpft werden. Öffnen Sie bei Evaluation: Single-turn die Prompt-Templates und wählen Sie ein Template: Der Abschnitt für Kriterien bietet Bestehendes Criterion-Set verknüpfen (bzw. Verknüpftes Criterion-Set ändern), Neues Criterion-Set erstellen (ein leeres Set mit dem Namen des Templates) und Kriterien generieren. Ein verknüpftes Set öffnet sich im selben Workbench mit vorausgewähltem Template, daneben stehen In der Bibliothek öffnen und Verknüpfung lösen.
Wenn Sie Experimente erstellen, wird das mit Ihrem ausgewählten Prompt-Template verknüpfte Kriterien-Set standardmäßig ausgewählt, aber es ist möglich, es durch ein anderes kompatibles Kriterien-Set zu ersetzen. Das Bewertungssystem generiert Antworten, wendet Kriterien an, um jede Antwort zu bewerten, und produziert Pass/Fail-Bewertungen für jedes Kriterium.
Fortgeschrittene Features¶
Template-Set Verknüpfungen¶
Kriterien-Sets können mit mehreren Templates verknüpft werden, aber diese Verknüpfung ist nicht fest und kann für jedes Experiment nach Ihren Bedürfnissen angepasst werden. Diese Flexibilität ermöglicht es Ihnen:
- Universelle Kriterien (Sicherheit, Grundqualität) über alle Templates hinweg anzuwenden
- Spezifische Kriterien für bestimmte Anwendungsfälle (Kundenservice, technische Dokumentation) zu verwenden
- Verschiedene Bewertungsaspekte für umfassende Bewertungen zu kombinieren
Verknüpfungen verwalten:
- Ein anderes Kriterien-Set mit bestehenden Templates verknüpfen
- Sets entknüpfen, während historische Experimentdaten bewahrt werden
Ergebnisse und Analyse¶
Ergebnisse von Experimenten zeigen die Leistung von einzelnen Kriterien. Dazu gehören Pass-Raten für jedes Kriterium, Response-Level Bewertungen (die zeigen, welche Kriterien bestanden oder durchgefallen sind) sowie Gesamtscores, die alle Kriterien in die Gesamtleistung des Templates kombinieren.
Beim Vergleich von Experimenten über die Zeit können Sie Trends in der Kriterien-Leistung analysieren, um zu verstehen, welche Aspekte Ihrer Prompts sich verbessern oder Aufmerksamkeit benötigen.
Best Practices¶
Set Organization Strategie¶
Organisieren Sie Kriterien-Sets nach Zweck, um Klarheit und Wiederverwendbarkeit zu erhalten. Häufige Gruppen umfassen:
Accuracy Sets - Inhaltskorrektheit, Sachrichtigkeit, Vollständigkeit
Safety Sets - Schädliche Inhalte, Bias-Erkennung, Compliance-Anforderungen
Quality Sets - Klarheit, Kohärenz, professioneller Ton
Functional Sets - Aufgabenerfüllung, Formateinhaltung, Anweisungsbefolgung
Criteria Design Guidelines¶
Designen Sie Kriterien, um umfassend und fokussiert zu sein. Stellen Sie sicher, dass Ihre Kriterien alle wichtigen Bewertungsdimensionen abdecken, während Sie ausgewogene Erwartungen aufrechterhalten, die weder zu nachsichtig noch unmöglich streng sind.
Fokussieren Sie auf umsetzbare Rückmeldungen - Ergebnisse sollten spezifische Verbesserungsbereiche anzeigen, anstatt nur Pass/Fail-Status. Verwenden Sie klare, eindeutige Sprache, die subjektive Interpretation minimiert.
Workflow Integration¶
Legen Sie die Collection oder das Szenario-Set vor dem Kriterien-Set an: Der Assistent braucht deren Spalten, um Kriterien vorzuschlagen. Prüfen Sie die Formulierung mit Kriterium testen an echten Zeilen, bevor Sie sie übernehmen, und erstellen Sie Kriterien-Sets für jede große Bewertungskategorie. Verknüpfen Sie die am häufigsten verwendeten mit Ihrem Prompt-Template.
Validieren Sie Kriterien durch erste Experiment-Durchläufe und iterieren Sie basierend auf Bewertungsergebnissen. Für Teamzusammenarbeit verwenden Sie konsistente Kriterien-Sets über Teammitglieder hinweg und pflegen Sie klare Dokumentation dessen, was jedes Kriterium testet.
SDK Integration¶
Für die programmatische Verwaltung von Kriterien-Sets verwenden Sie das elluminate SDK:
from elluminate import Client
client = Client() # Verwendet ELLUMINATE_API_KEY Umgebungsvariable
# Kriterien-Set erstellen oder existierendes abrufen
criterion_set, created = client.get_or_create_criterion_set(
name="Inhaltsqualität",
defaults={"description": "Bewerten Sie Antwortgenauigkeit und Vollständigkeit"},
)
# Kriterien zum Set hinzufügen (akzeptiert Strings oder CriterionIn-Objekte)
criterion_set.add_criteria([
"Liefert die Antwort genaue Informationen?",
"Ist die Antwort vollständig und behandelt alle Teile der Frage?",
])
# Mit Prompt-Template verknüpfen
template = client.get_prompt_template(name="Kundenservice Bot")
criterion_set.link_template(template)
# In Experiment verwenden
experiment = client.create_experiment(
name="Qualitätsbewertung",
prompt_template=template,
collection=test_collection,
criterion_set=criterion_set,
llm_config=model_config,
)
Für die vollständige SDK-Dokumentation siehe die API Reference.
Troubleshooting¶
Common Issues¶
Inkonsistente Ergebnisse: Überprüfen Sie, dass Kriterien als binäre Ja/Nein-Fragen geschrieben sind. Zusammengesetzte Fragen, die mehrere Aspekte testen, können zu inkonsistenten Bewertungen führen. Eine positive Antwort auf die Frage führt zu einer "Ja"-Bewertung, überlegen Sie also, ob Ihr Testfall Kriterien beinhalten sollte, die als negative Fragen formuliert sind.
Fehlende Evaluations: Bestätigen Sie, dass Ihre LLM-Antworten in einem Format sind, das mit Ihren Kriterien kompatibel ist. Einige Kriterien können spezifische Antwortstrukturen oder Inhaltstypen erfordern.
Kriterien-Set nicht für Experiment verfügbar: Wenn Ihr Kriterien-Set bei der Erstellung eines Experiments nicht erscheint, überprüfen Sie, ob die Platzhalter in den Kriterien exakt mit den Spaltennamen Ihrer Collection (bzw. den Feldnamen des Szenario-Sets) übereinstimmen. Nur kompatible Kriterien-Sets werden im Experiment-Erstellungsformular angezeigt.
Chat-Eingabe ist gesperrt: Der Assistent braucht eine Collection. Wählen Sie im Kopf unter Collection eine aus.
Keine Karte „Kriterium testen“: Der Test ist für Persona- und Agent-Collections nicht verfügbar und braucht bei Collections mit Variablen ein Prompt-Template. Die Karte nennt, was davon zutrifft.
Hilfe erhalten¶
Wenn Kriterien-Sets nicht wie erwartet funktionieren, überprüfen Sie die Experiment-Logs auf spezifische Fehlermeldungen, prüfen Sie, dass Kriterien ordnungsgemäß mit Templates verknüpft sind, und überprüfen Sie die Kriterien-Formulierung auf Klarheit und Objektivität.
Das Verständnis von Kriterien-Sets ermöglicht systematische, reproduzierbare Bewertungen von KI-Antworten bei gleichzeitiger Aufrechterhaltung der Konsistenz über Ihre Bewertungs-Workflows hinweg.