Personas¶
Evaluieren Sie Ihren Chatbot Ende-zu-Ende, indem wiederverwendbare, simulierte Nutzer ein Ziel über echte, mehrstufige Unterhaltungen hinweg verfolgen.
Eine Persona ist eine wiederverwendbare Definition eines simulierten Nutzers. In einem Persona-Experiment simuliert ein LLM jede Persona, während sie ein Ziel verfolgt. Der zu testende Bot bzw. LLM Endpoint antwortet Runde für Runde, und das entstandene Transkript wird als Ganzes anhand Ihres Criterion-Set bewertet. Personas leben in einer projektweiten Library, werden in Persona Groups organisiert und gegen ein Set von Szenarien ausgeführt, sodass jede Persona gegen jedes Szenario in einem einzigen Experiment evaluiert wird.
Was es ist¶
Definieren Sie Personas einmal in der Library und verwenden sie über Experimente hinweg wieder:
- Die Persona Library enthält Ihre wiederverwendbaren, versionierten Personas.
- Eine Persona Group ist ein benannter Pool von Personas, den Sie für ein Experiment auswählen.
- Ein Szenario-Set enthält die Szenarien, die Ihre Personas durchspielen. Jedes Szenario hat die Absicht des Nutzers und ein erwartetes Ergebnis sowie beliebige eigene Felder.
- Ein Persona-Experiment führt jede Persona der Group gegen jedes Szenario eines Szenario-Sets aus — dieser Fan-out erzeugt eine simulierte Unterhaltung pro Persona und Szenario.
Szenarien und Personas & Gruppen erscheinen in der Seitenleiste, wenn der Evaluation-Umschalter auf Persona steht (siehe Navigation).
Quick Start¶
- Wählen Sie im Evaluation-Umschalter Persona, öffnen Sie Personas & Gruppen und erstellen Sie mit Neu eine neue Persona.
- Erstellen Sie eine Persona Group und fügen Sie die Personas hinzu, die Sie gemeinsam evaluieren möchten.
- Öffnen Sie Szenarien und erstellen Sie mit Neues Szenario-Set ein Szenario-Set. Fügen Sie Szenarien mit jeweils der Absicht des Nutzers und einem erwarteten Ergebnis hinzu, sowie bei Bedarf eigene Felder.
- Klicken Sie unter Kriterien-Bibliothek auf Neues Kriterien-Set und wählen Sie Ihr Szenario-Set als Collection, damit der Kriterien-Assistent Kriterien aus dessen Feldern vorschlagen kann.
- Klicken Sie auf Neues Experiment. Bei Evaluation: Persona öffnet sich das Persona-Setup direkt.
- Wählen Sie Ihre Szenarien und Persona Group, dann die LLM-Config für den Bot und ein Criterion-Set.
- Starten Sie das Experiment. Jede Persona wird gegen jedes Szenario ausgeführt, und jedes Transkript wird vom Criterion-Set bewertet.
Kernkonzepte¶
| Konzept | Beschreibung |
|---|---|
| Persona | Ein wiederverwendbarer, versionierter simulierter Nutzer. Hat einen Name, eine Persona-Beschreibung (Persönlichkeit und Verhalten) und optionales Domänenwissen (Hintergrundwissen des simulierten Nutzers). Description und Domänenwissen können {{Platzhalter}} enthalten, die aus den Feldern des Szenarios gefüllt werden. |
| Persona Library | Die projektweite Sammlung von Personas. Personas können organisationsweit geteilt werden (in anderen Projekten schreibgeschützt). |
| Persona Group | Ein benannter, veränderbarer Pool von Personas. Experimente referenzieren eine Group; ihre Mitglieder werden beim Start in das Experiment gepinnt. |
| Szenario | Ein Sample eines Persona-Experiments. Hat die Absicht des Nutzers (was der simulierte Nutzer von dem Gespräch will) und ein erwartetes Ergebnis (wie die Unterhaltung enden soll) sowie die Werte Ihrer eigenen Felder. |
| Szenario-Set | Ein benanntes Set von Szenarien, auf dem ein Experiment ausgeführt wird. Jedes Set hat die festen Felder Absicht des Nutzers und Erwartetes Ergebnis; eigene Felder können Sie hinzufügen und als {{Platzhalter}} in Persona-Beschreibungen und Kriterien referenzieren. |
| Simulator | Das LLM, das den Nutzer spielt, gesteuert durch die Persona. Der Simulator ist eine Deployment-Level-Einstellung und nicht durch Nutzer konfigurierbar. |
| Bot/LLM-Endpoint | Das zu testende LLM oder Bot-Endpoint, definiert durch die LLM-Config des Experiments. Über das SDK kann zusätzlich ein system-only-Prompt-Template gesetzt werden. |
| Beendigung | Der Simulator kann ein end_conversation-Tool mit einem von drei Gründen aufrufen — goal_met, goal_failed oder stuck. Wird das Tool nie aufgerufen, endet die Schleife bei einer harten Obergrenze von MAX_TURNS = 20 (ausgewiesen als Rundenlimit erreicht). |
Die Persona Library¶
Öffnen Sie bei Evaluation: Persona in der Seitenleiste Personas & Gruppen. Die Seite ist ein zweispaltiger Workbench: links die Persona-Bibliothek, rechts die Persona-Gruppen.

Personas erstellen und bearbeiten¶
- Klicken Sie oben in der Bibliothek auf Neu, um den Inline-Editor zu öffnen.
- Füllen Sie aus:
- Name — ein kurzes Label (z. B. Ungeduldiger User, der die Platform zum ersten Mal benutzt.).
- Persona description — die Persönlichkeit und das Verhalten, das der Simulator annehmen soll. Der simulierte Nutzer schreibt in der Sprache dieser Beschreibung, auch wenn die Absicht des Nutzers oder die Antworten Ihres Bots in einer anderen Sprache sind, es sei denn, die Beschreibung legt etwas anderes fest.
- Domain knowledge (optional) — Wissen oder Kontext, über den der simulierte Nutzer verfügt. Z.b. eine Sammlung an Versicherungsrichtlinien
- Klicken Sie auf Save. Klicken Sie später auf eine beliebige Persona-Zeile, um sie an Ort und Stelle zu bearbeiten.
Platzhalter wie {{customer_code}} werden in jedem Feld hervorgehoben, und der Editor listet alle Variablen auf, die die Persona verwendet. Jede davon muss als Feld im Szenario-Set existieren, gegen die Sie die Persona ausführen — siehe Eine Persona, viele Kunden. Um die verfügbaren Spalten zu sehen, wählen Sie wie im Prompt-Template-Editor unter Variablen verwenden von ein Szenario-Set: Das Dropdown zeigt, welche Variablen der Persona das Szenario-Set hat, und seine Felder stehen unter Variable hinzufügen neben jedem Feld. Variablen, die kein Feld dieses Szenario-Sets sind, werden rot markiert; beim Hovern über eine andere Variable erscheint ihr Wert aus dem ersten Szenario des Sets. Das betrifft nur die Ansicht; die Persona bleibt unabhängig von jedem Szenario-Set.

Personas projektübergreifend teilen¶
Personas leben in einem einzelnen Projekt, aber Sie können eine Standard-Persona organisationsweit verfügbar machen, statt sie pro Projekt zu duplizieren.
- Aktivieren Sie den Schalter Mit Organisation teilen an einer Persona auf der Seite Personas & Gruppen.
- Sobald geteilt, wird sie in jedem anderen Projekt derselben Organisation sichtbar und schreibgeschützt nutzbar — Standard-Personas müssen nicht mehr pro Projekt neu angelegt werden.
- Nur das Besitzer-Projekt kann eine geteilte Persona bearbeiten, das Teilen aufheben oder sie löschen. In anderen Projekten erscheint sie mit einem Geteilt-Badge, und ihre Felder sind schreibgeschützt.
- Das Teilen gilt über die gesamte Lineage: Es betrifft alle Versionen dieser Persona und kann vom Besitzer-Projekt aus wieder deaktiviert werden.
Wenn ein Projekt vom geteilten Original abweichen muss, klonen/duplizieren Sie die Persona in dieses Projekt. So entsteht eine unabhängige, bearbeitbare Kopie, die zunächst nicht geteilt ist, sodass Sie sie anpassen können, ohne die geteilte Version zu beeinflussen.
Persona Groups¶
Eine Persona Group ist ein benannter Pool von Personas, den ein Experiment gemeinsam ausführt.
- Verwenden Sie im rechten Bereich den Group-Switcher, um eine Neue Gruppe zu erstellen — geben Sie ihr einen Namen und optional eine Beschreibung.
- Fügen Sie Personas über die + / ✓-Schaltfläche an jeder Library-Zeile zur Group hinzu. Mitglieder erscheinen als Karten im Group-Roster.
- Entfernen Sie ein Mitglied über das ✗ auf seiner Karte.
Groups sind veränderbar und nicht versioniert. Wenn ein Experiment erstellt wird, erfasst es einen unveränderlichen Snapshot der exakten Persona-Versionen in der Group zu diesem Zeitpunkt, sodass spätere Änderungen an der Group oder ihren Personas ein abgeschlossenes Experiment nie verändern.
Szenarien¶
Ein Persona-Experiment läuft gegen ein Szenario-Set — ein Set von Szenarien, jedes die Absicht eines simulierten Nutzers in einer Unterhaltung. Öffnen Sie bei Evaluation: Persona Szenarien in der Seitenleiste, um sie zu verwalten. Die Seite listet Ihre Szenario-Sets auf.

- Klicken Sie auf Neues Szenario-Set und geben Sie einen Namen, optional eine Beschreibung und optional eigene Felder an (zum Beispiel
kanaloderkundenstufe). Ein Feldname besteht aus Buchstaben, Ziffern und Unterstrichen, beginnt nicht mit einer Ziffer und hat höchstens 100 Zeichen, damit er als{{Platzhalter}}verwendet werden kann. - Fügen Sie Szenarien mit Szenario hinzufügen hinzu oder importieren Sie eine CSV- oder Excel-Datei mit einer Spalte
goal, einer Spalteexpected_conversation_outcomeund je einer Spalte pro Feld.
Jedes Szenario hat zwei feste Felder, die sich nicht umbenennen oder entfernen lassen:
- Absicht des Nutzers — was der simulierte Nutzer von der Unterhaltung will, in seinen eigenen Worten. Der Simulator verfolgt sie. In Dateien und der API ist das das Feld
goal. - Erwartetes Ergebnis — wie die Unterhaltung enden soll. Es wird dem simulierten Nutzer nicht angezeigt; Kriterien können es als
{{expected_conversation_outcome}}lesen. Beide Texte sind Pflicht: Die Absicht treibt das Gespräch, das Ergebnis seine Bewertung.
Neue Szenarien entstehen Schritt für Schritt: die Absicht des Nutzers, dann das erwartete Ergebnis, dann die Felder des Sets. Szenario testen führt ein Gespräch mit einer Persona Ihrer Wahl gegen ein Modell aus, bevor etwas gespeichert ist — so sehen Sie, wie die Unterhaltung verlaufen würde. Ein Test gibt kein Urteil ab; dafür sind Experimente und Kriterien da. Gespeicherte Szenarien bieten dasselbe Testen auf ihrer Karte. Ein Test speichert nichts; seine Tokens zählen zum Projekt.


Alle Felder, die Sie hinzufügen, können als {{Platzhalter}} in der Beschreibung oder dem Domänenwissen einer Persona sowie in Kriterien referenziert werden. Das Kriterium „Endet die Unterhaltung so, wie es das Szenario erwartet: {{expected_conversation_outcome}}?“ vergleicht zum Beispiel jedes Transkript mit dem Ergebnis, das Sie für das jeweilige Szenario festgelegt haben.
Eine Persona, viele Kunden¶
Mit Platzhaltern bedient eine Persona viele Mandanten desselben Bots. Statt eine Persona pro Kunde zu schreiben, legen Sie die kundenspezifischen Werte in Collection-Spalten ab und referenzieren sie aus der Persona.
Beispiel: Ein Support-Bot bedient mehrere Krankenkassen. Jede Unterhaltung muss die Kasse und einen Testnutzer identifizieren. Fügen Sie dem Szenario-Set die Felder customer_code und user_id hinzu:
goal,customer_code,user_id
"Nach dem Umzug die Postadresse ändern.",DAK,dak-test-001
"Nach dem Umzug die Postadresse ändern.",TK,tk-test-042
"Fragen, ob eine professionelle Zahnreinigung übernommen wird.",DAK,dak-test-001
Schreiben Sie die Persona dann einmal:
| Feld | Wert |
|---|---|
| Name | Kürzlich umgezogene Versicherte |
| Persona-Beschreibung | Versichert bei der {{customer_code}}, gerade umgezogen, etwas ungeduldig. |
| Domänenwissen | Deine Test-ID ist {{user_id}}. Du bist bei der {{customer_code}} versichert. |
Jede Zeile rendert die Persona mit ihren eigenen Werten, sodass die drei Zeilen oben drei Unterhaltungen aus einer einzigen Persona erzeugen. Ein neuer Kunde bedeutet neue Zeilen, nicht neue Personas.
Fehlende Spalten
Jeder Platzhalter in einer Persona muss ein Feld des gewählten Szenario-Sets sein. Die Seite „Neues Experiment“ listet nicht zugeordnete Platzhalter auf und blockiert das Erstellen; die API lehnt sie mit HTTP 400 ab.
Der System-Prompt des Bots (nur SDK)¶
In der UI ist der zu testende Bot seine LLM-Config: Ein etwaiger System-Prompt stammt aus dieser Config. Über das SDK akzeptiert create_experiment zusätzlich ein prompt_template, dessen System-Nachricht dem Bot in jedem Turn mitgegeben wird. Ein solches Template muss system-only sein:
- Genau eine
system-Nachricht. - Keine
user- oderassistant-Nachrichten. - Keine User-seitigen Platzhalter — die User-Turns werden vom Simulator generiert.
Ein Persona-Experiment ausführen¶
- Stellen Sie Evaluation auf Persona und klicken Sie auf Neues Experiment. Es gibt keine Typauswahl; das Persona-Setup öffnet sich direkt.
- Wählen Sie unter Szenarien auswählen das Szenario-Set und unter Persona-Gruppe wählen die zu evaluierende Group.
- Wählen Sie die LLM-Config für den zu testenden Bot und das Criterion-Set, das die Transkripte bewertet.
- Prüfen Sie die Anzahl der Unterhaltungen und starten Sie das Experiment.

Das Experiment fächert über beide Dimensionen auf: Es führt eine Unterhaltung pro Persona und pro Szenario aus. Mit P Personas und S Szenarien erzeugt das Experiment P × S Unterhaltungen, was das Formular vor dem Start als Live-Zähler anzeigt.
Wie ein Run abläuft¶
Für jedes Paar aus (Persona, Szenario):
- Beschreibung und Domänenwissen der Persona werden gegen die Feldwerte des Szenarios gerendert, und die Absicht wird aus der Absicht des Nutzers des Szenarios gelesen.
- Der Simulator generiert die nächste User-Nachricht. Er sieht den vollständigen Gesprächsverlauf mit vertauschten Rollen (die Antworten Ihres Bots erscheinen für den Simulator als
user-Nachrichten und umgekehrt). - Der zu testende Bot/LLM-Endpoint antwortet auf Basis der LLM-Config des Experiments und, falls über das SDK gesetzt, des System-Prompts.
- Die Schritte 2 und 3 wiederholen sich, bis der Simulator
end_conversationaufruft oderMAX_TURNSerreicht wird. - Das finale Transkript wird als Response gespeichert und vom Criterion-Set bewertet.
Stateless vs. stateful Provider
Die meisten Provider (OpenAI, Custom API, Mock) sind stateless: Bei jedem Bot-Turn wird der vollständige Gesprächsverlauf erneut gesendet. Botario und Custom-API-Configs mit "stateful": true halten Session-State serverseitig vor: elluminate verwendet eine Session-ID pro Unterhaltung und sendet pro Aufruf nur den aktuellen User-Turn. Da nur dieser Turn gesendet wird, erreicht der System-Prompt des Bots einen stateful Bot nie — er bleibt aber im gespeicherten Transkript erhalten.
Ergebnisse lesen¶
- Der vollständige Dialog zwischen Simulator und Bot wird auf jeder Response gespeichert und ist im Response-Viewer sichtbar.
- Klappen Sie im Sample Navigator Persona as simulated auf, um Beschreibung und Domänenwissen der Persona mit den aktuellen Werten der Zeile zu sehen. Wurde die Zeile nach dem Run geändert, zeigt ein Warnsymbol an, dass die Werte von dem abweichen können, was der Simulator erhalten hat.
- Criterion-Bewertungen beziehen sich auf das gesamte Transkript, nicht auf einen einzelnen Turn.
- Der Judge weiß, dass er eine Unterhaltung bewertet: Er erhält die Persona-Beschreibung und die Absicht des Nutzers, bewertet die Antworten des Bots über alle Turns hinweg und liest die Nachrichten des simulierten Nutzers nur als Kontext.
- Jede Response zeigt, wie die Unterhaltung endete: Ziel erreicht, Ziel verfehlt, Festgefahren oder Rundenlimit erreicht. Im SDK ist das
response.termination_reason(goal_met,goal_failed,stuck,max_turnsoderNone). - Da jede Response mit der Persona verknüpft ist, die sie erzeugt hat, können Sie Ergebnisse nach Persona filtern, um zu vergleichen, wie unterschiedliche Personas bei denselben Szenarien abgeschnitten haben.
SDK-Referenz¶
Szenario-Sets lassen sich in der UI oder mit dem SDK verwalten. Personas und Persona Groups werden in der UI verwaltet; das SDK referenziert eine bestehende Persona Group, wenn es ein Multi-Turn-Experiment startet, indem es deren persona_group_id übergibt, die für MULTI_TURN-Experimente erforderlich ist.
from elluminate import Client
client = Client()
scenario_set = client.create_scenario_set(
name="Abrechnungs-Support",
fields=["kanal"], # deklarierte Felder, nutzbar als {{kanal}}
)
scenario_set.add_scenarios([
{
"goal": "Eine doppelte Abbuchung erstattet bekommen",
"expected_conversation_outcome": "Der Assistent bestätigt die Erstattung und nennt den Zeitrahmen.",
"field_values": {"kanal": "Chat"},
},
])
experiment = client.create_experiment(
name="Support quality — multi-turn",
prompt_template=system_only_template,
scenario_set=scenario_set, # statt collection=
evaluation_mode="MULTI_TURN", # mit scenario_set erforderlich
persona_group_id=group_id, # für MULTI_TURN erforderlich
)
experiment.run()
client.create_scenario_set(),client.get_scenario_set(name=... | id=...),client.list_scenario_sets()undclient.delete_scenario_set()verwalten Szenario-Sets; der Async-Client hat dieselben Methoden.- Auf einem Szenario-Set ändern und lesen
add_field(),rename_field(),delete_field(),add_scenarios(),list_scenarios(),get_scenario(),update_scenario()unddelete_scenario()den Inhalt; die Async-Varianten tragen das Präfixa(aadd_field(),alist_scenarios()usw.). JedesScenariohatgoal,expected_conversation_outcomeundfield_values. - Übergeben Sie
scenario_set=(einScenarioSet) stattcollection=anclient.create_experiment()und sein async-Äquivalent. Es erfordertevaluation_mode="MULTI_TURN"und lässt sich nicht mitcollection=kombinieren. Die Übergabe einer Collection vom TypPERSONAalscollection=funktioniert weiterhin.
Personas über das SDK verwalten
Das SDK erstellt oder bearbeitet keine Personas oder Persona Groups — legen Sie diese zuerst in der UI an und referenzieren Sie dann die ID der Group. persona_group_id ist ein Parameter von client.create_experiment() und seinem async-Äquivalent.
Verwandte Themen¶
- Konversationen — statische, vorab aufgezeichnete Gesprächsverläufe
- Agent Evaluations — Evaluationen tool-nutzender Agenten
- Criterion Sets — Regel-Collections zur Bewertung von Transkripten
- Experimente — Evaluationen Ende-zu-Ende ausführen