Prompt Templates¶

Beherrschen Sie das Fundament systematischer KI-Bewertung mit versionierten, wiederverwendbaren Vorlagen für umfassende Tests über verschiedene Eingaben und Szenarien hinweg

Prompt Templates sind das Fundament von elluminates Bewertungssystem - versionierte, wiederverwendbare Vorlagen mit Variablen-Platzhaltern, die systematisches Testen von KI-Systemen über verschiedene Eingaben und Szenarien hinweg ermöglichen.

Was sind Prompt Templates?¶

Ein Prompt Template ist eine wiederverwendbare Vorlage, die Variablen ({{Platzhalter}}) enthält, die durch spezifische Werte ersetzt werden, um konkrete Prompts zu erstellen. Die Werte werden aus der Collection (TemplateVariable) gezogen, um den Prompt für das LLM zu generieren.

Template Structure¶

Template Details¶

Der erste Teil des Prompt Templates sind die Template Details

Der Name Ihres Prompt Templates hilft Ihnen dabei, es später für die Experimente auszuwählen.

Die einfachste Version eines Prompt Templates enthält lediglich eine User Message mit einem {{Platzhalter}} in doppelten Klammern.

Eine System Message ermöglicht es Ihnen, Anweisungen für das Modell einzuschließen, sich auf eine bestimmte Weise zu verhalten. Sie können auch {{Platzhalter}} in der System Message verwenden.

Für Details zu Structured Output und Tools siehe den Abschnitt Fortgeschrittene Features unten.

Response Generator¶

Im Response Generator können Sie die Ausgabe des gewählten Modells testen, um zu sehen, ob Ihr Prompt Template funktioniert:

Criteria¶

Schließlich müssen Sie einige Criteria zu Ihrem Template hinzufügen. Sie können ein bestehendes Criterion Set verlinken oder manuell jedes Kriterium hinzufügen. Kriterien benötigen ein Label und eine Kriterienbeschreibung.

Der Button Generate Criteria erstellt automatisch mehrere Criteria, die zu Ihrem bestehenden Prompt Template passen:

Versionierung¶

Durch das Bearbeiten und Speichern eines Prompt Templates erstellen Sie eine neue Version, die Ihnen hilft, die Entwicklung und Änderungen in Ihren Evaluations zu verfolgen.

Fortgeschrittene Features¶

Structured Outputs¶

Mit Structured Outputs können Sie den Prompt bitten, eine Antwort in einem JSON-Format zu generieren. Es ist möglich, das gewünschte Format direkt zu definieren oder das System es für Sie generieren zu lassen:

Strukturierte Ausgaben sind besonders wichtig für die Evaluation von agentischen Anwendungen.

Tool Calling¶

Sie können auf Tools zugreifen, um die Ausgabe Ihrer agentischen Anwendungen zu testen. Siehe unsere Beispiele im SDK Guide für weitere Details.

Die Tools können im Tool Calling-Bereich definiert werden. Sie können Ihre eigenen Tools definieren oder eines der bereitgestellten Beispiele verwenden.

Tool Choice kann auch definiert werden.

SDK-Ansatz¶

Basic Template Creation¶

from elluminate import Client

client = Client()

# Eine einfache Vorlage erstellen
template = client.prompt_templates.create(
    name="Kundenservice Response",
    messages=[
        {
            "role": "system",
            "content": "Du bist ein {{company_type}} Kundenservice-Vertreter."
        },
        {
            "role": "user", 
            "content": "Kundenanfrage: {{customer_message}}"
        }
    ]
)

Messages Format¶

Prompt Templates verwenden eine Messages Array-Struktur, die verschiedene Message Roles unterstützt:

[
  {
    "role": "system",
    "content": "Du bist ein hilfreicher Assistent, spezialisiert auf {{domain}}."
  },
  {
    "role": "user", 
    "content": "Bitte hilf mir bei: {{user_request}}"
  }
]

Unterstützte Rollen:¶

system: Legt Verhalten und Kontext für die KI fest
user: Repräsentiert User Input und Requests
assistant: Repräsentiert KI-Antworten (für Multi-turn Conversations)

Best Practices¶

Verwenden Sie beim Entwerfen von Prompt Templates klare und aussagekräftige Placeholder-Namen, die die Absicht des Templates offensichtlich machen (zum Beispiel {{customer_inquiry}} statt {{input}}). Konsistente Benennung und Formatierung hilft, die Klarheit zu bewahren, besonders wenn Templates weiterentwickelt oder wiederverwendet werden.

Strukturieren Sie Ihre Prompts mit Bedacht: beginnen Sie mit System Messages, um den Kontext festzulegen, und schreiben Sie User Messages, die spezifisch und umsetzbar sind. Streben Sie bei der Planung von Variablen realistische und vielfältige Werte an, die die Bandbreite der Szenarien widerspiegeln, die Sie testen möchten. Berücksichtigen Sie sowohl typische als auch Edge Cases, um sicherzustellen, dass Ihr Template robust und effektiv ist.

Troubleshooting¶

Häufige Probleme¶

Fehlende Variablen: Stellen Sie sicher, dass Collections alle Template-Platzhalter enthalten

Versionskonflikte: Verwenden Sie konsistente Template-Versionen über verwandte Experimente hinweg

Platzhalter-Syntax: Überprüfen Sie das korrekte {{variable_name}}-Format

Validierung¶

Template-Testing: Generieren Sie Beispiel-Prompts, bevor Sie vollständige Experimente ausführen

Variablen-Abdeckung: Überprüfen Sie, dass alle Platzhalter entsprechende Collection-Werte haben

Inhaltsüberprüfung: Prüfen Sie, dass generierte Prompts den beabsichtigten Testszenarien entsprechen