Zum Inhalt

Kriteriensets

Kriteriensets sind Sammlungen von Evaluierungskriterien, die auf mehrere Prompt-Templates angewendet werden können. Sie bieten eine Möglichkeit, Kriterien über Ihre Evaluierungs-Workflows hinweg zu organisieren und wiederzuverwenden, was die Aufrechterhaltung einheitlicher Bewertungsstandards erleichtert.

Hauptvorteile

  • Wiederverwendbare Evaluierungsstandards: Erstellen Sie ein Set von Kriterien einmal und wenden Sie es auf mehrere Templates an
  • Konsistente Bewertung: Stellen Sie sicher, dass alle Prompt-Templates nach den gleichen Qualitätsstandards bewertet werden
  • Modulare Organisation: Gruppieren Sie verwandte Kriterien in logische Sets für besseres Management
  • Effizienter Workflow: Reduzieren Sie Duplikationen und optimieren Sie Ihren Evaluierungsprozess

Arbeiten mit Kriteriensets

Kriteriensets ermöglichen es Ihnen, verwandte Kriterien in logische Gruppen zu organisieren. Sie könnten beispielsweise Sets wie "Inhaltsqualität", "Technische Genauigkeit" oder "Markenstimme-Standards" erstellen, die spezifische Evaluierungskriterien für jede Kategorie enthalten. Sie können auf mehrere Prompt-Templates angewendet werden, was eine konsistente Bewertung in verschiedenen Kontexten ermöglicht.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
from dotenv import load_dotenv
from elluminate import Client

load_dotenv(override=True)

client = Client()

prompt_template, _ = client.prompt_templates.get_or_create(
    name="Product Review Template",
    user_prompt_template="Please review this product: {{product_name}}. {{product_description}}",
)

generated_criteria = client.criteria.generate_many(
    prompt_template=prompt_template,
    delete_existing=True,
)  # (1)!


criterion_set, _ = client.criterion_sets.get_or_create(
    name="Shipping-related Criteria",
    prompt_template=prompt_template,
)  # (2)!

client.criteria.add_many(
    [
        "Does the review mention that the shipping was less than $10?",
        "Are shipping timelines mentioned in the review?",
    ],
    criterion_set=criterion_set,
)

another_template, _ = client.prompt_templates.get_or_create(
    name="Customer Service Template",
    user_prompt_template="Please respond to this customer inquiry: {{inquiry}}",
)  # (3)!

client.criterion_sets.add_prompt_template(
    criterion_set=criterion_set,
    prompt_template=another_template,
)  # (4)!
  1. Generieren Sie Kriterien für das Prompt-Template mit delete_existing=True, um vorhandene Kriterien zu ersetzen
  2. Erstellen Sie ein Kriterienset und verknüpfen Sie es mit dem Prompt-Template
  3. Erstellen Sie ein weiteres Prompt-Template mit unterschiedlichen Template-Variablen
  4. Verknüpfen Sie Ihr bestehendes Kriterienset mit dem neuen Template, sodass dieselben Kriterien für beide Templates verwendet werden können

Wann Kriteriensets verwendet werden sollten

Kriteriensets sind besonders wertvoll, wenn:

  • Standardisierung der Evaluierung: Sie sicherstellen möchten, dass die Bewertung über mehrere Prompt-Templates hinweg einheitlich ist
  • Organisation von Kriterien: Sie verwandte Kriterien in logische Kategorien gruppieren müssen
  • Skalierung der Evaluierung: Sie mit vielen Templates arbeiten, die ähnliche Bewertungsbedürfnisse haben
  • Kollaborative Workflows: Mehrere Teammitglieder dieselben Kriterien auf verschiedene Templates anwenden müssen