Schnellstart

Beginnen Sie in wenigen Minuten mit der Evaluierung von Prompts mit Elluminate. Für ein tieferes Verständnis der Plattform besuchen Sie unsere Grundkonzepte und Anleitungen.

Voraussetzungen

Installieren Sie zunächst das Elluminate-Paket:

pip install elluminate

Exportieren Sie anschließend die Umgebungsvariablen für Ihren API-Schlüssel und die Adresse des Elluminate-Services:

export ELLUMINATE_API_KEY=<your_api_key>
export ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Jetzt sind Sie bereit, mit der Evaluierung von Prompts in Elluminate zu beginnen!

Ihren ersten Prompt evaluieren

Erstellen Sie eine neue Python-Datei und implementieren Sie Ihre erste Evaluierung mit folgendem Code:

from dotenv import load_dotenv
from elluminate import Client

load_dotenv(override=True)

client = Client()  # (1)!

prompt_template, _ = client.prompt_templates.get_or_create(
    "Explain how {{concept}} works in Scheme, providing a short but illustrative code example.",
    name="Scheme Concepts",
)  # (2)!

client.criteria.get_or_generate_many(prompt_template)  # (3)!


collection, _ = client.collections.get_or_create(
    name="Scheme Concepts",
)  # (4)!

template_variables = client.template_variables.add_to_collection(
    template_variables={"concept": "recursion"},
    collection=collection,
)  # (5)!

response = client.responses.generate(
    prompt_template,
    template_variables=template_variables,
)  # (6)!

# Generate ratings for a given `response`
ratings = client.ratings.rate(response)  # (7)!
for rating in ratings:
    print(f"Criteria: {rating.criterion.criterion_str}")
    print(f"Rating: {rating.rating}\n")

1. Initialisiert den Elluminate-Client mit Ihren konfigurierten Umgebungsvariablen aus der Einrichtungsphase.

2. Erstellt ein Prompt-Template unter Verwendung der Mustache-Syntax und Template-Variablen (wie concept in diesem Beispiel). Wenn das Template bereits existiert, wird es einfach zurückgegeben.

3. Generiert automatisch Evaluierungskriterien für Ihr Prompt-Template or holt die bereits existierenden Kriterien.

4. Erstellt eine Template-Variablen-Collection. Dies wird verwendet, um die Template-Variablen für ein Prompt-Template zu sammeln.

5. Fügt eine Template-Variable zur Collection hinzu. Dies wird verwendet, um die Template-Variable (ersetzt concept durch recursion).

6. Erstellt eine Antwort durch Verwendung Ihres Prompt-Templates und Ausfüllen der Template-Variable.

7. Evaluiert die Antwort anhand der generierten Kriterien und gibt detaillierte Bewertungen für jedes Kriterium zurück.

Führen Sie das Skript aus, und Sie haben Ihre erste Prompt-Evaluierung mit Elluminate abgeschlossen.

Bewertungen ansehen

Greifen Sie auf Ihre Bewertungen über die Weboberfläche zu, indem Sie sich einloggen. Auf Ihrem Bewertungs-Dashboard finden Sie eine umfassende Übersicht mit wichtigen Statistiken wie:

• Gesamtpunktzahl
• Wortanzahl für sowohl Prompt-Templates als auch Responses
• Anzahl der verwendeten Evaluierungskriterien

Jeder Bewertungseintrag kann erweitert werden, um detaillierte Informationen anzuzeigen, einschließlich spezifischer Evaluierungskriterien und ob jedes Kriterium erfolgreich erfüllt wurde. Diese detaillierte Ansicht hilft Ihnen zu verstehen, wie genau Ihre Antworten bewertet wurden.

Nächste Schritte

• Erkunden Sie die Grundkonzepte von Elluminate.