Zum Inhalt

Schnellstart (SDK)

Beginnen Sie in wenigen Minuten mit der Bewertung von Prompts mit dem Python SDK

Für ein tieferes Verständnis der Plattform schauen Sie in unsere Grundkonzepte und Erweiterte Leitfäden.

Voraussetzungen

Installieren Sie zunächst das elluminate-Paket und ein zusätzliches Paket, das für den Quickstart-Code erforderlich ist:

pip install elluminate python-dotenv

Als nächstes müssen Sie Ihren API-Schlüssel einrichten. Besuchen Sie die "API Keys"-Seite Ihres Projekts, um einen neuen API-Schlüssel zu erstellen. Detaillierte Informationen zur API-Schlüssel-Verwaltung und zu Sicherheits-Best-Practices finden Sie in unserem API Key Management Handbuch.

Sobald Sie Ihren API-Schlüssel haben, exportieren Sie ihn und die Service-Adresse als Umgebungsvariablen:

export ELLUMINATE_API_KEY=<your_api_key>
export ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Denken Sie daran, Ihren API-Schlüssel sicher zu speichern und niemals in die Versionskontrolle zu übertragen. Sie sind jetzt bereit, mit der Evaluierung von Prompts mit elluminate zu beginnen!

Jupyter Notebook

Wenn Sie ein Jupyter Notebook verwenden, installieren Sie die erforderlichen Pakete und definieren Sie die Umgebungsvariablen wie folgt:

!pip install elluminate nest-asyncio python-dotenv

%env ELLUMINATE_API_KEY=<your_api_key>
%env ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Bevor Sie den Quickstart-Code ausführen, führen Sie diese Zeilen für die Jupyter Notebook-Kompatibilität aus:

import nest_asyncio
nest_asyncio.apply()

Ihren ersten Prompt bewerten

Implementieren Sie Ihre erste Evaluation mit dem folgenden Python-Code:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
from dotenv import load_dotenv
from elluminate import Client
from elluminate.schemas import RatingMode

load_dotenv(override=True)

client = Client()  # (1)!

prompt_template, _ = client.prompt_templates.get_or_create(
    "Explain how {{concept}} works in Scheme, providing a short but illustrative code example.",
    name="Scheme Concepts",
)  # (2)!

client.criteria.get_or_generate_many(prompt_template)  # (3)!


collection, _ = client.collections.get_or_create(
    name="Scheme Concepts",
)  # (4)!

template_variables = client.template_variables.add_to_collection(
    template_variables={"concept": "recursion"},
    collection=collection,
)  # (5)!

# Create an experiment for tracking responses and ratings
experiment, _ = client.experiments.get_or_create(
    "Scheme Concepts Analysis",
    prompt_template=prompt_template,
    collection=collection,
    description="Evaluating explanations of Scheme programming concepts",
)

response = client.responses.generate(
    prompt_template,
    template_variables=template_variables,
    experiment=experiment,
)  # (6)!

# Generate ratings for a given `response`
ratings = client.ratings.rate(response, rating_mode=RatingMode.FAST)  # (7)!
for rating in ratings:
    print(f"Criteria: {rating.criterion.criterion_str}")
    print(f"Rating: {rating.rating}\n")

  1. Initialisiert den elluminate-Client mit Ihren konfigurierten Umgebungsvariablen aus der Setup-Phase.

  2. Erstellt ein Prompt-Template mit Mustache-Syntax, die Template-Variablen einbindet (wie concept in diesem Beispiel). Wenn die Vorlage bereits existiert, wird sie einfach zurückgegeben.

  3. Generiert Bewertungskriterien automatisch für Ihr Prompt-Template oder holt die bestehenden Kriterien.

  4. Erstellt eine Template-Variables-Collection. Diese wird verwendet, um die Template-Variablen für ein Prompt-Template zu sammeln.

  5. Fügt eine Template-Variable zur Collection hinzu. Diese wird verwendet, um die Template-Variable zu füllen (recursion zur Spalte concept hinzuzufügen).

  6. Erstellt eine Response, indem Ihre Prompt-Template verwendet und die Template-Variable ausgefüllt wird.

  7. Bewertet die Response anhand der generierten Kriterien und gibt detaillierte Bewertungen für jedes Kriterium zurück.

Die Bewertungen anzeigen

Greifen Sie auf Ihre Bewertungen über die Weboberfläche zu, indem Sie sich anmelden. Bei der Ansicht Ihres Bewertungs-Dashboards finden Sie eine umfassende Übersicht mit wichtigen Statistiken wie:

  • Gesammtperformance (Overall Score)
  • Tokenanzahl für Prompt-Templates und Antworten
  • Anzahl der verwendeten Bewertungskriterien

Jeder Bewertungseintrag kann erweitert werden, um detaillierte Informationen zu zeigen, einschließlich spezifischer Bewertungskriterien und ob jedes Kriterium erfolgreich erfüllt wurde. Diese detaillierte Ansicht hilft Ihnen zu verstehen, wie Ihre Antworten bewertet wurden.

Ratings Overview

Nächste Schritte