Zum Inhalt

Schnellstart (SDK)

Beginnen Sie in wenigen Minuten mit der Bewertung von Prompts mit dem Python SDK

Für ein tieferes Verständnis der Plattform schauen Sie in unsere Grundkonzepte und Erweiterte Leitfäden.

Async-Unterstützung

Das SDK bietet sowohl synchrone (Client) als auch asynchrone (AsyncClient) Clients mit identischen APIs. Dieser Schnellstart verwendet den synchronen Client. Für asynchrone Operationen, gleichzeitige Ausführung und Echtzeit-Streaming siehe den Async Operations Guide.

Anforderungen

Das elluminate SDK benötigt:

  • Python: 3.10 oder höher

Überprüfen Sie Ihre Python-Version: 

python --version

Voraussetzungen

Installieren Sie zunächst das elluminate-Paket und ein zusätzliches Paket, das für den Quickstart-Code erforderlich ist:

pip install elluminate python-dotenv

Als nächstes müssen Sie Ihren API-Schlüssel einrichten. Besuchen Sie die "API Keys"-Seite Ihres Projekts, um einen neuen API-Schlüssel zu erstellen. Detaillierte Informationen zur API-Schlüssel-Verwaltung und zu Sicherheits-Best-Practices finden Sie in unserem API Key Management Handbuch.

Sobald Sie Ihren API-Schlüssel haben, exportieren Sie ihn und die Service-Adresse als Umgebungsvariablen:

export ELLUMINATE_API_KEY=<your_api_key>
export ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Denken Sie daran, Ihren API-Schlüssel sicher zu speichern und niemals in die Versionskontrolle zu übertragen. Sie sind jetzt bereit, mit der Evaluierung von Prompts mit elluminate zu beginnen!

Jupyter Notebook

Wenn Sie ein Jupyter Notebook verwenden, installieren Sie die erforderlichen Pakete und definieren Sie die Umgebungsvariablen wie folgt:

!pip install elluminate nest-asyncio python-dotenv

%env ELLUMINATE_API_KEY=<your_api_key>
%env ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Bevor Sie den Quickstart-Code ausführen, führen Sie diese Zeilen für die Jupyter Notebook-Kompatibilität aus:

import nest_asyncio
nest_asyncio.apply()

Ihren ersten Prompt bewerten

Implementieren Sie Ihre erste Evaluation mit dem folgenden Python-Code:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
"""v1.0 API version of example_sdk_usage.py

Demonstrates the basic SDK workflow:
1. Create a prompt template
2. Generate evaluation criteria
3. Create a test collection with variables
4. Run an experiment
5. Review results
"""

from dotenv import load_dotenv
from elluminate import Client

load_dotenv(override=True)

client = Client()

# Create a prompt template with a placeholder
template = client.create_prompt_template(
    name="Scheme Concepts",
    messages="Explain how {{concept}} works in Scheme, providing a short but illustrative code example.",
)

# Generate evaluation criteria for this template
template.generate_criteria()

# Create a collection and add test cases
collection = client.create_collection(name="Scheme Concepts")
collection.add_many(variables=[{"concept": "recursion"}])

# Run the experiment - creates responses and rates them in one call
experiment = client.run_experiment(
    name="Scheme Concepts Analysis",
    prompt_template=template,
    collection=collection,
    description="Evaluating explanations of Scheme programming concepts",
)

# Review the results
for response in experiment.responses():
    for rating in response.ratings:
        print(f"Criteria: {rating.criterion.criterion_str}")
        print(f"Rating: {rating.rating}\n")

  1. Initialisiert den elluminate-Client mit Ihren konfigurierten Umgebungsvariablen aus der Setup-Phase.

  2. Erstellt ein Prompt-Template mit Mustache-Syntax, die Template-Variablen einbindet (wie concept in diesem Beispiel). Wenn die Vorlage bereits existiert, wird sie einfach zurückgegeben.

  3. Generiert Bewertungskriterien automatisch für Ihr Prompt-Template oder holt die bestehenden Kriterien.

  4. Erstellt eine Template-Variables-Collection. Diese wird verwendet, um die Template-Variablen für ein Prompt-Template zu sammeln.

  5. Fügt eine Template-Variable zur Collection hinzu. Diese wird verwendet, um die Template-Variable zu füllen (recursion zur Spalte concept hinzuzufügen).

  6. Erstellt eine Response, indem Ihre Prompt-Template verwendet und die Template-Variable ausgefüllt wird.

  7. Bewertet die Response anhand der generierten Kriterien und gibt detaillierte Bewertungen für jedes Kriterium zurück.

Die Bewertungen anzeigen

Greifen Sie auf Ihre Bewertungen über die Weboberfläche zu, indem Sie sich anmelden. Bei der Ansicht Ihres Bewertungs-Dashboards finden Sie eine umfassende Übersicht mit wichtigen Statistiken wie:

  • Gesammtperformance (Overall Score)
  • Tokenanzahl für Prompt-Templates und Antworten
  • Anzahl der verwendeten Bewertungskriterien

Jeder Bewertungseintrag kann erweitert werden, um detaillierte Informationen zu zeigen, einschließlich spezifischer Bewertungskriterien und ob jedes Kriterium erfolgreich erfüllt wurde. Diese detaillierte Ansicht hilft Ihnen zu verstehen, wie Ihre Antworten bewertet wurden.

Ratings Overview

Nächste Schritte