Zum Inhalt

Schnellstart (SDK)

Beginnen Sie in wenigen Minuten mit der Evaluierung von Prompts mit Elluminate. Für ein tieferes Verständnis der Plattform besuchen Sie unsere Key Concepts und Guides.

Voraussetzungen

Installieren Sie zunächst das Elluminate-Paket und ein zusätzliches Paket, das für den Schnellstart-Code erforderlich ist:

pip install elluminate python-dotenv

Als nächstes müssen Sie Ihren API-Schlüssel einrichten. Besuchen Sie die "API Keys"-Seite Ihres Projekts, um einen neuen API-Schlüssel zu erstellen. Für detaillierte Informationen über die Verwaltung von API-Schlüsseln und Sicherheits-Best-Practices siehe unseren API Key Management Guide.

Sobald Sie Ihren API-Schlüssel haben, exportieren Sie ihn und die Service-Adresse als Umgebungsvariablen:

export ELLUMINATE_API_KEY=<your_api_key>
export ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Denken Sie daran, Ihren API-Schlüssel sicher zu speichern und niemals in die Versionskontrolle zu committen. Sie sind nun bereit, mit der Evaluierung von Prompts mit Elluminate zu beginnen!

Jupyter Notebook

Wenn Sie ein Jupyter Notebook verwenden, installieren Sie die erforderlichen Pakete und definieren Sie die Umgebungsvariablen wie folgt:

!pip install elluminate nest-asyncio python-dotenv

%env ELLUMINATE_API_KEY=<your_api_key>
%env ELLUMINATE_BASE_URL=<your_elluminate_service_address>

Bevor Sie den Schnellstart-Code ausführen, führen Sie diese Zeilen für die Jupyter Notebook-Kompatibilität aus:

import nest_asyncio
nest_asyncio.apply()

Evaluierung Ihres ersten Prompts

Implementieren Sie Ihre erste Evaluierung mit dem folgenden Python-Code:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
from dotenv import load_dotenv
from elluminate import Client
from elluminate.schemas import RatingMode

load_dotenv(override=True)

client = Client()  # (1)!

prompt_template, _ = client.prompt_templates.get_or_create(
    "Explain how {{concept}} works in Scheme, providing a short but illustrative code example.",
    name="Scheme Concepts",
)  # (2)!

client.criteria.get_or_generate_many(prompt_template)  # (3)!


collection, _ = client.collections.get_or_create(
    name="Scheme Concepts",
)  # (4)!

template_variables = client.template_variables.add_to_collection(
    template_variables={"concept": "recursion"},
    collection=collection,
)  # (5)!

# Create an experiment for tracking responses and ratings
experiment, _ = client.experiments.get_or_create(
    "Scheme Concepts Analysis",
    prompt_template=prompt_template,
    collection=collection,
    description="Evaluating explanations of Scheme programming concepts",
)

response = client.responses.generate(
    prompt_template,
    template_variables=template_variables,
    experiment=experiment,
)  # (6)!

# Generate ratings for a given `response`
ratings = client.ratings.rate(response, rating_mode=RatingMode.FAST)  # (7)!
for rating in ratings:
    print(f"Criteria: {rating.criterion.criterion_str}")
    print(f"Rating: {rating.rating}\n")

  1. Initialisiert den Elluminate-Client mit Ihren konfigurierten Umgebungsvariablen aus der Setup-Phase.

  2. Erstellt ein Prompt-Template mit Mustache-Syntax, das Template-Variablen einbezieht (wie concept in diesem Beispiel). Falls das Template bereits existiert, wird es einfach zurückgegeben.

  3. Generiert automatisch Evaluierungskriterien für Ihr Prompt-Template oder holt die bestehenden Kriterien ab.

  4. Erstellt eine Template-Variablen-Collection. Diese wird verwendet, um die Template-Variablen für ein Prompt-Template zu sammeln.

  5. Fügt eine Template-Variable zur Collection hinzu. Diese wird verwendet, um die Template-Variable auszufüllen (ersetzt concept durch recursion).

  6. Erstellt eine Antwort, indem Ihr Prompt-Template verwendet und die Template-Variable ausgefüllt wird.

  7. Evaluiert die Antwort anhand der generierten Kriterien und gibt detaillierte Bewertungen für jedes Kriterium zurück.

Bewertungen anzeigen

Greifen Sie auf Ihre Bewertungen über die Web-Oberfläche zu, indem Sie sich anmelden. Beim Betrachten Ihres Bewertungs-Dashboards finden Sie eine umfassende Übersicht, die wichtige Statistiken enthält wie:

  • Gesamtpunktzahl
  • Wortzahl für sowohl Prompt-Templates als auch Antworten
  • Anzahl der verwendeten Evaluierungskriterien

Jeder Bewertungseintrag kann erweitert werden, um detaillierte Informationen zu zeigen, einschließlich spezifischer Evaluierungskriterien und ob jedes Kriterium erfolgreich erfüllt wurde. Diese detaillierte Ansicht hilft Ihnen zu verstehen, wie genau Ihre Antworten bewertet wurden.

Bewertungsübersicht

Nächste Schritte