Middleware

Während direkte API-Aufrufe gut funktionieren, bietet Middleware eine automatisierte Möglichkeit, LLM-Interaktionen zu verfolgen und zu bewerten. Die OpenAI-Middleware von Elluminate bietet:

• Automatische Antworterfassung: Alle Interaktionen mit dem LLM werden automatisch ohne zusätzlichen Code aufgezeichnet, was eine umfassende Dokumentation der Modellausgaben gewährleistet
• Nahtlose Integration: Funktioniert mit Ihrem bestehenden OpenAI-Client-Code - minimale Änderungen erforderlich, um mit der Datenerfassung zu beginnen
• Automatisierte Ratings: Generiert und wendet automatisch Bewertungskriterien auf Antworten an und bietet kontinuierliches Rating der Qualität
• Entwicklungseinblicke: Hilft bei der Identifizierung von Mustern im Modellverhalten und der Antwortqualität über verschiedene Prompts und Anwendungsfälle hinweg
• Vereinfachter Arbeitsablauf: Reduziert den erforderlichen Boilerplate-Code für Protokollierung und Rating durch automatische Handhabung dieser Aufgaben

import os

from dotenv import load_dotenv
from elluminate.middleware_sdk import ElluminateOpenAIMiddleware
from openai import AzureOpenAI

load_dotenv(override=True)

# Initialize the ElluminateOpenAIMiddleware
ElluminateOpenAIMiddleware.initialize()  # (1)!

# Initialize the OpenAI client
client = AzureOpenAI(
    azure_endpoint=os.environ.get("AZURE_OPENAI_ENDPOINT"),
    api_version=os.environ.get("OPENAI_API_VERSION"),
    api_key=os.environ.get("AZURE_OPENAI_API_KEY"),
)

# List of animals
animals = ["elephant", "penguin"]
# animals = ["elephant", "penguin", "octopus", "giraffe", "platypus"]

for animal in animals:
    # Create the prompt
    prompt = f"Tell me a fun and surprising fact about a {animal} in one paragraph."

    # Make the API call
    response = client.chat.completions.create(  # elluminate: animal-world
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": "You are a knowledgeable zoologist."},
            {"role": "user", "content": prompt},
        ],
    )

    # Print the result
    print(f"Fun fact about a {animal}:")
    print(response.choices[0].message.content)

1. Das war's. Jetzt können Sie den OpenAI-Client wie gewohnt verwenden, Elluminate wird automatisch die Antworten aufzeichnen, Kriterien generieren und Ratings dafür erstellen.