Zum Inhalt

LLM-Konfigurationen

Elluminate ermöglicht es Ihnen, das Verhalten von Sprachmodellen durch LLM-Konfigurationen anzupassen. Dies ist besonders nützlich, wenn Sie Folgendes benötigen:

  • Verschiedene Konfigurationen: Steuerung von Konfigurationsparametern wie temperature, top_p, max_tokens, etc.
  • Mehrere Modellvarianten: Testen verschiedener Modelle oder Modellversionen
  • Benutzerdefinierte API-Endpunkte: Verwendung verschiedener API-Endpunkte oder Anbieter

Das folgende Beispiel zeigt, wie verschiedene LLM-Konfigurationen verwendet werden:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
import os

from dotenv import load_dotenv
from elluminate import Client

load_dotenv(override=True)

# Initialize the client
client = Client()

# Create a low temperature LLM config for more deterministic responses
low_temp_config, _ = client.llm_configs.get_or_create(
    name="Low Temperature GPT-4o mini",
    llm_model_name="gpt-4o-mini",
    temperature=0.1,
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),
    llm_base_url=os.getenv("AZURE_OPENAI_ENDPOINT"),
    api_version=os.getenv("OPENAI_API_VERSION"),
)  # (1)!

# Create a prompt template
prompt_template, _ = client.prompt_templates.get_or_create(
    "Create a {{length}} story about a programmer solving the {{problem}} problem.",
    name="Programming Stories",
)

# Generate evaluation criteria
client.criteria.generate_many(prompt_template, delete_existing=True)

template_variables = client.template_variables.add_to_collection(
    template_variables={"length": "short", "problem": "fizzbuzz"},
    collection=prompt_template.default_template_variables_collection,
)

# Generate response using default configuration
response = client.responses.generate(
    prompt_template,
    template_variables=template_variables,
)

# Generate response using the low temperature configuration
low_temp_response = client.responses.generate(
    prompt_template,
    template_variables=template_variables,
    llm_config=low_temp_config,
)  # (2)!

# Rate responses
print("\nRating default response:")
ratings = client.ratings.rate(response)
print("Response: ", response.response, "\n")
for rating in ratings:
    print(f"Criterion: {rating.criterion.criterion_str}")
    print(f"Rating: {rating.rating}")

print("\nRating low temperature response:")
ratings = client.ratings.rate(low_temp_response)
print("Response: ", low_temp_response.response, "\n")
for rating in ratings:
    print(f"Criterion: {rating.criterion.criterion_str}")
    print(f"Rating: {rating.rating}")

1. Das Erstellen einer LLM-Konfiguration mit spezifischen Parametern ermöglicht es Ihnen, das Verhalten des Modells anzupassen. Sie können beliebige Zugangsdaten für LLM-Anbieter wie Azure OpenAI, OpenAI, Anthropic, etc. übergeben.

2. Bei der Generierung von Antworten können Sie die LLM-Konfiguration als optionalen Parameter übergeben, um diese benutzerdefinierten Einstellungen anstelle der Standardkonfiguration zu verwenden.

Die wichtigsten Konfigurationsparameter sind:

  • name: Ein eindeutiger Bezeichner für Ihre Konfiguration
  • llm_model_name: Das spezifische zu verwendende Modell (z.B. "gpt-4", "gpt-3.5-turbo")
  • api_key: Authentifizierungsschlüssel für den LLM-Anbieter
  • llm_base_url: API-Endpunkt-URL
  • api_version: Zu verwendende API-Version

Verwendung im Frontend

Im LLM-Konfigurationen-Bereich können Sie Ihre LLM-Konfigurationen anzeigen, durchsuchen und verwalten.

LLM-Konfigurationen

Sie können auch eine neue LLM-Konfiguration erstellen, indem Sie auf die Schaltfläche New Configuration klicken. Hier können Sie den LLM-Anbieter auswählen und die erforderlichen Zugangsdaten eingeben.

LLM-Konfigurationen

Die Einstellungen können sowohl während der Erstellung als auch nachträglich für die Konfigurationen angepasst werden.

LLM-Konfigurationen