Versionierung¶

Erfahren Sie, wie Sie mehrere Versionen Ihrer Prompt-Templates verwalten und verstehen, wie Versionierung reproduzierbare Experimente gewährleistet

elluminates Versionierungssystem ermöglicht eine sichere, nachvollziehbare Entwicklung Ihrer AI-Evaluationskomponenten. Wenn Sie Prompt-Templates, Template-Variable-Collections oder Evaluationskriterien ändern, erstellt elluminate automatisch neue Versionen und bewahrt die ursprünglichen Versionen auf. Dies gewährleistet reproduzierbare Experimente und ermöglicht das kontrollierte Testen von Verbesserungen.

Was wird versioniert?¶

elluminate versioniert Komponenten, die Benutzer erstellen und ändern:

Prompt-Templates - Jede Bearbeitung erstellt eine neue Version (v1, v2, v3...) mit unveränderlichem Inhalt, die Sie auswählen und vergleichen können
Evaluationskriterien - Kriterien werden versioniert, wenn Sie sie ändern, wodurch vorherige Versionen für Experimentkonsistenz erhalten bleiben

Hinweis: Das System verfolgt auch Collection-Änderungen und Rating-Modell-Versionen für Experimentreproduktionsbarkeit, aber diese werden automatisch verwaltet und erfordern keine Benutzerverwaltung.

Verwaltung von Prompt-Template-Versionen¶

Neue Versionen erstellen¶

Wenn Sie ein bestehendes Prompt-Template bearbeiten, fordert elluminate Sie auf, eine neue Version zu erstellen:

Zu Templates navigieren - Gehen Sie zur Templates-Seite Ihres Projekts
Template auswählen - Klicken Sie auf das Template, das Sie ändern möchten
Inhalt bearbeiten - Nehmen Sie Änderungen an Nachrichten, Platzhaltern oder Antwortformat vor
Versionsbestätigung - elluminate zeigt einen Dialog, der fragt, ob Sie eine neue Version erstellen möchten
Version erstellen - Bestätigen Sie, um Ihre Änderungen als nächste Version zu speichern (z.B. v1 → v2)

Der Versionsdialog erklärt, dass Änderungen neue Versionen erstellen und alte bewahren, wodurch Ihre historischen Experimente intakt bleiben.

Versionshistorie anzeigen¶

Jedes Prompt-Template zeigt seine Versionsnummer prominent an:

Template-Karten - Zeigen aktuellen Versionsbadge (z.B. "v3")
Template-Details - Zeigen Versionsnummer in der Kopfzeile
Erstellungsdatum - Jede Version hat ihren eigenen Zeitstempel zur Verfolgung von Änderungen

Template-Liste zeigt mehrere Versionen des Support Bot Templates (v1, v2, v3, v4)

Versionsauswahl in Komponenten¶

Bei der Konfiguration von Experimenten oder anderen Komponenten können Sie spezifische Template-Versionen auswählen:

Experimenterstellung - Wählen Sie, welche Version für neue Experimente verwendet werden soll
Geplante Experimente - Option, immer die neueste Version zu verwenden oder an eine spezifische Version zu binden
Vergleiche - Vergleichen Sie Ergebnisse zwischen verschiedenen Template-Versionen

Verwaltung von Evaluationskriterien-Versionen¶

Automatische Kriterien-Versionierung¶

Wenn Sie Evaluationskriterien ändern, erstellt elluminate automatisch neue Versionen:

Bewahrung - Vorherige Versionen von Kriterien bleiben für bestehende Experimente verfügbar
Konsistenz - Vergangene Experimentergebnisse verwenden immer die ursprünglichen Kriterienversionen, mit denen sie erstellt wurden
Evolutionsverfolgung - System behält vollständige Historie von Kriterienänderungen für Prüfzwecke bei

Während Kriterienversionen nicht mit Badges wie Templates angezeigt werden, gelten dieselben Versionierungsprinzipien zur Gewährleistung der Experimentreproduktionsbarkeit.

Versionsverfolgung in Experimenten¶

Experimente erfassen vollständige Versionsschnappschüsse für vollständige Reproduzierbarkeit:

Bei Experimenterstellung:

Prompt-Template-Version - Zeichnet genaue verwendete Version auf (z.B. "Template v2")
Kriterienversionen - Verknüpft zu spezifischen Versionen der verwendeten Evaluationskriterien
Systemstatus - Erfasst Collection-Status und verwendete Rating-Modell-Version

Versionskonsistenz:

Unveränderliche Referenzen - Experimente referenzieren immer dieselben Versionen, mit denen sie erstellt wurden
Historische Genauigkeit - Vergangene Experimentergebnisse ändern sich nie, wenn Sie neue Versionen erstellen
Reproduktionsfähigkeit - Sie können immer die exakten Bedingungen jedes Experiments nachstellen

Best Practices¶

Versionsverwaltungsstrategie¶

Aussagekräftiger Namen - Verwenden Sie klare Template-Namen, die ihren Zweck anzeigen
Inkrementelle Änderungen - Machen Sie kleine, gezielte Verbesserungen zwischen Versionen
Testen vor Produktion - Validieren Sie neue Versionen zuerst mit kleineren Experimenten
Dokumentation - Führen Sie Notizen darüber, was zwischen Versionen geändert wurde

Experimenteller Workflow¶

Baseline-Etablierung - Beginnen Sie mit einer gut getesteten Template-Version als Baseline
Kontrolliertes Testen - Testen Sie neue Versionen gegen dieselbe Collection und Kriterien
Leistungsvergleich - Vergleichen Sie Metriken zwischen Versionen, um Verbesserungen zu identifizieren
Rollback-Planung - Halten Sie erfolgreiche Versionen für Rollback bereit, falls nötig

Template-Entwicklung¶

Inkrementelle Änderungen - Machen Sie kleine, gezielte Verbesserungen zwischen Versionen
Neue Versionen testen - Validieren Sie Verbesserungen zuerst mit kleineren Experimenten
Versionsdokumentation - Führen Sie Notizen darüber, was zwischen Versionen geändert wurde
Kompatibilitätsplanung - Stellen Sie sicher, dass neue Templates mit bestehenden Collections funktionieren

Versionsproblembehandlung¶

Häufige Versionierungsprobleme¶

Fehlende Versionen - Template-Versionen werden auch dann bewahrt, wenn sie nicht aktiv verwendet werden
Experimentkonsistenz - Vergangene Experimente verwenden immer ihre ursprünglichen Template-Versionen
Kompatibilitätsprobleme - Neue Template-Versionen müssen mit bestehenden Collections funktionieren
Leistungsänderungen - Verschiedene Systemversionen können unterschiedliche Ergebnisse produzieren

Versionswiederherstellung¶

Historischer Zugriff - Alle Versionen bleiben über die Benutzeroberfläche zugänglich
Experimensneu-erstellung - Sie können neue Experimente mit jeder historischen Version erstellen
Datenexport - Versionsinformationen sind in allen Datenexporten enthalten
Prüfpfad - Versionshistorie bietet vollständige Änderungsverfolgung

SDK-Integration¶

Für programmtisches Versionsmanagement verwenden Sie das elluminate SDK:

from elluminate import Client

client = Client()  # Verwendet ELLUMINATE_API_KEY Umgebungsvariable

# Neue Template-Version erstellen
template, created = client.prompt_templates.get_or_create(
    name="Kundenbetreuungsassistent",
    messages=[
        {"role": "system", "content": "Sie sind ein hilfreicher Kundenbetreuungsagent..."},
        {"role": "user", "content": "{{customer_query}}"}
    ]
)
print(f"Template: {template.name} v{template.version}")

# Alle Versionen eines Templates auflisten
all_versions = client.prompt_templates.list(name="Kundenbetreuungsassistent")
for version in all_versions:
    print(f"Version {version.version}: Erstellt {version.created_at}")

# Spezifische Version im Experiment verwenden
experiment = client.experiments.create(
    name="Support Template v3 Evaluation",
    prompt_template=template,  # Verwendet spezifische Version
    collection=test_collection,
    llm_config=model_config
)

Für vollständige SDK-Dokumentation siehe die API-Referenz.

Erweiterte Versionsfunktionen¶

Geplante Experimente Versionierung¶

Neueste Version Option - Geplante Experimente können automatisch neueste Template-Versionen verwenden
Versionsanheftung - Oder an spezifische Versionen für konsistente Evaluation anheften
Änderungserkennung - System verfolgt, wenn geplante Experimente neue Versionen verwenden

Versionsbasierte Analyse¶

Versionsübergreifender Vergleich - Vergleichen Sie Experimentergebnisse zwischen Template-Versionen
Leistungsverfolgung - Überwachen Sie, wie Template-Änderungen Evaluationsmetriken beeinflussen
Regressionserkennung - Identifizieren Sie, wenn neue Versionen schlechter als vorherige funktionieren

Das Verstehen der Versionierung ermöglicht selbstbewusste Iteration Ihrer AI-Evaluationskomponenten unter Beibehaltung der Reproduzierbarkeit, die für systematische Verbesserung wesentlich ist.