Dataset Integrations¶
Importieren Sie Testdaten von externen Observability- und Dataset-Plattformen direkt in Ihre Collections
Dataset Integrations verbinden elluminate mit externen Datenquellen und ermöglichen den Import bestehender Datasets von Observability-Plattformen und Evaluierungstools. Anstatt Testdaten manuell neu zu erstellen, können Sie Datasets direkt von Plattformen importieren, auf denen Sie bereits Produktionsdaten oder kuratierte Testsets speichern.
Warum Dataset Integrations nutzen?¶
Vorhandene Daten nutzen
Wenn Sie bereits andere Plattformen verwenden, um Produktionsdaten zu sammeln oder Evaluierungsdatasets zu kuratieren, müssen Sie diese Arbeit nicht in elluminate neu erstellen. Importieren Sie direkt und starten Sie mit der Evaluierung.
Daten synchron halten
Wenn sich Ihre externen Datasets weiterentwickeln, können Sie erneut importieren, um Ihre Collections mit den neuesten Testfällen zu aktualisieren.
Unterstützte Provider¶
Langfuse¶
Langfuse ist eine Open-Source-Observability-Plattform für LLM-Anwendungen. Langfuse Datasets ermöglichen es Ihnen, Test-Inputs und erwartete Outputs für die Evaluierung zu kuratieren.
Was Sie benötigen:
- Public Key - Der öffentliche API-Key Ihres Langfuse-Projekts
- Secret Key - Der geheime API-Key Ihres Langfuse-Projekts
- Base URL - Der Langfuse-API-Endpoint (Standard:
https://cloud.langfuse.com)
Sie finden diese Credentials in Ihren Langfuse-Projekteinstellungen unter „API Keys".
Eine Integration einrichten¶
Schritt 1: Zu Projekt-Collections navigieren¶
Öffnen Sie Ihr Projekt und navigieren Sie zur Collections-Seite.
Schritt 2: Zur Integrationsverwaltung navigieren¶
Klicken Sie auf „Importieren", dann auf „Integrationen verwalten", um die Integrationsverwaltungsseite zu öffnen.
Schritt 3: Eine Integration hinzufügen¶
Klicken Sie auf „Integration hinzufügen", um den Integrationskonfigurationsdialog zu öffnen.
Schritt 3: Namen setzen und Provider auswählen¶
Wählen Sie einen Namen für Ihre Integration, um sie später wiederzuerkennen. Wählen Sie dann Ihren Dataset-Provider aus den verfügbaren Optionen. Derzeit wird Langfuse unterstützt.
Schritt 4: Credentials eingeben¶
Geben Sie Ihre API-Credentials ein:
- Base URL - Der API-Endpoint (verwenden Sie den Standard, es sei denn, Sie hosten selbst)
- Public Key - Der öffentliche API-Key Ihres Providers
- Secret Key - Der geheime API-Key Ihres Providers
Schritt 5: Verbindung testen und speichern¶
Klicken Sie auf „Verbindung testen", um zu überprüfen, ob Ihre Credentials korrekt funktionieren. Das System versucht, eine Verbindung zum Provider herzustellen und den Zugriff zu bestätigen.
Sobald der Verbindungstest erfolgreich ist, speichern Sie Ihre Integration. Sie ist jetzt bereit für den Import von Datasets.
Ein Dataset importieren¶
Nach dem Einrichten einer Integration können Sie Datasets in Ihre Collections importieren.
Schritt 1: Zu Collections gehen¶
Navigieren Sie zur Collections-Seite in Ihrem Projekt.
Schritt 2: Import starten¶
Klicken Sie auf den „Importieren"-Button, um den Import-Dialog zu öffnen.
Wählen Sie dann aus, von welcher Integration Sie importieren möchten. Sie sehen alle konfigurierten Integrationen für Ihr Projekt.
Schritt 3: Dataset wählen¶
Das System ruft verfügbare Datasets von Ihrem Provider ab. Wählen Sie das Dataset, das Sie importieren möchten.
Schritt 5: Daten-Vorschau¶
Überprüfen Sie den Dataset-Inhalt vor dem Import. Dies zeigt Ihnen, wie die Daten in Ihrer Collection strukturiert werden.
Schritt 6: Import-Optionen konfigurieren¶
Konfigurieren Sie optional, wie die Daten importiert werden sollen:
- Wählen Sie, welche Felder einbezogen werden sollen
- Ordnen Sie Felder Collection-Spalten zu
Schritt 7: Import abschließen¶
Klicken Sie auf „Importieren", um Ihre Collection mit dem externen Dataset zu erstellen.
Wie Daten auf Collections gemappt werden¶
Beim Import von externen Providern mappt elluminate die Daten automatisch auf Collection-Spalten basierend auf der Struktur Ihrer Quelldaten.
Input-Feld-Mapping¶
String-Input:
Wenn der Input des Dataset-Items ein einfacher String ist, wird er zu einer input-Spalte.
Quelle: "Was ist die Hauptstadt von Frankreich?"
Ergebnis: input-Spalte = "Was ist die Hauptstadt von Frankreich?"
Dictionary-Input:
Wenn der Input ein Dictionary/Objekt ist, wird jeder Key zu einer separaten Spalte.
Quelle: {"question": "Was ist 2+2?", "context": "Mathematik-Grundlagen"}
Ergebnis: question-Spalte = "Was ist 2+2?"
context-Spalte = "Mathematik-Grundlagen"
Conversation-Input:
Wenn der Input ein OpenAI-Format-kompatibles Conversation-Objekt ist, wird er als korrektes Conversation-Objekt für die Verwendung mit unseren Conversation-Features importiert.
Quelle: [{"role": "user", "content": "Was ist 2+2?"}]
Ergebnis: conversation-Spalte = [{"role": "user", "content": "Was ist 2+2?"}]
Expected Output Mapping¶
Der erwartete Output aus Ihrem Dataset (falls vorhanden) wird auf eine expected_output-Spalte gemappt:
Metadata Mapping¶
Wenn Ihre Dataset-Items Metadata enthalten, werden sie in einer metadata-Spalte als JSON gespeichert:
Quelle metadata: {"source": "manual", "difficulty": "easy"}
Ergebnis: metadata-Spalte = {"source": "manual", "difficulty": "easy"}
Beispiel-Mapping¶
| Quellfeld | Collection-Spalte | Typ |
|---|---|---|
| input (string) | input | Text |
| input.question | question | Text |
| input.context | context | Text |
| expected_output | expected_output | Text |
| metadata | metadata | JSON |
Integrationen verwalten¶
Vorhandene Integrationen anzeigen¶
Greifen Sie auf Ihre konfigurierten Integrationen über die Collections-Seite zu. Jede Integration zeigt:
- Provider-Typ (z.B. Langfuse)
- Verbindungsstatus
- Erstellungsdatum
Integration-Credentials bearbeiten¶
Um die Credentials einer Integration zu aktualisieren:
- Navigieren Sie zu Collections -> Importieren -> Integrationen verwalten
- Finden Sie die Integration, die Sie bearbeiten möchten
- Klicken Sie auf die Bearbeiten-Schaltfläche (Stift-Symbol)
- Aktualisieren Sie die Credentials
- Testen Sie die Verbindung
- Speichern Sie die Änderungen
Eine Integration löschen¶
Um eine Integration zu entfernen:
- Navigieren Sie zu Collections -> Importieren -> Integrationen verwalten
- Finden Sie die Integration, die Sie löschen möchten
- Klicken Sie auf die Löschen-Schaltfläche (Papierkorb-Symbol)
- Bestätigen Sie das Löschen
Integrationen löschen
Das Löschen einer Integration löscht keine Collections, die mit ihr importiert wurden. Diese Collections bleiben in Ihrem Projekt erhalten.
Sicherheit¶
Credential-Speicherung¶
Ihre API-Keys werden mit branchenüblicher Verschlüsselung im Ruhezustand verschlüsselt. Sie werden niemals im Klartext gespeichert.
Credential-Sichtbarkeit¶
Nachdem Sie eine Integration gespeichert haben, werden Ihre Secret Keys nie wieder in der UI angezeigt. Es werden nur Identifier-Slugs angezeigt, um Ihnen zu helfen zu erkennen, welche Credentials konfiguriert sind.
Zugangskontrolle¶
Nur Projektmitglieder mit entsprechenden Berechtigungen können:
- Integrationen konfigurieren (Admin, Editor)
- Datasets importieren (Admin, Editor)
- Integrationseinstellungen anzeigen (Admin, Editor, Viewer)
- Integrationen löschen (Admin)
Fehlerbehebung¶
Verbindungstest schlägt fehl¶
Ungültige Credentials:
- Überprüfen Sie Ihre Public und Secret Keys
- Stellen Sie sicher, dass Sie die richtigen API-Keys für Ihr Projekt verwenden (nicht Keys auf Organisationsebene)
- Überprüfen Sie, ob die Keys nicht widerrufen wurden oder abgelaufen sind
Falsche Base URL:
- Wenn Sie eine selbst gehostete Instanz verwenden, stellen Sie sicher, dass die Base URL korrekt ist
- Die URL sollte keinen abschließenden Schrägstrich enthalten
- Stellen Sie sicher, dass die URL aus dem Internet erreichbar ist
Netzwerkprobleme:
- Prüfen Sie, ob der Service Ihres Providers betriebsbereit ist
- Überprüfen Sie, ob keine Firewall-Regeln die Verbindung blockieren
Keine Datasets gefunden¶
- Stellen Sie sicher, dass Sie Datasets in Ihrem externen Provider erstellt haben
- Prüfen Sie, ob Ihre API-Keys die Berechtigung zum Lesen von Datasets haben
- Einige Provider erfordern, dass Datasets mindestens ein Item haben, um sichtbar zu sein
Import schlägt fehl¶
- Überprüfen Sie, ob das Dataset Daten enthält (leere Datasets können nicht importiert werden)
- Prüfen Sie, ob das Datenformat unterstützt wird
- Lesen Sie die Fehlermeldung für spezifische Details
Zukünftige Provider¶
Die Dataset Integrations-Funktion ist erweiterbar konzipiert. Weitere Provider können basierend auf Nutzernachfrage und Plattformkompatibilität hinzugefügt werden.
Wenn Sie die Unterstützung für einen bestimmten Provider anfragen möchten, kontaktieren Sie bitte den Support mit Details zu Ihrem Anwendungsfall.