Quick Start für bestehende Projekte

Verstehen Sie die grundlegenden Konzepte von elluminate anhand des Beispielprojekts

Dieser Leitfaden hilft Ihnen dabei, die grundlegenden Komponenten von elluminate anhand eines Beispielprojekts, das Ihnen nach der Anmeldung gezeigt wird, schnell zu verstehen. Für die Erstellung eines neuen Projekts von Grund auf lesen Sie bitte unseren GUI Quick Start.

Das Beispielprojekt

Nach der Anmeldung sehen Sie die Projekt-Startseite eines Beispielprojekts für einen Support-Bot. Dieses Projekt steht Ihnen zum Erkunden und Experimentieren zur Verfügung.

Ein Experiment besteht aus einem Prompt, der zur Generierung von Antworten mit einem LLM verwendet wird, und der Bewertung dieser Antworten anhand bestimmter Kriterien. Der Prompt wird aus einem Prompt-Template und einer Collection erstellt. Das Prompt-Template definiert die Struktur des Prompts und kann Platzhalter enthalten, während die Daten in einer Collection (Template-Variables) verwendet werden, um diese Platzhalter zu füllen. Diese Template-Variables können auch verwendet werden, um Platzhalter von Kriterien zu füllen, was flexible Tests ermöglicht.

Die Kriterien, anhand derer die Antworten getestet werden sollen, werden in einem Criterion-Set definiert. Jedes Kriterium beantwortet eine einfache Ja/Nein-Frage darüber, ob die Antwort seine Prüfung bestanden hat.

Projekt-Startseite

Nach der Anmeldung sehen Sie als erstes die Projekt-Startseite. Hier finden Sie Ihr Projekt-Dashboard, das Ihnen einen schnellen Überblick über alle wichtigen Informationen Ihres Projekts bietet.

Beispiel Prompt-Template

Ein Prompt-Template für einen einfachen Support-Bot wurde bereits für dieses Projekt erstellt. Sie können es sich ansehen, indem Sie in der Seitenleiste zu Prompt-Templates navigieren. Es hat nur einen Platzhalter user_input, der einfach die Anfrage ist, die der Support-Bot bearbeiten soll.

Wenn Sie mit Prompt-Templates arbeiten möchten, schauen Sie sich Prompt-Templates an.

Beispiel Collection

Die in diesem Beispiel verwendete Collection finden Sie, indem Sie in der Seitenleiste zu Collections navigieren. Die Spaltennamen entsprechen den Platzhaltern des Prompt-Templates, sodass die Daten in den Prompt eingefügt werden können.

Wie Sie sehen, gibt es drei Spalten:

• user_input: Die oben erwähnte Benutzeranfrage. Die Daten in dieser Spalte werden in den Platzhalter mit demselben Namen im Prompt-Template eingefügt
• expected_behaviour: Wie sich das Modell angesichts der user_query verhalten sollte. Wird zur Bewertung der Antworten verwendet
• category: Einige zusätzliche Informationen, die zum Filtern nach bestimmten Kategorien nützlich sind

Um tiefer in Collections einzutauchen, schauen Sie sich Collections an.

Beispiel Criterion-Set

Das in der Bewertung verwendete Criterion-Set finden Sie unter Criteria-Library in der Seitenleiste.

Derzeit existiert nur ein Kriterium, das prüft, ob die Antwort des Modells dem expected_behaviour entspricht, das in der Collection definiert wurde.

Um die volle Leistungsfähigkeit von Kriterien zu verstehen, schauen Sie sich Criterion-Sets an.

Beispiel Experimente

Eine Übersicht aller in diesem Projekt durchgeführten Experimente finden Sie, indem Sie in der Seitenleiste zu Experiments navigieren. Es wurden bereits drei Experimente für Sie zum Erkunden durchgeführt.

Sie können die Details jedes Experiments anzeigen, indem Sie darauf klicken. Neben anderen Informationen finden Sie die Gesamtleistung Ihres Experiments. Für weitere Details zeigt der Sample-Navigator die Antworten auf jeden Prompt und die Bewertung jedes Kriteriums einzeln.

Für einen tieferen Einblick in die Analyse der Ergebnisse von Experimenten siehe Response-Analysis.

Nächste Schritte

Schauen Sie sich gerne auf unserer Plattform um oder lesen Sie eine unserer Anleitungen, um mit Ihrem eigenen Projekt zu beginnen. Ein guter Ausgangspunkt, um ein besseres Gefühl für die Funktionen der Plattform zu bekommen, sind die Grundlagen.

Starten Sie direkt mit der Erstellung Ihrer eigenen Evaluationen über den Quick-Start (GUI) auf unserer Website oder mit Python per Quick-Start (SDK).