Asynchrone Operationen

Optimieren Sie die Leistung mit asynchronen Operationen für umfangreiche Prompt-Evaluierungen und Batch-Verarbeitung

elluminate unterstützt asynchrone Operationen für verbesserte Leistung bei der Arbeit mit mehreren Prompts oder Evaluierungen. Dies ist besonders nützlich bei:

• Batch-Verarbeitung - Gleichzeitige Verarbeitung mehrerer Prompts oder Responses
• Leistungsoptimierung - Reduzierung der Gesamtausführungszeit bei umfangreichen Evaluierungen
• Ressourceneffizienz - Bessere Nutzung der Systemressourcen während I/O-Operationen

Das folgende Beispiel zeigt, wie man asynchrone Operationen mit Collections in elluminate verwendet:

import asyncio

from dotenv import load_dotenv
from elluminate import Client
from elluminate.schemas import RatingMode

load_dotenv(override=True)


async def run_eval() -> None:
    client = Client()

    prompt_template, _ = await client.prompt_templates.aget_or_create(
        "Please write a short summary of the life of {{person}} from {{state}}.",
        name="Summary of Person",
    )

    values = [
        {"person": "Paul Revere", "state": "Massachusetts"},
        {"person": "George Washington", "state": "Virginia"},
    ]
    collection, _ = await client.collections.aget_or_create(
        name="Founding Fathers",
        description="A collection of Founding Fathers",
        variables=values,
    )  # (1)!

    await client.criteria.aget_or_generate_many(prompt_template)

    # Create an experiment for tracking responses and ratings
    experiment, _ = await client.experiments.aget_or_create(
        "Founding Fathers Analysis",
        prompt_template=prompt_template,
        collection=collection,
        description="Evaluating summaries of Founding Fathers",
    )

    responses = await client.responses.agenerate_many(experiment=experiment, collection=collection)
    criteria_ratings = await client.ratings.arate_many(responses, rating_mode=RatingMode.FAST)

    for ratings in criteria_ratings:
        for rating in ratings:
            print(f"Criteria: {rating.criterion.criterion_str}")
            print(f"Rating: {rating.rating}\n")


asyncio.run(run_eval())

1. Asynchrone Methoden in elluminate haben das Präfix a. Zum Beispiel aget_or_create_collection anstelle von get_or_create_collection.

2. Die Verwendung von asyncio.gather ermöglicht die gleichzeitige Ausführung mehrerer asynchroner Operationen, was die Leistung beim Hinzufügen mehrerer Einträge deutlich verbessert.

Die meisten elluminate SDK-Operationen haben asynchrone Gegenstücke, wodurch es einfach ist, bestehenden synchronen Code in asynchronen umzuwandeln. Folgen Sie einfach diesen Schritten:

1. Fügen Sie den Methoden das Präfix a hinzu (z.B. arate statt rate)
2. Verwenden Sie await bei asynchronen Methodenaufrufen
3. Verpacken Sie Ihren Code in eine asynchrone Funktion
4. Nutzen Sie asyncio.run() zur Ausführung der asynchronen Funktion

Wenn Sie mit mehreren unabhängigen asynchronen Operationen arbeiten, sollten Sie die Verwendung von asyncio.gather() in Betracht ziehen, um diese parallel auszuführen. Obwohl dieses Beispiel die Aufgaben der Übersichtlichkeit halber nacheinander ausführt, können Sie mehrere asynchrone Aufrufe parallelisieren, um die Leistung zu verbessern.