Compliance

Optimierte Tests zur Einhaltung gesetzlicher Vorschriften für Ihre KI-Systeme

Die Compliance-Funktion bietet einen geführten Workflow zum Testen Ihrer LLM-Anwendungen hinsichtlich gesetzlicher und sicherheitsrelevanter Anforderungen. Sie umfasst mehrere integrierte Testpakete, die EU-AI-Act-Bestimmungen und KI-Sicherheitsdimensionen abdecken, sowie die Möglichkeit, individuelle Pakete zu generieren, die auf Ihre spezifische Anwendung zugeschnitten sind.

Beta-Funktion

Die Compliance-Funktion befindet sich derzeit in der Beta-Phase. Funktionen und Workflows können sich ändern, da wir die Benutzererfahrung auf der Grundlage von Nutzer-Feedback weiter verbessern. Im Laufe der Entwicklung werden auch neue Inhalte veröffentlicht.

Was sind Compliance-Tests?

Bei Compliance-Tests wird Ihr KI-System anhand vorgefertigter Testpakete auf die Einhaltung spezifischer regulatorischer oder sicherheitsrelevanter Anforderungen geprüft. Jedes Paket enthält:

• Testfälle — Ausgewählte Eingaben, die bestimmte Compliance-Anforderungen überprüfen
• Kriterien — Bewertungsregeln, die mit den gesetzlichen Bestimmungen oder Sicherheitsdimensionen übereinstimmen

Der Compliance-Workflow

Die Compliance-Funktion folgt einem dreistufigen Workflow:

1. Select Package — Wählen Sie ein integriertes oder individuelles Compliance-Testpaket aus
2. Start Evaluation — Wählen Sie eine LLM-Konfiguration und starten Sie die Evaluation
3. Report (Automatic) — Ein Compliance-Bericht wird automatisch erstellt, sobald die Evaluation abgeschlossen ist

Schritt 1: Select Package

Navigieren Sie in Ihrer Projekt-Seitenleiste zu Compliance, um auf das Compliance-Dashboard zuzugreifen.

Verfügbare Pakete werden als Karten angezeigt, die Folgendes enthalten:

• Kategorie-Badge — Die Paketkategorie (z. B. „Regulatory", „Safety")
• Beschreibung — Eine Zusammenfassung dessen, was das Paket evaluiert
• Package Includes — Links zur Test-Collection und den Compliance-Kriterien, sodass Sie die Inhalte vor dem Import einsehen können

Verfügbare Pakete

Regulatory:

• EU AI Act Prohibited Practices — Tests für verbotene KI-Praktiken nach Artikel 5, einschließlich unterschwelliger Manipulation, Ausnutzung von Schwachstellen und Social Scoring

Fraunhofer IAIS AI Assessment Catalogue:

• Fairness Dimension — Tests für faires und unvoreingenommenes Verhalten
• Reliability Dimension — Tests für konsistente und zuverlässige Ausgaben
• Transparency Dimension — Tests für transparentes und erklärbares Verhalten
• Safety Dimension — Tests für sicheren Betrieb und Schadensvermeidung
• Data Protection Dimension — Tests für Datenschutz und Privacy-Compliance
• Autonomy & Control Dimension — Tests für angemessene menschliche Aufsicht und Kontrolle

Bias:

• Chinese Bias — Tests für Zensur und Voreingenommenheit bei sensiblen Fragen über China

Klicken Sie auf „Select Package", um das Paket in Ihr Projekt zu importieren. Dadurch werden folgende Elemente erstellt:

• Eine Collection mit allen Testfällen
• Ein Criterion Set mit allen Evaluationskriterien

Idempotenter Import

Wenn Sie dasselbe Paket mehrmals importieren, werden keine Duplikate erstellt.

Schritt 2: Start Evaluation

Wählen Sie nach dem Importieren eine LLM-Konfiguration aus der Dropdown-Liste aus, um anzugeben, welche Modellkonfiguration getestet werden soll.

Klicken Sie auf „Start Evaluation", um mit dem Testen zu beginnen. Die Evaluation:

1. Generiert Antworten für jeden Testfall unter Verwendung Ihrer ausgewählten LLM-Konfiguration
2. Bewertet jede Antwort anhand der Compliance-Kriterien
3. Verfolgt den Fortschritt in Echtzeit

Die Evaluation erstellt ein Standardexperiment, das Sie auch auf der Seite Experiments anzeigen und analysieren können.

Schritt 3: Report (Automatic)

Wenn Sie eine Evaluation starten, wird automatisch ein ausstehender Compliance-Bericht erstellt. Sobald die Evaluation abgeschlossen ist, wird der Bericht automatisch generiert — ein manuelles Auslösen ist nicht erforderlich.

Der Bericht ist ein PDF-Dokument und enthält:

• Zusammenfassung der Compliance-Testergebnisse
• Detaillierte Aufschlüsselung nach Kriterien
• Ergebnisse der einzelnen Testfälle
• Empfehlungen und Beobachtungen

Berichte verwalten

Unterhalb des Workflow-Bereichs werden in der Berichte-Tabelle alle Compliance-Berichte angezeigt.

Funktionen:

• Suchen — Berichte nach Namen suchen
• Datumsfilter — Berichte nach Erstellungsdatum filtern
• Status — Fortschritt der Berichterstellung verfolgen (Pending, Generating, Completed, Failed)
• Experiment-Link — Direkt zum verknüpften Experiment navigieren
• PDF anzeigen — Bericht in einem neuen Browser-Tab öffnen
• Herunterladen — Berichte lokal als PDF speichern
• Mehrfachauswahl — Mehrere Berichte für die Massenlöschung auswählen
• Löschen — Nicht mehr benötigte Berichte entfernen

Custom Packages

Zusätzlich zu den integrierten Paketen können Sie individuelle Compliance-Pakete generieren, die auf den spezifischen Kontext Ihrer Anwendung zugeschnitten sind.

Individuelles Paket erstellen

1. Navigieren Sie zum Tab Custom Packages auf der Compliance-Seite
2. Klicken Sie auf „Create Custom Package"
3. Füllen Sie den Dialog aus:
   • Base Package — Wählen Sie ein integriertes Paket als Grundlage
   • Application Purpose — Beschreiben Sie, wie Ihre Anwendung eingesetzt wird (z. B. „Healthcare-Chatbot für Patienten-Triage")
   • Additional Details (optional) — Geben Sie zusätzlichen Kontext zu Ihrer Anwendung an
   • Name (optional) — Individueller Name für das Paket (wird automatisch generiert, wenn leer gelassen)
4. Klicken Sie auf Create, um die Generierung zu starten

Die Plattform generiert Testfälle, die auf Ihren Anwendungskontext zugeschnitten sind, organisiert nach Schwierigkeitsgrad (einfache, komplexe und adversariale Szenarien). Der Generierungsfortschritt wird in Echtzeit über eine Fortschrittsanzeige dargestellt.

Tipps für bessere Custom Packages

• Application Purpose: Beschreiben Sie möglichst genau, was Ihre Anwendung tut und wer sie nutzt. „Kundenorientierter Chatbot für Versicherungsschadenbearbeitung" liefert gezieltere Tests als nur „Chatbot".
• Additional Details: Nennen Sie spezifische Risiken, Vorschriften oder Sonderfälle, die für Ihren Bereich relevant sind. Sie können auch die Sprache der generierten Testfälle angeben (z. B. „Language: German"). Beispiel: „Muss personenbezogene Daten sorgfältig behandeln; Nutzer können Minderjährige sein; Einsatz im EU-Markt. Language: German."
• Je mehr Kontext Sie angeben, desto relevanter werden die generierten Testfälle.

Custom Packages verwalten

• In andere Projekte klonen — Custom Packages können innerhalb Ihrer Organisation projektübergreifend geteilt werden
• Löschen — Nicht mehr benötigte Custom Packages entfernen

Custom Packages funktionieren nach der Generierung genau wie integrierte Pakete — auswählen, Evaluation durchführen, und Berichte werden automatisch erstellt.

Fehlerbehebung

Hilfe

Wenn Sie Probleme mit Compliance-Tests haben:

• Experiment überprüfen — Überprüfen Sie das verlinkte Experiment auf detaillierte Fehlerinformationen
• LLM-Konfiguration validieren — Testen Sie Ihre Konfiguration unabhängig
• Support kontaktieren — Wenden Sie sich mit Ihrer Projekt-ID und dem Paketnamen an den Support, um Hilfe zu erhalten