Zum Inhalt springen

Kurskatalog

Evals: So wird KI zuverlässig

Miss, verfolge und prüfe deine KI wie mit einer Testsuite.

Im Jahr 2026 gilt Prompt-Engineering ohne Evals als Arbeit für Einsteigende – Evaluierungen markieren den Punkt, an dem KI-Entwicklung zu Engineering wird. Du beginnst mit Fehleranalyse und Referenzdatensätzen und lernst, Evaluatoren zu schreiben: exakter und unscharfer Abgleich, Bewertung nach Kriterien und LLM als Bewertungsinstanz. Außerdem blockierst du Regressionen in CI. Danach liest du Traces, um langsame oder teure Schritte zu finden, lernst Spans und Metriken kennen und suchst anhand von Beobachtbarkeitsdaten nach Fehlerursachen. Zum Abschluss geht es um Wirtschaftlichkeit: Token-Kosten, Caching und Modell-Routing, weniger Latenz und Veröffentlichungen erst dann, wenn das Eval-Dashboard grün ist.

Starte mit einer kostenlosen LektionAlle Tarife vergleichen

Lehrplan

  1. Abschnitt 1

    Warum Evals?

    Schluss mit dem Bauchgefühl. Fang an zu messen.

    1. Bauchgefühl skaliert nicht
    2. Erst die Fehleranalyse
    3. Referenzdatensätze
    4. Was du messen solltest

  2. Abschnitt 2

    Evaluatoren schreiben

    Vergleichen, nach Kriterien bewerten und Freigaben absichern.

    1. Exakter und unscharfer Abgleich
    2. Bewertung nach Kriterien
    3. LLM als Bewertungsinstanz
    4. Regressionssperren

  3. Abschnitt 3

    Beobachtbarkeit und Tracing

    Sieh, was deine KI tatsächlich getan hat.

    1. Was ist ein Trace?
    2. Einen Trace lesen
    3. Logs, Spans und Metriken
    4. Fehlersuche mit Traces

  4. Abschnitt 4

    Kosten, Latenz und Vertrauen

    Schnell, günstig und sicher veröffentlichen.

    1. Token-Kosten verstehen
    2. Caching und Modell-Routing
    3. Latenz senken
    4. Mit Sicherheit veröffentlichen

Lernpfade

KI-Engineering

Entwickle und betreibe ein echtes KI-Produkt: Es durchsucht deine Inhalte, nutzt nur freigegebene Werkzeuge und wird jedes Mal auf dieselbe Weise getestet. Es hat einen Plan für Ausfälle und macht Geschwindigkeit und Kosten sichtbar.

Abfolge aus 11 Kursen

KI-native Entwicklung

Veröffentliche eine sichere TypeScript-App mit KI in deinem Arbeitsablauf: mit getesteten Algorithmen, klar begrenzten Werkzeugen, nachvollziehbaren Architekturentscheidungen und Releases, die du nach der Veröffentlichung überprüfen kannst.

Abfolge aus 16 Kursen

Deine Idee, veröffentlicht. Starte in 60 Sekunden.

7 Tage kostenlos testen bei jedem Tarif für neue Mitglieder · Jederzeit kündbar

Loslegen

Zurück zu den Kursen