Das Thema KI-Agenten entwickelt sich gerade vom Hype zur praktischen Anwendung. Viele Unternehmen haben erste Projekte in der Proof-of-Concept-Phase umgesetzt. Bevor diese jedoch mit echten Unternehmensdaten und in realen Prozessen produktiv eingesetzt werden können, müssen sie umfangreich getestet werden. Nur so lässt sich sicherstellen, dass sie zuverlässig arbeiten, Sicherheitsvorgaben einhalten und keine wirtschaftlichen oder reputativen Schäden verursachen.

In der aktuellen Folge von „Chatbots und KI“ spricht Thomas Bahn mit Dr. Josef Küstner unter anderem darüber, wie solche Tests konkret aussehen sollten und wie sich die Qualität von KI-Agenten bewerten lässt, obwohl ihre Ergebnisse nicht deterministisch sind. Außerdem geben sie Anregungen dafür, wie der Übergang von der Testphase in den Live-Betrieb gelingen kann.

Josef Küstner hat an der Universität Wien in Mathematik promoviert. Derzeit ist er als wissenschaftlicher Mitarbeiter im KI-Anwendungszentrum von KI.SH an der Christian-Albrechts-Universität zu Kiel tätig. Das KI-Anwendungszentrum dient als zentrale Anlaufstelle für Unternehmen in Schleswig-Holstein bei Fragen rund um den Einsatz von Künstlicher Intelligenz.

In „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz.

Zeitstempel:

00:00:00 Einleitung
00:02:43 Aufgaben von KI-Agenten
00:05:13 Warum Agenten getestet werden müssen
00:08:05 Nichtdeterminismus und LLM as a Judge
00:10:58 Monitoring und Benchmarks
00:14:31 Nebeneffekte und Zwischenschritte testen
00:17:34 Effizienz und Eval-Sets
00:19:43 Bewertungsmethoden und Testframeworks
00:21:44 Guardrails und menschliche Kontrolle
00:24:30 Fehlerquoten und Wirtschaftlichkeit
00:26:04 Professionalisierung und Ausblick

Weitere Informationen:

Host:
Thomas Bahn ist Geschäftsführer, Mitgründer und Gesellschafter der assono GmbH. Seit mehr als 20 Jahren berät er erfolgreich Unternehmen aus ganz Deutschland rund um das Thema Software und Digitalisierung.

Bei Fragen oder Anmerkungen freuen wir uns auf Ihre Nachricht an podcast@assono.de

In 3 Schritten zum eigenen KI-Chatbot-Projekt

1. Informieren Sie sich über das Chatbot-Angebot von assono
2. Vereinbaren Sie ein kostenloses Beratungsgespräch oder nehmen Sie an einer unserer Live-Demos teil
3. Starten Sie Ihr Chatbot-Projekt innerhalb weniger Wochen