Intelligente Lehrassistenz durch Generative KI

Wir haben diese Herausforderungen kosteneffizient gelöst und gleichzeitig lange Startzeiten vermieden, ohne dabei die Leistung zu beeinträchtigen. Deshalb haben wir uns entschieden, unsere Dienste mithilfe von FastAPI und ECS Fargate (einem Service zum Ausführen von Containern auf AWS) zu betreiben. So konnten wir sicherstellen, dass unser Chatbot immer verfügbar und sofort bereit war, Anfragen von Lernenden zu beantworten, und ihn durch einen Application Load Balancer zuverlässig und skalierbar gestalten.

Die Basis unserer Lösung bildete Amazon Bedrock, ein verwalteter AWS-Service, der den Zugang zu leistungsstarken KI-Modellen bietet, zusammen mit der Technik der Retrieval-Augmented Generation (RAG). Diese Technik funktioniert, indem Dokumente in einen Datenspeicher (wie S3) hochgeladen und so eine Wissensdatenbank aufgebaut wird. Anschließend werden mithilfe eines Foundation-Modells Embeddings erzeugt – spezielle Vektoren, die Informationen aus unserer Wissensdatenbank in einem Format speichern, das für die KI „lesbar“ ist. Dadurch kann die KI gezielt relevante Informationen aus Dokumenten abrufen und in ihre Antworten einfließen lassen. Um die Kosten weiter zu reduzieren, wechselten wir von der Standard-Vektordatenbank von Bedrock zu Amazon Aurora Managed PostgreSQL, was unsere monatlichen Datenbankkosten fast um das Dreifache senkte.

Ein „Prompt“ ist ein Anweisungssatz, den wir über Bedrock an ein ausgewähltes LLM (in diesem Fall Anthropic Claude) senden. So stellen wir sicher, dass der Chatbot nur die von uns festgelegte Rolle übernimmt – hier ein Lernbegleiter, der gemäß den Werten von U4I agiert. Der Prompt legt den Ton und die Nutzererfahrung des Chatbots fest und verhindert Missbrauch. Zudem erzwingen wir mit dem Prompt, dass das LLM Antworten ausschließlich auf Basis der bereitgestellten Dokumente und des spezifischen Kontexts generiert, um sogenannte „Halluzinationen“ zu vermeiden. Ein wesentlicher Teil dieses Kontexts ist der Chatverlauf zwischen Chatbot und Lernendem, der den Dialog natürlicher gestaltet.

Der Prompt ermöglicht es uns auch, den Chatbot flexibel an verschiedene Anforderungen anzupassen. In diesem Projekt hatten wir zwei Chatbot-Typen: den Q&A-Bot und den „Teacher Bot“. Der Q&A-Bot beantwortet Fragen basierend auf dem Wissen und der Erfahrung des Lernenden und verhält sich eher passiv – er wartet auf Fragen und antwortet in der Rolle eines freundlichen und engagierten Tutors. Der „Teacher Bot“ hingegen ist aktiv und stellt während des Kurses Fragen und Aufgaben, überprüft Antworten und gibt bei Bedarf Korrekturen und Erklärungen – ebenfalls im Ton eines freundlichen Tutors.

Den richtigen Ton zu treffen war eine besondere Herausforderung, da wir wollten, dass die Lernenden sich wohlfühlen, Fragen zu stellen, aber auch durch die Antworten gefordert werden. Glücklicherweise war University4Industry intensiv in den Prozess eingebunden und gab uns kontinuierliches Feedback zu Ton und Formatierung. Dieses Feedback hat maßgeblich zum Erfolg des Projekts beigetragen.

Die Daten, die wir verwendeten, eigneten sich hervorragend für die RAG-Technik: Sie bestanden aus Kursmaterialien wie Skripten und Präsentationen, die klar strukturiert und begrifflich reichhaltig waren – fast wie eine Enzyklopädie. Die zentrale Herausforderung bestand darin, den Zugang zu den Informationen, die die Chatbots abrufen konnten, zu steuern. Der Teacher Bot sollte nur Fragen und Erklärungen zu dem Kurs bieten, den der Lernende gerade belegt, während der Q&A-Bot nur auf Informationen aus Kursen zugreifen sollte, auf die der Lernende zugriffsberechtigt war. Das haben wir durch Amazon Bedrock und eine Technik namens Metadaten-Tagging erreicht. Jedes Dokument in der Wissensdatenbank wurde mit Kursnamen und anderen relevanten Informationen, wie etwa der Kursposition, versehen. Bei der Dokumentenabfrage für den Prompt haben wir dann anhand dieser Metadaten gefiltert.