Künstliche Intelligenz (KI) hat das Potenzial, das Lehren und Lernen in vielerlei Hinsicht automatisiert zu unterstützen. Allerdings entsprechen die Beiträge der neuen Technologie nicht immer den Erwartungen und Werten der menschlichen Nutzer*innen. Das Forschungs- und Entwicklungsprojekt „HyTea – Model for Hybrid Teaching“ untersucht, wie dieses Problem angegangen werden kann. Im Interview erläutert der Projektleiter Dr. Daniele Di Mitri das Projekt und die Vorgehensweise seines Teams (im Anschluss auch in Englisch).

Das sogenannte Alignment-Problem spielt in Entwicklungs- und Forschungsarbeiten zur Ethik der Künstlichen Intelligenz eine wichtige Rolle. Frei übersetzt geht es dabei um die richtige Ausrichtung der Technik. Können Sie uns das Ganze noch etwas näher erläutern?

Das Alignment-Problem ist eine große Herausforderung in der KI-Entwicklung und -Forschung; es knüpft an das noch viel häufiger diskutierte Problem der „menschlichen Kontrolle“ von Künstlicher Intelligenz an. Im Allgemeinen müssen KI-Systeme eine vordefinierte Funktion erfüllen, wie zum Beispiel von Punkt A nach Punkt B zu navigieren. Dabei agieren sie in der Regel autonom. Die entscheidende Frage ist aber, inwieweit und zu welchen Bedingungen die KI den vordefinierten Plan ausführt. Und wie wird dabei sichergestellt, dass sie innerhalb ethischer und moralischer Grenzen bleibt? Wir wissen bereits, dass KI-Anwendungen keinen moralischen Kompass oder eine vordefinierte Definition von richtig und falsch haben. Daher sind klare Leitlinien, eine sehr genaue Ausrichtung der Systeme erforderlich, um sicherzustellen, dass sie den Menschen nicht schaden.

Diese Diskussion ist jetzt kein Neuland und hat auch schon vielfach die Phantasie angeregt. Beispiele sind die berühmte Kurzgeschichte „I, Robot“ von Isaac Asimov oder Hollywood-Filme wie „Space Odyssey“. Aber erst in jüngster Zeit ist das Alignment-Problem zu einem zentralen Thema in der KI-Community geworden. Mit den neuen Möglichkeiten generativer Modelle wie GPT diskutiert man dort nun darüber, bis zu welchem Grad KI-Systeme autonom handeln können und wie weit der Mensch die Kontrolle behalten muss. Mehrere einflussreiche Stimmen im KI-Kontext, von denen sich die meisten im Silicon Valley finden, äußern sich eher spekulativ über dieses Thema. Das geht dann in die Richtung, dass KI eine ernsthafte und existenzielle Bedrohung für die Menschheit darstellt und dass wir es bald mit tödlichen Maschinen mit übermenschlichen Fähigkeiten zu tun haben werden. Ich ziehe hier eine Grenze. Denn angesichts der realen Fähigkeiten der aktuellen KI-Modelle halte ich solche Untergangsszenarien für reine Science-Fiction.

Meines Erachtens ist es wichtiger, die derzeitigen Auswirkungen der Künstlichen Intelligenz auf die Gesellschaft und die durchaus schon heute von ihr ausgehenden Bedrohungen zu erörtern und zu erforschen – weniger die von morgen. Denn KI-Systeme sind bereits eng in verschiedene soziale Zusammenhänge eingebunden, was tiefgreifende Folgen mit sich bringen kann. Ich beziehe mich zum Beispiel auf die systematische Diskriminierung von Frauen oder People of Color, das Unterstützen, Erzeugen und Verbreiten von Propaganda und Fake News, die Verletzung von Urheber*innenrechten, den Stromverbrauch großer KI-Modelle und deren CO2-Fußabdruck sowie viele andere Dinge.

In welchem spezifischen Kontext befassen Sie sich in Ihrem Projekt mit diesem Thema?

Im HyTea-Projekt befassen wir uns mit dem Alignment-Problem in der Bildung. Wir untersuchen insbesondere, wie Lehrende und Lernende die Kontrolle über die KI-Systeme behalten können und wie sie mögliche Fehler korrigieren können. In der Bildung arbeiten KI-Systeme häufig als „Expert*innen-Software“, das heißt als Systeme, die den Lernenden Feedback, Anleitung und individuelle Unterstützung bieten, wenn die menschliche Lehrkraft abwesend oder nicht verfügbar ist. Die KI befindet sich also in der Position des sachkundigeren Gegenübers, weswegen es für die Lernenden schwierig sein kann, zu erkennen, ob sie fehlerhafte oder sogar gänzlich falsche Empfehlungen und Rückmeldungen erhalten.

In unserem Projekt konzentrieren wir uns darauf, Menschen dabei zu unterstützen, Präsentationen besser vorzubereiten – und zwar mit Hilfe eines KI-Systems, dem „Presentation Trainer“. Dieses System kann die Studierenden beim Erstellen aussagekräftiger Präsentationen anleiten und ermöglicht es ihnen, sich optimal auf die tatsächliche Live-Präsentation vorzubereiten. Es handelt sich um ein kamerabasiertes Tool, das auf diesem Weg automatisch häufige Fehler erkennen kann. Dazu gehören beispielsweise das Verschränken der Arme, das Schauen und Zeigen auf die Folien, zu wenige Pausen und vieles mehr. Zusammen mit meinem Kollegen Dr. Jan Schneider habe ich bereits einige Studien zu diesem Thema durchgeführt, und wir sind zu dem Schluss gekommen, dass solche Systeme für Studierende von großem Nutzen sein können, insbesondere in der Hochschulbildung. Denn Student*innen müssen zwar in ihren Kursen Präsentationen vorbereiten und halten, haben aber in der Regel nicht die Möglichkeit, ihre mündlichen Präsentationsfähigkeiten zu trainieren. Hier könnte intelligente Software wie der „Presentation Trainer“ zum Einsatz kommen. Wenn die Studierenden auf diesem Weg mehr Möglichkeiten erhalten, zu üben, sollte das zwangsläufig auch ihre Präsentationsleistungen verbessern.

Im Rahmen des HyTea-Projekts untersuchen wir, wie solche Tools in bestehende Hochschulkurse integriert werden können. Um das Alignment-Problem anzugehen, wollen wir ein Teacher-Dashboard erstellen, das die Interaktion der Studierenden mit dem „Presentation Trainer“ zusammenfasst und es den Lehrenden ermöglicht, das von der KI generierte Feedback zu korrigieren und passgenau einzusetzen. Darüber hinaus wollen wir untersuchen, inwieweit die Studierenden ihre Präsentationsfähigkeiten verbessern, wenn sie bei der Vorbereitung der Inhalte angeleitet werden. Und nicht zuletzt arbeiten wir auch daran, die Akzeptanz von Lehrkräften und Studierenden für Software wie den „Presentation Trainer“ zu erhöhen und herauszufinden, mit welchen Praktiken sich diese Tools optimal in eine Lehrveranstaltung integrieren lassen.

Wie gehen Sie in dem Projekt genau vor?

Als ersten Schritt haben wir einen Pool von Expert*innen für Präsentationstrainings befragt, von denen wir wertvolle Informationen zur Verbesserung der Software erhalten haben. Solche Befragungen und das Erheben von Anforderungen sind Teil unserer partizipativen Designmethode. Auf diesem Weg wollen wir ein menschenzentriertes und verantwortungsvolles KI-Design erreichen. Grundlage hierfür ist, die Meinungen aller Beteiligten im Design- und Entwicklungsprozess zu hören und zu berücksichtigen.

In der nächsten Projektphase planen wir dann, den „Presentation Trainer“ schrittweise in bestehenden Seminaren für Bachelor- und Masterstudent*innen der Informatik an der Goethe-Universität Frankfurt weiterzuentwickeln. In drei aufeinanderfolgenden Semestern werden wir eine sich wiederholende Studie durchführen, in der wir die Studierenden bitten, ihre Erst-, Zwischen- und Abschlusspräsentationen mit dem Präsentationstrainer zu erstellen und Vorschläge für weitere Funktionen zu machen. Wir werden die so erstellten Präsentationen aufzeichnen und bewerten. Und mit Hilfe eines Fragebogens für die Teilnehmenden wollen wir deren Meinungen über die Nutzungsfreundlichkeit und den Bedienungskomfort des Systems erfassen. Auf diese Weise wollen wir genauer untersuchen, welche Eigenschaften des „Presentation Trainer“ positiv mit der Präsentationsleistung korrelieren.

Die Doktorandin Nina Mouhammad wird in dieser gemeinsamen Untersuchung vor allem die Relevanz der Ratschläge für die Studierenden und der Präsentationsinhalte in den Blick nehmen. Doktorand Stefan Hummel wird auswerten, welche Features zu einer besseren Nutzbarkeit und Akzeptanz des „Presentation Trainer“ führen.

Was wollen Sie damit erreichen und wie kann die Allgemeinheit davon profitieren?

Wir wollen das neue Tool innerhalb des digitalen Lernökosystems, das vom DIPF und „StudiumDigitale“, der E-Learning-Einrichtung der Goethe-Universität, genutzt wird, einsetzen und weiterentwickeln. Dieses Ökosystem stützt sich in hohem Maße auf digitale Lernplattformen wie Moodle, die das Lernen in Präsenz mit dem digitalen Lernen verbinden. Wir wollen den neuen Präsentationstrainer nahtlos integrieren. Er soll das bestehende hybride und flexible Lehr- und Lernmodell sinnvoll ergänzen.

Wir werden den „Presentation Trainer“ außerdem als Open-Source-Software für jede Einrichtung, die ihn hosten und ihren Studierenden und Mitarbeiter*innen anbieten möchte, zur Verfügung stellen. Dabei nehmen wir den Datenschutz der Nutzer*innen sehr ernst. Wir werden das System so gestalten, dass die Organisationen sicherstellen können, dass die Daten geschützt bleiben und nicht ohne ausdrückliche Zustimmung an andere Parteien weitergegeben werden. Im Idealfall integrieren interessierte Einrichtungen oder einzelne Lehrkräfte unsere Software in ihre Kurse. Am Ende könnte ein KI-System stehen, das explizit für den Bildungsbereich entwickelt wurde und von Studierenden, Lehrkräften und Bildungseinrichtungen auf breiter Basis angenommen wird.

Vielen Dank für den Überblick!

HyTea ist ein Projekt des DIPF in Zusammenarbeit mit dem Cologne Game Lab der Fachhochschule Köln. Das dreijährige Vorhaben wird vom Bundesministerium für Bildung und Forschung (BMBF) im Rahmen des nationalen KI-Nachwuchsgruppen-Programms gefördert.

Dr. Daniele Di Mitri ist Forschungsgruppenleiter am DIPF. Seine wissenschaftliche Arbeit konzentriert sich auf das Erfassen und die Auswertung multimodaler Daten im Rahmen physischer Interaktionen. Ziel ist es, menschliches Verhalten zu analysieren und automatisiertes Feedback zu ermöglichen. In seiner aktuellen Forschung konzentriert er sich darauf, verantwortungsvolle KI-Anwendungen für den Bildungsbereich zu entwickeln.

A controlled way to better teaching and learning with AI

Artificial intelligence (AI) has the potential to support teaching and learning in many automated ways. However, the contributions of the new technology do not always match the expectations and values of human users. The research and development project „HyTea – Model for Hybrid Teaching“ is investigating how this problem can be addressed. In the interview, project leader Dr. Daniele Di Mitri explains in more detail the project and how he and his team are proceeding.

The so-called alignment problem plays an important role in Artificial Intelligence ethics research and the development of corresponding tools. Can you explain what this problem is about?

The alignment problem is an open challenge in AI development and research; it connects to the much more discussed problem of “human control” of AI. Generally, AI systems are autonomous agents that must fulfil a predefined function; for example, they have to navigate from point A to point B. The relevant question is to what extent and under what conditions the AI agent will execute the predefined plan. And while doing so, how do we ensure that the AI remains within ethical and moral boundaries? We already know that AI does not have a moral compass or a predefined definition of right or wrong. Therefore, it needs precise guardrails to ensure it does not harm humans.

This discussion has been largely explored and has become a source of imagination, from the famous short story “I, Robot” by Isaac Asimov to Hollywood movies such as “Space Odyssey”. But only recently has the alignment problem become a hot topic in the AI community. With the discovery of new capabilities of generative models such as GPT, the community is now discussing to what extent AI systems can act autonomously and how far humans have to remain in control. Several influential voices about AI, most of whom gravitate around Silicon Valley, speculate about this issue, saying that AI poses a serious existential threat to humanity and that we will soon have to deal with deadly machines with superhuman capabilities. I draw a line here, as I am aware of the real model’s capabilities, and I believe that further speculation about AI doom scenarios is purely science fiction.

I believe it is more important to discuss and research AI’s ramifications for society and the threats it poses today – not those of tomorrow. AI systems already closely integrated in various social contexts which can have profound consequences. I am referring, for example, to the systematic discrimination of women or people of colour, the propaganda that generative AI can foster and spread, the generation of fake news, the infringement of intellectual copyright, the power consumption by large AI models and their carbon footprints and other things like that.

In what specific context do you deal with this issue in your project?

In the HyTea project, we deal with the alignment problem in education. We are particularly asking how teachers and learners can maintain control of the AI systems and how they can correct potential failures. In education, AI systems often work as “expert software”, i.e., systems that provide feedback, guidance, and personalised support to the learners when the human teacher is distant or unavailable. For this reason, AI is in the position of the more knowledgeable counterpart; hence, it can be difficult for the user to detect whether the AI is giving erroneous or wrong recommendations or feedback.

In our project, we focus on helping people to better prepare presentations with the support of an AI system, the “AI- Presentation Trainer”. This system can guide the students into composing meaningful presentations and allows them to prepare optimally for the actual live presentation. It is a camera-based system that thereby can automatically detect common mistakes such as crossing the arms, looking and pointing back at the slides, not using enough breaks and pauses and many others. With my colleague Dr. Jan Schneider, I have already conducted quite some research on this topic, and we figured that systems like this can be highly beneficial for students, especially in higher education. While students are asked to prepare and deliver presentations in their courses, typically, they are not offered the chance to train their oral presentation skills. Using intelligent software like the Presentation Trainer leads to more practice and, therefore, inevitably to better presentation performance.

As part of the HyTea project, we are exploring how we can integrate tools like the AI Presentation Trainer into existing higher education courses. To tackle the alignment problem, we want to create a Teacher Dashboard to summarise the student’s interaction with the Presentation Trainer and allow the teacher to correct the AI-generated feedback and precisely integrate it. Furthermore, we want to investigate to what extent students improve their presentation skills when they follow a guided procedure to prepare the content of their presentations. We are also working on increasing teachers’ and students’ acceptance of software like the Presentation Trainer and identifying optimal practices for using this software in a course.

What exactly are you planning to do?

As the project’s first step, we interviewed a pool of presentation training and public speaking experts, from which we collected valuable information on how to improve presentation training software. Interviewing experts and collecting requirements is part of our participatory design method to achieve a human-centred and responsible AI design. To this end, each stakeholder’s opinions are seriously considered in the design and development process.

In the following steps, we plan to improve the Presentation Trainer iteratively in existing seminars that are given to informatic bachelor and master students at Goethe University Frankfurt. For three consecutive semesters, we will roll out a repeated study in which we ask the students to prepare their initial, mid-term and final presentations with the Presentation Trainer and to make suggestions for more features. We will record and rate the presentations created in this way, and through a participants questionnaire, we want to collect students‘ opinions concerning the system’s usability and ease of use. In this way, we aim to see in more detail which features of the AI- Presentation Trainer positively correlate with the presentation performance.

In this joint study, doctoral candidate Nina Mouhammad will investigate primarily the relevance of properly selecting and composing the advices for the students and the presentation content. Doctoral candidate Stefan Hummel will investigate which features lead to better usability and user acceptance of the AI- Presentation Trainer.

What do you want to achieve as a result and how can the general public benefit from this?

We aim to develop the new system within the digital learning ecosystem used by DIPF and Goethe University’s eLearning facility “StudiumDigitale”. This ecosystem heavily relies on digital learning platforms like Moodle, which combines learning in presence with digital learning. We aim to smoothly integrate the new Presentation Trainer to seamlessly complement the existing hybrid and flexible teaching and learning model. It combines physical learning with digital learning tools.

The new AI- Presentation Trainer will become an open-source software for any institution that wishes to host it and make it available for their students and staff. We are taking user privacy more than seriously by developing the system so that each institution can ensure that its data remains secure and is not shared with other parties without explicit consent. Ideally, interested institutions or individual teachers integrate our software in their courses. This could lead to an AI system explicitly designed for education which becomes widely adopted and accepted by students, teachers and educational institutions.

Thank you for the overview!

HyTea is a DIPF project in collaboration with the Cologne Game Lab at Cologne University of Applied Sciences. The three-year project is funded by the Federal Ministry of Education and Research (BMBF) as part of the national AI junior research group programme.

Dr. Daniele Di Mitri is research group leader at the DIPF. His research focuses on collecting and analysing multimodal data during physical interactions for automatic feedback and human behaviour analysis. His current research focuses on designing responsible Artificial Intelligence applications for education and human support.