Technology Based Assessment … in Afghanistan

Foto: Nasir Mahboob

Am Zentrum für technologiebasiertes Assessment (TBA-Zentrum) des DIPF entwickeln und erforschen Fachleute aus den unterschiedlichsten Disziplinen gemeinsam computerbasierte Verfahren zur Erfassung von Lernergebnissen. Die Teams vereinen Expertise aus Psychologie, Informatik, Psychometrie und Ingenieurswesen. Sie unterstützen Erhebungen wie das Nationale Bildungspanel oder die internationalen PISA-Studien. Jüngstes Beispiel: Das Zentrum begleitet im Rahmen eines GIZ-Projektes ein Verfahren, mit dem in Afghanistan Schülerinnen und Schülern für die Aufnahme in Modellschulen ausgewählt werden. Dr. Jean-Paul Reeff hat die Arbeiten koordiniert, Angelika Sichma war dafür zuständig, die am DIPF und der Universität Luxemburg entwickelten Aufgaben für die computergestützte Kompetenzmessung aufzubereiten. Wir haben die beiden in Frankfurt zum Gespräch getroffen.

Zunächst: Was genau passiert am TBA-Zentrum?

Angelika Sichma ist Projektassistentin am TBA-Zentrum. Im Rahmen des GIZ-Projekts „Stärkung der von Deutschland geförderten Schulen in Kabul“ hat sie die Aufgaben für den Zulassungstest der Schulen mit dem CBA ItemBuilder umgesetzt. Foto: DIPF

Angelika Sichma: Am TBA-Zentrum arbeiten wir mit interdisziplinären Teams an technologiebasierten Verfahren zur Kompetenzmessung. Wir entwickeln also zum Beispiel Computeraufgaben für große Vergleichsstudien wie PISA und machen uns unter anderem darüber Gedanken, wie wir die technischen Möglichkeiten von computerbasiertem Assessment nutzen und die Aufgaben noch interaktiver gestalten können. Generell können wir davon ausgehen, dass Kompetenzen im Bildungsbereich immer mehr computerbasiert gemessen werden. Neben der Forschung auf diesem Gebiet entwickeln wir auch die entsprechende Software, wie zum Beispiel den CBA ItemBuilder. Das ist ein sogenanntes Autorenwerkzeug, mit dem Nutzende – die Autorin oder der Autor – Items, also computerisierte Aufgaben, erstellen können. Diese kommen dann in computerbasierten Tests zum Einsatz.

Wer nutzt denn die Expertise des TBA-Zentrums?

Jean-Paul Reeff: Aufträge und Kooperationsangebote kommen von ganz unterschiedlichen Seiten, auf internationaler Ebene zum Beispiel von der OECD wenn es um PISA oder PIAAC geht, im deutschsprachigen Raum zum Beispiel von der Uni Bamberg beim Nationalen Bildungspanel NEPS. Und vor zwei Jahren ist auch die Gesellschaft für Internationale Zusammenarbeit (GIZ) an mich herangetreten, um eine Expertise für ein Zulassungsverfahren für Modellschulen in Afghanistan zu erstellen. Für dessen technologische Umsetzung habe ich dann das TBA-Zentrum empfohlen.

Können Sie das Schulzulassungs-Projekt etwas genauer skizzieren?

Jean-Paul Reeff ist am DIPF Leiter der Servicestelle International Cooperation in Education und Senior Consultant der luxemburgischen International Innovation Management and Consulting S.A. Er hat die Entwicklung und Durchführung der Zulassungstests für das GIZ-Projekt „Stärkung der von Deutschland geförderten Schulen in Kabul“ koordiniert. Foto: DIPF

Jean-Paul Reeff: Die Testentwicklung und -begleitung im Anschluss an diese Expertise war Teil des Infrastrukturprojekts „Stärkung der von Deutschland geförderten Schulen in Kabul“, welches die GIZ unter Leitung von Herrn Paul Glause in Afghanistan im Auftrag der deutschen Bundesregierung durchführt. Dort geht es darum, an drei Modellschulen die Qualität des Unterrichts zu verbessern: sowohl durch Aus- und Weiterbildung des Lehrpersonals und die Bereitstellung von modernen Unterrichtsmaterialien als auch durch die Verbesserung der Infrastruktur, etwa der Einrichtung ganzjährig funktionsfähiger Heizanlagen, dem Bau von Sporthallen oder auch der Modernisierung der technologischen Ausstattung. Der Wunsch der GIZ war es, mit einem Zulassungstest die talentiertesten Schülerinnen und Schüler zu identifizieren, die an diesen Modellschulen unterrichtet werden sollen. Dafür haben dann meine Beratungsfirma und das TBA-Zentrum gemeinsam mit der Abteilung Bildung und Entwicklung am DIPF sowie der Universität Luxemburg zusammengearbeitet, um die Aufgaben zu entwickeln. Da es das Ziel war, mit dem Zulassungstest Schülerinnen und Schüler mit besonders viel Potenzial zu finden, war meine Empfehlung, auf generelle, also nicht fachgebundene Kompetenzen zu fokussieren. Wir haben daher auf bestimmte Intelligenztests sowie Tests zum Arbeitsgedächtnis und zu Problemlöseverfahren zurückgegriffen.

Angelika Sichma: Die Fragen zum Arbeitsgedächtnis sowie für die Intelligenztests hat Dr. Patrick Lösche vom DIPF geliefert, die Teile zum Problemlöseverfahren hat das Team der Uni Luxemburg um Professor Dr. Samuel Greiff beigesteuert. Vom TBA-Zentrum haben dann Robert Baumann und ich für die technische Umsetzung gesorgt und die Aufgaben mit dem ItemBuilder umgesetzt, ausgeliefert und am Ende die Daten aufbereitet.

Wie kann man sich die Umsetzung genau vorstellen?

Jean-Paul Reeff: Erfreulicherweise haben der Zeitrahmen und die Mittel, die die GIZ zur Verfügung gestellt hat, uns die Möglichkeit gegeben, den Zulassungstest sehr gut vorzubereiten. Das heißt, wir haben die Aufgaben zunächst in Deutschland entwickelt und auch ein erstes Mal getestet. Im Anschluss haben wir dann vor Ort in Kabul die sogenannten cog labs (cognitive labs / kognitive Labore) durchgeführt. Dabei lässt man die Testaufgaben von einer kleinen Anzahl Schülerinnen und Schülern lösen und erfasst mit qualitativen Beobachtungsmethoden, wie sie damit zurechtkommen. So lassen sich schon ganz zu Beginn Probleme feststellen, die es vielleicht beim Bearbeiten gibt. Auf die cog labs folgte dann zwei Monate später ein umfangreicher Pilottest, bei dem wir noch einmal den Schwierigkeitsgrad und die Parameter der Testaufgaben kontrolliert haben. Der eigentliche Zulassungstest fand dann im März 2017 statt.

Mädchen bei den sogenannten cog labs. Foto: Nasir Mahboob
Der Pilottest. Foto: Nasir Mahboob
Der Zulassungstest. Foto: Nasir Mahboob

Angelika Sichma: Der erste Schritt für mich war es, die vom Team zugelieferten Aufgaben mit dem ItemBuilder umzusetzen und zusammenzuführen. Diese Items mussten dann in Dari übersetzt werden, wofür wir mit einer Übersetzerin zusammengearbeitet haben. Bei den verschiedenen Testrunden gab es dann natürlich viele Rückmeldungen und Anpassungen. Bei den cog labs hatte sich zum Beispiel herausgestellt, dass die schriftlichen Instruktionen zum Lösen der Aufgaben eher ungeeignet waren, weil hier Schülerinnen und Schüler mit geringerer Lesekompetenz benachteiligt wurden. Da haben wir dann entschieden, stattdessen Erklärvideos auf Dari zu produzieren und einzusetzen. In der Pilotphase fiel dann noch einmal auf, dass mache Kinder sehr schnell fertig waren oder sich einfach durch die Items geklickt haben. Da habe ich sogenannten Stopper eingebaut und jede Aufgabe mit einem Passwort versehen, das die Schülerinnen und Schüler zur gleichen Zeit erhalten haben, um weiter zu machen. So konnten wir gewährleisten, dass alle die gleiche Zeit für jede Aufgabe verwenden können. In enger Abstimmung mit dem gesamten Team und insbesondere auch mit unserem afghanischen Mitarbeiter Nasir Mahboob, der die Studie in Afghanistan koordiniert hat, ist also eine Menge passiert, bis der Test dann wirklich ins Feld gehen konnte.

Aufgaben zur Vorbereitung auf den Zulassungstest, mit denen die Schülerinnen und Schüler die benötigten Computerfähigkeiten üben konnten.


Gab es bei der Durchführung auch kulturell bedingte oder ortsbezogene Besonderheiten, die aufgefallen sind?

Jean-Paul Reeff: Die Durchführungsbedingungen waren zum Teil schon sehr speziell. So waren zum Beispiel die Aufgaben für das Arbeitsgedächtnis so konzipiert, dass auf dem Bildschirm Stimuli erscheinen, etwa in Form von Zahlen, die danach in einer anderen Reihenfolge wiedergegeben werden müssen. Wenn aber die Schülerin oder der Schüler genau dann abgelenkt wird, wenn der Stimulus erscheint, ist diese Aufgabe natürlich nicht mehr lösbar. Störfaktoren, die überall auf der Welt auftreten können, sind etwa herumlaufende Testleiterinnen und -leiter oder aufgehende Türen. Aber beim Pilottest in Kabul haben wir festgestellt, dass die Schule, von der wir eigentlich dachten, sie sei für die Tests am besten geeignet weil dort alles sehr gut organisiert ist und es beispielsweise immer Strom gibt, doch nicht ganz so ideal ist. Sie liegt nämlich direkt am Präsidentenpalast und es rauschen regelmäßig Helikopter im Tiefflug über sie. Das stört! Auch die selbst für Afghanistan sehr hohen Sicherheitsvorkehrungen dort haben uns schließlich dazu bewogen, das Auswahlverfahren in einer der beiden anderen Modellschulen durchzuführen: Bei den Pilottests wurde einer unserer Mitarbeiter eines Morgens nicht in die Schule gelassen, weil er keinen GIZ-Ausweis hatte. Er musste dann eine Stunde draußen in der Kälte warten. Das Risiko konnten wir natürlich für 200 Kinder nicht eingehen. Der eigentliche Auswahltest lief dann aber weitestgehend störungsfrei. Nach der Auswertung durch das TBA-Team sind die Schülerinnen und Schüler den Schulen inzwischen zugeteilt.

Stehen die Testaufgaben nun öffentlich auf Dari zur Verfügung?

Angelika Sichma: Das nicht, die Aufgaben an sich bleiben unter Verschluss. Aber ihre Erstellung hat natürlich sehr dazu beigetragen, den ItemBuilder weiterzuentwickeln: Bis dato wurde er noch nie für die Erstellung von Items in einer arabischen Sprache verwendet – die noch dazu von rechts nach links geschrieben und gelesen wird. Das haben wir alles neu programmiert. Und das hilft uns aktuell sehr bei einer OECD-Studie, bei der Items auch in Dari übersetzt werden müssen.

Jean-Paul Reeff: Sollte es weitere Einsätze des ItemBuilders in Afghanistan geben, wäre es auch ein langfristiges Ziel, dass die Kolleginnen und Kollegen vor Ort eigenständig mit dem Tool Aufgaben entwickeln und über einen gewissen Zeitraum hinweg unabhängig agieren können.

Wie lässt sich der ItemBuilder denn generell nutzen? Steht er jedem Interessierten zur Verfügung?

Angelika Sichma: Der CBA ItemBuilder ist ein Open-Source-Werkzeug, das für die empirische Bildungsforschung entwickelt wird. Es kann grundsätzlich von jedem bei uns angefragt werden, der damit wissenschaftlich arbeiten möchte. Wir stellen natürlich immer aktualisierte Versionen zur Verfügung und bieten – soweit möglich – Nutzersupport an. Schließlich profitieren wir von allen Rückmeldungen zum CBA ItemBuilder und können sie bei seiner Weiterentwicklung berücksichtigen.

Vielen Dank für das Gespräch!

Weiterführende Informationen zum Projekt

Weiterführende Informationen zum TBA-Zentrum

Weiterführende Informationen zum CBA ItemBuilder mit Videoanleitungen

Interview: Stephanie Pauly

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s