Technology Based Assessment … in Afghanistan

Das TBA – Zentrum für technologiebasiertes Assessment  des DIPF hat schon häufiger große Bildungsstudien wie PISA unterstützt. Doch das Know-how kommt auch in Afghanistan zum Tragen – bei einem Zulassungstest für Modellschulen im Rahmen eines GIZ-Projektes. Wie genau, das haben uns Dr. Jean-Paul Reeff und Angelika Sichma aus dem zuständigen DIPF-Team bei einem Gespräch in Frankfurt erläutert.

Zunächst: Was genau passiert am TBA-Zentrum?

Angelika Sichma: Am TBA-Zentrum arbeiten wir mit interdisziplinären Teams an technologiebasierten Verfahren zur Kompetenzmessung. Wir entwickeln also zum Beispiel Computeraufgaben für große Vergleichsstudien wie PISA und machen uns unter anderem darüber Gedanken, wie wir die technischen Möglichkeiten von computerbasiertem Assessment nutzen und die Aufgaben noch interaktiver gestalten können. Generell können wir davon ausgehen, dass Kompetenzen im Bildungsbereich immer mehr computerbasiert gemessen werden. Neben der Forschung auf diesem Gebiet entwickeln wir auch die entsprechende Software, wie zum Beispiel den CBA ItemBuilder. Das ist ein sogenanntes Autorenwerkzeug, mit dem Nutzende – die Autorin oder der Autor – Items, also computerisierte Aufgaben, erstellen können. Diese kommen dann in computerbasierten Tests zum Einsatz.

Wer nutzt denn die Expertise des TBA-Zentrums?

Jean-Paul Reeff: Aufträge und Kooperationsangebote kommen von ganz unterschiedlichen Seiten, auf internationaler Ebene zum Beispiel von der OECD wenn es um PISA oder PIAAC geht, im deutschsprachigen Raum zum Beispiel von der Uni Bamberg beim Nationalen Bildungspanel NEPS. Und vor zwei Jahren ist auch die Gesellschaft für Internationale Zusammenarbeit (GIZ) an mich herangetreten, um eine Expertise für ein Zulassungsverfahren für Modellschulen in Afghanistan zu erstellen. Für dessen technologische Umsetzung habe ich dann das TBA-Zentrum empfohlen.

Können Sie das Schulzulassungs-Projekt etwas genauer skizzieren?

Jean-Paul Reeff: Die Testentwicklung und -begleitung im Anschluss an diese Expertise war Teil des Infrastrukturprojekts „Stärkung der von Deutschland geförderten Schulen in Kabul“, welches die GIZ unter Leitung von Herrn Paul Glause in Afghanistan im Auftrag der deutschen Bundesregierung durchführt. Dort geht es darum, an drei Modellschulen die Qualität des Unterrichts zu verbessern: sowohl durch Aus- und Weiterbildung des Lehrpersonals und die Bereitstellung von modernen Unterrichtsmaterialien als auch durch die Verbesserung der Infrastruktur, etwa der Einrichtung ganzjährig funktionsfähiger Heizanlagen, dem Bau von Sporthallen oder auch der Modernisierung der technologischen Ausstattung. Der Wunsch der GIZ war es, mit einem Zulassungstest die talentiertesten Schülerinnen und Schüler zu identifizieren, die an diesen Modellschulen unterrichtet werden sollen. Dafür haben dann meine Beratungsfirma und das TBA-Zentrum gemeinsam mit der Abteilung Bildung und Entwicklung am DIPF sowie der Universität Luxemburg zusammengearbeitet, um die Aufgaben zu entwickeln. Da es das Ziel war, mit dem Zulassungstest Schülerinnen und Schüler mit besonders viel Potenzial zu finden, war meine Empfehlung, auf generelle, also nicht fachgebundene Kompetenzen zu fokussieren. Wir haben daher auf bestimmte Intelligenztests sowie Tests zum Arbeitsgedächtnis und zu Problemlöseverfahren zurückgegriffen.

Angelika Sichma: Die Fragen zum Arbeitsgedächtnis sowie für die Intelligenztests hat Dr. Patrick Lösche vom DIPF geliefert, die Teile zum Problemlöseverfahren hat das Team der Uni Luxemburg um Professor Dr. Samuel Greiff beigesteuert. Vom TBA-Zentrum haben dann Robert Baumann und ich für die technische Umsetzung gesorgt und die Aufgaben mit dem ItemBuilder umgesetzt, ausgeliefert und am Ende die Daten aufbereitet.

Wie kann man sich die Umsetzung genau vorstellen?

Jean-Paul Reeff: Erfreulicherweise haben der Zeitrahmen und die Mittel, die die GIZ zur Verfügung gestellt hat, uns die Möglichkeit gegeben, den Zulassungstest sehr gut vorzubereiten. Das heißt, wir haben die Aufgaben zunächst in Deutschland entwickelt und auch ein erstes Mal getestet. Im Anschluss haben wir dann vor Ort in Kabul die sogenannten cog labs (cognitive labs / kognitive Labore) durchgeführt. Dabei lässt man die Testaufgaben von einer kleinen Anzahl Schülerinnen und Schülern lösen und erfasst mit qualitativen Beobachtungsmethoden, wie sie damit zurechtkommen. So lassen sich schon ganz zu Beginn Probleme feststellen, die es vielleicht beim Bearbeiten gibt. Auf die cog labs folgte dann zwei Monate später ein umfangreicher Pilottest, bei dem wir noch einmal den Schwierigkeitsgrad und die Parameter der Testaufgaben kontrolliert haben. Der eigentliche Zulassungstest fand dann im März 2017 statt.

Angelika Sichma: Der erste Schritt für mich war es, die vom Team zugelieferten Aufgaben mit dem ItemBuilder umzusetzen und zusammenzuführen. Diese Items mussten wir dann in Dari übersetzen lassen. Bei den verschiedenen Testrunden gab es dann natürlich viele Rückmeldungen und Anpassungen. Bei den cog labs hatte sich zum Beispiel herausgestellt, dass die schriftlichen Instruktionen zum Lösen der Aufgaben eher ungeeignet waren, weil hier Schülerinnen und Schüler mit geringerer Lesekompetenz benachteiligt wurden. Da haben wir dann entschieden, stattdessen Erklärvideos auf Dari zu produzieren und einzusetzen. In der Pilotphase fiel dann noch einmal auf, dass mache Kinder sehr schnell fertig waren oder sich einfach durch die Items geklickt haben. Da habe ich sogenannten Stopper eingebaut und jede Aufgabe mit einem Passwort versehen, das die Schülerinnen und Schüler zur gleichen Zeit erhalten haben, um weiter zu machen. So konnten wir gewährleisten, dass alle die gleiche Zeit für jede Aufgabe verwenden können. In enger Abstimmung mit dem gesamten Team, auch vor Ort, ist also eine Menge passiert, bis der Test dann wirklich ins Feld gehen konnte.

Gab es bei der Durchführung auch kulturell bedingte oder ortsbezogene Besonderheiten, die aufgefallen sind?

Jean-Paul Reeff: Die Durchführungsbedingungen waren zum Teil schon sehr speziell. So waren zum Beispiel die Aufgaben für das Arbeitsgedächtnis so konzipiert, dass auf dem Bildschirm Stimuli erscheinen, etwa in Form von Zahlen, die danach in einer anderen Reihenfolge wiedergegeben werden müssen. Wenn aber die Schülerin oder der Schüler genau dann abgelenkt wird, wenn der Stimulus erscheint, ist diese Aufgabe natürlich nicht mehr lösbar. Störfaktoren, die überall auf der Welt auftreten können, sind etwa herumlaufende Testleiterinnen und -leiter oder aufgehende Türen. Aber beim Pilottest in Kabul haben wir festgestellt, dass die Schule, von der wir eigentlich dachten, sie sei für die Tests am besten geeignet weil dort alles sehr gut organisiert ist und es beispielsweise immer Strom gibt, doch nicht ganz so ideal ist. Sie liegt nämlich direkt am Präsidentenpalast und es rauschen regelmäßig Helikopter im Tiefflug über sie. Das stört! Auch die selbst für Afghanistan sehr hohen Sicherheitsvorkehrungen dort haben uns schließlich dazu bewogen, das Auswahlverfahren in einer der beiden anderen Modellschulen durchzuführen: Bei den Pilottests wurde einer unserer Mitarbeiter eines Morgens nicht in die Schule gelassen, weil er keinen GIZ-Ausweis hatte. Er musste dann eine Stunde draußen in der Kälte warten. Das Risiko konnten wir natürlich für 200 Kinder nicht eingehen. Der eigentliche Auswahltest lief dann aber weitestgehend störungsfrei. Nach der Auswertung durch das TBA-Team sind die Schülerinnen und Schüler den Schulen inzwischen zugeteilt.

Stehen die Testaufgaben nun öffentlich auf Dari zur Verfügung?

Angelika Sichma: Das nicht, die Aufgaben an sich bleiben unter Verschluss. Aber ihre Erstellung hat natürlich sehr dazu beigetragen, den ItemBuilder weiterzuentwickeln: Bis dato wurde er noch nie für die Erstellung von Items in einer arabischen Sprache verwendet – die noch dazu von rechts nach links geschrieben und gelesen wird. Das haben wir alles neu programmiert. Und das hilft uns aktuell sehr bei einer OECD-Studie, bei der Items auch in Dari übersetzt werden müssen.

Jean-Paul Reeff: Sollte es weitere Einsätze des ItemBuilders in Afghanistan geben, wäre es auch ein langfristiges Ziel, dass die Kolleginnen und Kollegen vor Ort eigenständig mit dem Tool Aufgaben entwickeln und über einen gewissen Zeitraum hinweg unabhängig agieren können.

Wie lässt sich der ItemBuilder denn generell nutzen? Steht er jedem Interessierten zur Verfügung?

Angelika Sichma: Der CBA ItemBuilder ist ein Open-Source-Werkzeug, das für die empirische Bildungsforschung entwickelt wird. Es kann grundsätzlich von jedem bei uns angefragt werden, der damit wissenschaftlich arbeiten möchte. Wir stellen natürlich immer aktualisierte Versionen zur Verfügung und bieten – soweit möglich – Nutzersupport an. Schließlich profitieren wir von allen Rückmeldungen zum CBA ItemBuilder und können sie bei seiner Weiterentwicklung berücksichtigen.

Vielen Dank für das Gespräch!

Weiterführende Informationen zum Projekt

Weiterführende Informationen zum TBA-Zentrum

Weiterführende Informationen zum CBA ItemBuilder mit Videoanleitungen

Jean-Paul Reeff ist am DIPF Leiter der Servicestelle International Cooperation in Education und Senior Consultant der luxemburgischen International Innovation Management and Consulting S.A. Er hat die Entwicklung und Durchführung der Zulassungstests für das GIZ-Projekt „Stärkung der von Deutschland geförderten Schulen in Kabul“ koordiniert. (Nachtrag der Redaktion: Jean-Paul Reeff ist inzwischen zu unserem großen Bedauern verstorben.)

Angelika Sichma ist Projektassistentin am TBA-Zentrum. Im Rahmen des GIZ-Projekts „Stärkung der von Deutschland geförderten Schulen in Kabul“ hat sie die Aufgaben für den Zulassungstest der Schulen mit dem CBA ItemBuilder umgesetzt.