Viele Arbeitssuchende in Deutschland bringen auch ohne anerkannten Ausbildungsabschluss Erfahrungen und Fertigkeiten in Berufen mit – zum Beispiel Zugewanderte, die ihre Qualifikationen nicht nachweisen können. Diese Kompetenzen soll das neue, computergestützte Testverfahren MYSKILLS der Agentur für Arbeit sichtbar machen. Zum Gelingen auch zwei Teams des DIPF bei, zu denen in verantwortlicher Position auch Professor Dr. Johannes Hartig und Professor Dr. Frank Goldhammer gehören. Hier erläutern die beiden Forscher genauer, wie das Institut das Erfassen der beruflichen Kompetenzen unterstützt.
Herr Hartig, *MYSKILLS soll Arbeitssuchenden dabei helfen, später einmal als Kfz-Mechatronikerin oder als Koch arbeiten zu können. An welcher Stelle dieses neuen Testverfahrens kommt denn Ihr wissenschaftliches Know-how zum Tragen?
Johannes Hartig: Gemeinsam mit zwei Kolleginnen bin ich für die psychometrische Qualitätssicherung aller Tests verantwortlich. Das heißt, wir überprüfen, ob statistische Methoden richtig angewendet werden, ob die Tests also methodische Gütekriterien erfüllen. Dazu gehört, dass die Tests in der Lage sein müssen, bestimmte Fertigkeiten zuverlässig zu messen. Wenn es zum Beispiel darum geht, ob jemand in einem Verkaufsgespräch gut berät, dann sollten die entsprechenden Aufgaben auch wirklich nur die Beratungskompetenz erfassen – und nicht noch ganz andere Fertigkeiten wie etwa den Kundenservice. Ansonsten lässt sich aus den Antworten kein Testergebnis errechnen, das sich inhaltlich eindeutig auf „Beratung im Verkauf“ bezieht. Diesem Qualitäts-Check unterziehen wir alle MYSKILLS-Tests, bevor sie zum ersten Mal in den Agenturen und Jobcentern zum Einsatz kommen.
Können Sie diese Qualitätsstandards noch mit einem weiteren Beispiel verdeutlichen?
Johannes Hartig: Die Messgenauigkeit ist ebenfalls ein zentrales Qualitätskriterium. Das heißt, dass die Antworten relativ konsistent sein müssen, wenn sie ein bestimmtes Kompetenzniveau widerspiegeln sollen. Bleiben wir mal beim genannten Beispiel: Sollten mehrere Befragte, obwohl sie Kundinnen und Kunden eigentlich ähnlich gut beraten können, immer wieder unterschiedlich antworten, so sind die Tests nicht genau genug. Und dann könnten die Beraterinnen und Berater in den Arbeitsagenturen keine verlässlichen Aussagen über die Fertigkeiten der Getesteten treffen. Daher überprüfen wir die Messgenauigkeit für jedes abgefragte Handlungsfeld. Von diesen Feldern haben wir innerhalb jedes Berufes mindestens fünf. Das wären beispielsweise „standardisierte Service- und Wartungsarbeiten durchführen“ bei den Kfz-Mechatronikerinnen und -Mechatronikern oder „Kassieren“ bei den Verkäuferinnen und Verkäufern.
Und welche Rolle spielt Ihr Arbeitsbereich – das Zentrum für technologiebasiertes Assessment (TBA-Zentrum) – für das Gesamtprojekt, Herr Goldhammer?
Frank Goldhammer: Eine durchaus zentrale: Wir verantworten mit einem Team von über zehn Kolleginnen und Kollegen die vollständige technische Planung und Umsetzung des Projekts. MYSKILLS setzt auf einer von uns bereitgestellten und entsprechend der Anforderungen weiterentwickelten Test-Software auf: der Open-Source-Plattform TAO. Wir überführen alle vorgesehenen Aufgaben qualitätsgesichert in Computer-Formate. Diese Tests stellen wir dann flächendeckend den Arbeitsagenturen und Jobcentern online zur Verfügung. Beim Erstellen der Tests und der Testitems knüpfen wir auch direkt an die Arbeiten von Johannes Hartig an: Wir setzen die psychometrischen Anforderungen um und sorgen zum Beispiel dafür, dass die Ergebnisse der Aufgaben in einer bestimmten Form zurückgemeldet werden. Den Testleiterinnen und -leitern in den Agenturen bieten wir zudem die Möglichkeit, die Testabläufe zu überwachen und zu steuern.
„Wir verantworten die vollständige technische Planung und Umsetzung des Projekts.“
Ist ihre Arbeit mit dem Ausliefern der Tests getan?
Frank Goldhammer: Keineswegs! Im laufenden Betrieb übernehmen wir das Hosting und weitere Aufgaben, wenn es darum geht, die anfallenden Daten zu verwalten und aufzubereiten. Nicht zuletzt sind wir auch für den Support zuständig: bei technischen wie anwendungsbezogenen Fragen. Dafür müssen wir ständig erreichbar sein und die äußerst umfangreichen Testzeiten komplett abdecken. Zusammengefasst lässt sich sagen: Wir sorgen dafür, dass die Arbeitssuchenden den etwa vier Stunden dauernden Test am Computer durchlaufen und eine Rückmeldung über Ihre Leistung erhalten können.
Was empfanden oder empfinden sie bei der Umsetzung als besonders schwierig?
Johannes Hartig: Bei vielen der Berufe konnten wir uns auf keine wissenschaftlichen Vorarbeiten zur Kompetenzmessung mit standardisierten Tests stützen. Da haben wir dann Neuland betreten. Eine spezifische Herausforderung war es auch, die Tests zu erproben. Eine Probe-Gruppe musste die verschiedenen Kompetenzniveaus beziehungsweise Schwierigkeitsgrade der Items abbilden. Daher wurden die Tests neben Kundinnen und Kunden der Bundesagentur für Arbeit auch Auszubildenden in den jeweiligen Berufen zur Bearbeitung vorgelegt und uns die daraus resultierenden Daten für die psychometrische Qualitätssicherung zur Verfügung gestellt.
Frank Goldhammer: Eine der besonders anspruchsvollen Aufgaben bestand darin, unseren technischen Support so zu organisieren, dass wir bei Anfragen möglichst schnell reagieren und Lösungen anbieten können. Außerdem mussten wir unser System in die technische Infrastruktur der Bundesagentur „einbauen“ und dafür sorgen, dass sich seine Bedienung nicht groß von der Software der Agentur unterscheidet. So müssen sich die dortigen Testleiterinnen und -leiter nicht sonderlich umstellen. Eine solche Integration einer extern betriebenen Anwendung in bestehende IT-Strukturen – Software-as-a-Service genannt – war für uns etwas komplett Neues.
Im Gegenzug: Was reizt Sie an MYSKILLS besonders?
Frank Goldhammer: Unser wissenschaftliches Institut möchte seine Expertise auch für ganz konkrete praktische Zwecke im Bildungsalltag zur Verfügung stellen. Und das Projekt ist ein wunderbares Beispiel für diesen Wissenstransfer. Unser informationstechnisches und psychometrisches Know-how hilft dabei, berufliche Kompetenzen zu erfassen und den Menschen damit die Integration in den Arbeitsmarkt zu erleichtern.
Johannes Hartig: Dem kann ich mich nur anschließen.
Frank Goldhammer: Ich könnte noch ergänzen, dass MYKSILLS vielfältige und komplexe neue Herausforderungen für das TBA-Zentrum mit sich bringt. Davon können wir sehr viel lernen. Neu ist für uns, unsere Tools flächendeckend für einen so langen Zeitraum in vorhandene IT-Infrastrukturen zu implementieren und zu betreiben.
„Unser wissenschaftliches Institut möchte seine Expertise auch für ganz konkrete praktische Zwecke im Bildungsalltag zur Verfügung stellen. Und MYSKILLS ist ein wunderbares Beispiel für diesen Wissenstransfer.“
Wie von Ihnen angesprochen zeigt MYSKILLS, wie das Fachwissen des DIPF in einem ganz anderen Bereich als in der Forschung zum Einsatz kommt. Wo passiert das noch?
Johannes Hartig: An vielen Stellen. Ich greife mal einen recht anschaulichen Bereich heraus. Das DIPF wird immer wieder gebeten, die Politik, die Bildungsverwaltung sowie Schulen und Kitas zu beraten und deren Projekte wissenschaftlich zu bewerten. Das geschieht über Auftragsstudien, Evaluationen von Bildungsreformen und Modellprojekten, Gutachten, Stellungnahmen in Expertenausschüssen und, und, und … Besonders bekannt dürfte der nationale Bildungsbericht sein, der unter unserer Leitung alle zwei Jahre erstellt wird – und soeben neu veröffentlicht wurde Diese wissenschaftliche Bestandsaufnahme des gesamten Bildungswesens in Deutschland hilft beispielsweise der Bildungspolitik. Denn damit kann sie Entscheidungen auf Basis gesicherter Zahlen und Analysen treffen.
Frank Goldhammer: Ich möchte ein weiteres Beispiel des technologiebasierten Testens nennen. Die Schweizerische Konferenz der kantonalen Erziehungsdirektoren, so eine Art Kultusministerkonferenz in unserem Nachbarland, überprüft seit Kurzem, ob Schülerinnen und Schüler die anvisierten Grundkompetenzen in Sprachen, Naturwissenschaften und Mathematik erreichen. Die Tests werden zum Teil computergestützt durchgeführt und dabei arbeitet die Konferenz eng mit uns zusammen. Wir übernehmen etwa die Auslieferung der computerisierten Aufgaben auf die Hardware der Schweizer Schulen.
Prof. Dr. Johannes Hartig ist Professor für Educational Measurement am DIPF und an der Goethe-Universität Frankfurt. Sein Forschungsfokus liegt auf den Methoden der pädagogisch-psychologischen Diagnostik. Dabei befasst sich der Wissenschaftler, der 2003 in Psychologie promoviert wurde, vor allem mit der Messung und Modellierung von Kompetenzen. In diesem Themenfeld leitet er mehrere Forschungsprojekte am DIPF.
Prof. Dr. Frank Goldhammer ist Professor für pädagogisch-psychologische Diagnostik mit dem Schwerpunkt auf technologiebasierten Anwendungen am Zentrum für Internationale Bildungsvergleichsstudien – gemeinsam berufen vom DIPF und der Goethe-Universität Frankfurt. Am DIPF gehört der promovierte Psychologe zudem zum Leitungsteam des Zentrums für technologiebasiertes Assessment, das innovative, computergestützte Verfahren entwickelt, mit denen sich Lernergebnisse erfassen lassen.
Eine Übersicht über das MYSKILLS-Projekt von der Bundesagentur für Arbeit
Detaillierte Angaben zur Beteiligung des DIPF an dem MYSKILLS-Projekt
*MYSKILLS wurde von der Bundesagentur für Arbeit gemeinsam mit der Bertelsmann-Stiftung entwickelt. Das Verfahren ist in sechs Sprachen verfügbar und vor kurzem bundesweit in den Arbeitsagenturen und Jobcentern angelaufen – für zunächst acht Berufe. Weitere folgen demnächst. Die Testergebnisse sollten helfen, die Teilnehmenden in den Arbeitsmarkt zu integrieren.
DIPFblog 