Viele Studien der Bildungsforschung wollen herausfinden, wie sich Schüler*innen im Unterricht besser fördern lassen. Doch trotz ähnlicher Forschungsfragen schwanken die Ergebnisse verschiedener Untersuchungen oft. Klare Empfehlungen sind so kaum möglich. Woran das liegen und wie man zu aussagekräftigeren Befunden kommen könnte, will jetzt ein Projekt des DIPF beleuchten. Im Interview erläutern Dr. Carmen Köhler und Dr. Thomas Lösch aus dem Leitungsteam das Vorhaben.
Mit Ihrem Projekt wollen Sie helfen, dass die Unterrichtsforschung besser wird und zuverlässigere Hinweise und Empfehlungen für den Einsatz in der Bildungspraxis geben kann. Wo liegen aus Ihrer Sicht die Probleme?
Carmen Köhler: Immer wieder zeigen Meta-Analysen, dass verschiedene Studien, die eigentlich der substanziell gleichen Untersuchungsfrage nachgegangen sind, zu schwankenden oder sogar widersprüchlichen Ergebnissen kommen. Auf dieser Basis lässt sich Unterricht schwer weiterentwickeln. Letztlich leidet darunter auch die Glaubwürdigkeit der Bildungsforschung. Dabei verbindet die meisten wissenschaftlichen Studien, die sich mit der Qualität von Unterricht und dessen Effekten auf die Leistungen und die Entwicklung von Schüler*innen beschäftigten, ein übergeordnetes Ziel: Sie wollen hilfreiche Hinweise für die Lehrkräfte und Schulleitungen sowie für die Verantwortlichen in der Bildungspolitik und in der Bildungsverwaltung erarbeiten. Auf diesem Weg wollen die Forschenden helfen, den Unterricht zu verbessern. Wir möchten in unserem Projekt den Ursachen für diese Schwankungen auf den Grund gehen und so dazu beitragen, die Aussagekraft der Studien zu erhöhen.
Woran könnten diese Schwankungen denn liegen?
Thomas Lösch: Studien unterscheiden sich im Setting und Design. Das betrifft beispielsweise folgende Aspekte: Welche Klassenstufen werden untersucht und in welchem Fach? Wie oft werden innerhalb welchen Zeitraums Befragungen durchgeführt und ändert sich die Klassenzusammensetzung währenddessen? Wie groß sind die Untersuchungsgruppen?
Köhler: Weitere Unterschiede finden sich in der Operationalisierung der Konstrukte. Es gibt ganz verschiedene Ansätze, um so abstrakte Konstrukte wie „Leistungsmotivation“ und deren Ausprägung zu erfassen. Außerdem kann Unterrichtsqualität auf unterschiedliche Weise und auf verschiedenen Ebenen erhoben werden. Fragt man zum Beispiel direkt die Lehrkraft oder die Schüler*innen oder lässt man sogar Außenstehende den Unterricht beurteilen? Und nicht zuletzt wählen Forschende aus einer großen Bandbreite an statistischen Methoden, um ihre Studien auszuwerten. All das kann zu den Schwankungen bei den Ergebnissen beitragen.
Wie wollen Sie konkret auf diese Unterschiede eingehen?
Lösch: Wir arbeiten mit mehreren Ergebnis-Datensätzen bestehender Studien. Die Datensätze stehen der Forschung beispielsweise über den am DIPF koordinierten Verbund Forschungsdaten Bildung zur Verfügung. Diese werden wir möglichst genau im Hinblick auf Unterschiede im Studiensetting und -design sowie der Operationalisierung der Konstrukte kategorisieren. Ebenso werden wir methodische Faktoren definieren, die einen Einfluss auf die Befunde haben können. Am Ende steht also eine Systematisierung der Aspekte, die zu den Schwankungen führen können. Das ist das erste Ziel unseres Projekts.
Und welches weitere Ziel haben Sie?
Köhler: Wir möchten dann natürlich ergründen, welche der Aspekte besonders bedeutsam für die Heterogenität der Befunde sind. Dazu werden wir die vorhandenen Datensätze erneut analysieren und dabei bestimmte Aspekte wie beispielsweise die Gruppengrößen und die statistischen Methoden konstant halten. Außerdem überschneiden sich viele Studien auch in anderen Punkten. Dadurch, dass wir wissen was konstant ist und was variiert, können wir herausfinden, was vor allem einen Einfluss auf die Ergebnisse hat. Letztendlich wollen wir relativ genau berechnen können, welcher Aspekt wie viel Anteil an den Schwankungen der Ergebnisse erklärt.
Im Kern stehen also vor allem wissenschaftliche Abläufe im Fokus: Inwiefern kommen die Ergebnisse Ihrer Arbeiten dann bei Bildungspraxis und Bildungspolitik an?
Köhler: Wenn klarer ist, welche Auswirkungen die Unterschiede auf die Ergebnisse haben, können Forschende das schon bei der Konzeption neuer Studien, die ähnliche Fragen behandeln, berücksichtigen. Das Ganze kann natürlich auch in Meta-Analysen einfließen, die mehrere Studien zu einem verwandten Gebiet auswerten. Egal wie: Am Ende steht mehr Vergleichbarkeit und damit sind belastbarere und aussagekräftigere Empfehlungen für Praxis, Politik und Verwaltung möglich.
Lösch: Und damit dieser Wissenstransfer aus der Wissenschaft heraus besonders gut gelingt, werden wir unsere Ergebnisse und Analysen möglichst frei verfügbar veröffentlichen.
Dr. Carmen Köhler ist wissenschaftliche Mitarbeiterin in der Abteilung „Lehr- und Lernqualität in Bildungseinrichtungen“ am DIPF. Sie befasst sich vor allem mit forschungsmethodischen Fragen in der Bildungsforschung und mit Kompetenzdiagnostik.
Dr. Thomas Lösch ist wissenschaftlicher Mitarbeiter in der Abteilung „Informationszentrum Bildung“ des DIPF. Dort koordiniert er das Forschungsdatenzentrum Bildung und arbeitet zu Open Science und Forschungsdatenmanagement in der Bildungsforschung.
Das Projekt „Inkonsistente Effekte von Unterrichtsqualität auf Bildungsergebnisse erklären“ wird von der Deutschen Forschungsgemeinschaft gefördert. Mitverantwortlich für das Vorhaben ist außerdem Professor Dr. Johannes Hartig vom DIPF. Kooperationspartnerin ist Professorin Dr. Anna-Katharina Praetorius von der Universität Zürich.
DIPFblog 