Mixed Methods – der Goldstandard der Evaluationsforschung

^{Autorin: Theresa Lorenz}

Mixed-Methods-Evaluationen kombinieren qualitative und quantitative Forschungsmethoden. Dies ermöglicht eine tiefgreifende und umfassende Untersuchung komplexer, sozialwissenschaftlicher Fragestellungen und gilt als Goldstandard der Evaluationsforschung. Dieser Blogbeitrag zeigt, warum Mixed-Methods-Evaluationen so erfolgreich sind und wie sie zur Verbesserung von Finanzbildungsmaßnahmen beitragen können.

Was bedeutet Evaluation von Finanzbildungsmaßnahmen?

Finanzbildung möchte das finanzielle Leben von Menschen positiv beeinflussen. Ob eine Finanzbildungsmaßnahme positive Effekte erzielt bzw. warum sie wirkt, ist daher für die Entwicklung und Durchführung von Finanzbildungsmaßnahmen eine zentrale Frage. Eine umfassende Evaluation ist essenziell, um den Erfolg oder Misserfolg von Maßnahmen zu verstehen und Verbesserungen vorzunehmen.

Bei einer Evaluation kommen Forschungsmethoden zum Einsatz, welche die Auswirkungen und/oder Prozesse einer Maßnahme systematisch untersuchen. Zum Beispiel kann untersucht werden, ob Schüler:innen nach dem Besuch eines Finanzkompetenz-Workshops zusätzliche finanzielle Kompetenzen erworben haben. Diese Art von Evaluation wird als Wirkungsevaluation (engl. impact evaluation) bezeichnet. Darüber hinaus kann analysiert werden, welche Rahmenbedingungen und Faktoren dazu beitragen, dass Schüler:innen ihre Kompetenzen verbessern konnten. Diese Art der Evaluation wird Prozessevaluation (engl. process evaluation) bezeichnet.

Zur Analyse von Wirkungen werden häufig quantitative Methoden verwendet, während für Prozessevaluationen häufig qualitative Methoden (z. B. Fokusgruppen, Interviews) herangezogen werden. Quantitative Methoden sind besonders geeignet, um Zusammenhänge zu messen. Qualitative Methoden hingegen sind dann vorteilhaft, wenn ein tiefergehendes Verständnis individueller Kontextbedingungen angestrebt wird oder bisher unbekannte Perspektiven aufgedeckt werden sollen.

Ein Beispiel für den Einsatz eines Mixed-Methods-Evaluationsdesign im Finanzbildungsbereich ist die Evaluation eines Schulprogramms zur Vermittlung grundlegender Finanzkompetenzen. Quantitative Methoden, wie Tests vor und nach dem Programm, messen mittels statistischer Methoden den Kompetenzzuwachs der Schüler:innen. Qualitative Interviews mit Lehrpersonen, Schüler:innen oder Eltern bieten tiefere Einblicke in die Effektivität des Unterrichts, die Motivation der Schüler:innen und die Übertragung des Gelernten auf alltägliche finanzielle Entscheidungen.

Herausforderungen und Lösungsstrategien

Die Integration von qualitativen und quantitativen Methoden birgt allerdings auch Herausforderungen. Häufig besteht die Gefahr, dass die Erkenntnisse aus beiden Methoden nebeneinanderstehen (z. B. in eigenen, separaten Publikationen), anstatt die Ergebnisse beider Methoden zu integrieren und somit ein umfassendes Bild der Evaluationsergebnisse zu zeichnen. Das vollständige Potenzial eines Mixed-Methods-Ansatzes wird damit in der Praxis oft nicht ausgeschöpft. Ein Grund dafür ist, dass die Integration von Ergebnissen oft mit zusätzlichem Aufwand verbunden ist. Außerdem mangelt es an Richtlinien, die eine Integration von Ergebnissen in der Praxis anleiten.

Um Forschende bei der Evaluation von Finanzbildungsmaßnahmen zu unterstützen, arbeiten wir aktuell an der OeNB Financial Literacy Evaluation Series, die Guidelines rund um die Evaluation von Finanzbildungsmaßnahmen anbietet. Im ersten Beitrag dieser Serie stellen wir in Anlehnung an O’Cathain et al. (2010) drei Techniken vor, die bei der Integration von qualitativen und quantitativen Daten unterstützen. Außerdem gehen wir im Detail auf Mixed-Methods-Ansätze ein, indem wir unterschiedliche Designoptionen für Evaluationen vorstellen und eine Anleitung für die Anwendung von Mixed Methods im Kontext von Finanzbildungsevaluationen geben. Zum Beitrag geht es hier.

Aufgrund der hohen Qualität setzen wir in der OeNB bei vielen unserer Evaluationsprojekte auf Mixed-Methods-Ansätze. Details zu diesen Projekten, können Sie hier nachlesen: Lehrkräftebefragung, Wirkungsmessung Schulpiloten Stiftung Wirtschaftsbildung, Evaluation Pilotprojekts Kindergarten „Geldwert – Wertvoll“).

_{Referenzen: O’Cathain, A., Murphy, E., & Nicholl, J. (2010). Three techniques for integrating data in mixed methods studies. BMJ, 341, c4587. https://doi.org/10.1136/bmj.c4587}