Forschungsprojekt / Projet de recherche

ID: 207684
Projektnummer / No de projet 17:097
Beginn / Début2015
Ende / Fin2016

Titel, Thema / Titre, thématique

Vor- und Nachteile von Meta-Analysen mit Roh- bzw. aggregierten Daten

Titel, Thema übersetzt / Titre ou thématique, traduction

Avantages et inconvénients des méta-analyses de données brutes ou agrégées

Forschende Institution(en) / Institution(s) de recherche

Universität Konstanz – Experimentelle Psychologie und Internet-Forschung 
Universität Zürich (UZH) – Institut für Erziehungswissenschaft (IfE), Zürich 

Forschende(r) / Chercheur(s)

Esther Kaufmann    
Katharina Maag Merki    
Ulf-Dietrich Reips    

Kontaktperson / Personne à contacter

Esther Kaufmann  

Zusammenfassung

Ziel dieser Arbeit war es, mittels einer systematischen Review die Qualität von Online- und Offline­daten­­erfassungsprozessen in Meta-Analysen individueller Teilnehmerdaten (englisch: individual participant data meta analysis, kurz IPD-Metaanalyse) mit pädagogischen-psychologischem Bezug zu verifizieren. Die Studie definiert eine IPD-Meta-Analyse als basierend auf allen Roh- bzw. Einzeldaten, die aus verschiedenen Studien zusammengefügt und analysiert werden – im Gegensatz zu einer Meta-Analyse aggregierter Daten aus Einzelstudien.

Die Studie hebt die Vorteile von IPD-Meta-Analysen gegenüber klassischen Meta-Analysen hervor, so zum Beispiel die Möglichkeit von Heterogenitätsprüfungen sowie die Vermeidung von Verzerrungen durch Aggregation (bspw. ökologischer Fehlschluss oder Simpson-Paradox). Der Artikel beschreibt weiter, wie die Hauptnachteile, insbesondere die zeitaufwendige und kostspielige Datenerfassung, durch internet­basierte Forschung überwunden werden können. Die Autorenschaft argumentiert, die Nutzung internet­basierter Forschung als Teil der Datenerfassungsphase einer IPD-Metaanalyse sei ein wirksames Mittel, Zeit und Geld zu sparen. Darüber hinaus biete diese Forschung eine zusätzliche Replikationsprüfung, indem sie den Datenerfassungsprozess (online vs. offline) im Detail analysiere.

Weiter wurde eine Literaturrecherche durchgeführt, um zu überprüfen, ob die veröffentlichten IPD-Metaanalysen bereits Online- und Offline-Datenerfassungsprozesse berücksichtigen. Abschliessend zeigen die Autorinnen und der Autor, wie eine ideale IPD-Metaanalyse im pädagogischen Kontext durchgeführt werden könnte und nehmen hierzu den Themenbereich der Urteilsgenauigkeit von Lehrpersonen als Beispiel.


Description du projet

L’objectif du présent travail était de vérifier à l’aide d’une revue systématique la qualité des processus de saisie de données en ligne et hors ligne au travers de méta-analyses sur les données individuelles de participants (en anglais: individual participant data meta analysis, ou méta-analyse IPD) dans un contexte pédagogique/psychologique. Selon la définition de l’étude, une méta-analyse IPD consiste à réunir toutes les données brutes ou individuelles provenant de différentes études et de les analyser – contrairement à ce qui est le cas dans une méta-analyse de données agrégées provenant d’études individuelles.

L’étude souligne les avantages des méta-analyses IPD par rapport aux méta-analyses classiques, tels que la possibilité de procéder à des contrôles d’hétérogénéité et d’éviter les distorsions causées par l’agrégation (p. ex. le sophisme écologique ou le paradoxe de Simpson). L’article décrit en outre comment les principaux inconvénients, notamment la saisie longue et coûteuse des données, peuvent être éliminés grâce à une méthode de recherche basée sur Internet. Les auteur-e-s avancent que le recours à une recherche basée sur Internet pendant la phase de saisie des données d’une méta-analyse IPD est un moyen efficace d’économiser à la fois du temps et de l’argent. Cette méthode de recherche offrirait en outre la possibilité d’effectuer un contrôle de répétition supplémentaire en analysant de manière détaillée le processus de saisie des données (en ligne vs. hors ligne).

Les auteur-e-s ont également effectué des recherches bibliographiques afin de vérifier si les méta-analyses IPD publiées considéraient déjà des processus de saisie de données en ligne et hors ligne. Enfin, les auteures montrent comment une méta-analyse IPD idéale pourrait être réalisée dans un contexte pédagogique, par exemple sur la question de l’exactitude du jugement des enseignants.


Schlüsselbegriffe

Meta-Analyse, pädagogische Psychologie, Datenanalyse, Rohdaten, Methodologie, Sozialwissenschaften

Mots-clés

méta-analyse, psychologie de l’éducation, analyse de données, données brutes, méthodologie, sciences sociales

Publikationen / Publications

Kaufmann, Esther; Reips, Ulf-Dietrich & Maag Merki, Katharina (2016). Avoiding Methodological Biases in Meta-Analysis. Use of Online Versus Offline Individual Participant Data (IPD) in Educational Psychology (Zeitschrift für Psychologie, 3, p. 157–167), DOI

Methodologie / Méthodes de recherche

methodologische Forschung, Meta-Forschung, Literaturanalyse, Metaanalyse, systematische Review

Geographische Angaben / Délimitation géographique

ohne Bedeutung

Projekttyp / Type de recherche

Eigenprojekt der genannten Personen

Auftraggeber / Mandant de la recherche

kein Auftraggeber

Finanzierung / Financement

im Rahmen der ordentlichen Mittel

PDF-File dieser Meldung /
Cette information en PDF
herunterladen /télécharger