Zusammenfassung |
| Die Kompetenzentwicklung und -messung sind für die berufliche Bildung von grossem
Interesse. Dafür sind adäquate und validierte Messinstrumente unabdingbar. Vielfach
werden jedoch bei der Entwicklung von Messinstrumenten die zu deren
Qualitätsbeurteilung durchgeführten Validierungsschritte weder dokumentiert noch
nachvollziehbar gemacht. Es ist wichtig, zu verstehen, was ein Instrument genau misst,
u.a. um Testergebnisse zu bewerten, Replikationsstudien durchzuführen und um
Anpassungen vorzunehmen. Dazu sind eingehendere und qualitative
Validierungsstudien erforderlich.
Dieser Beitrag stellt einen aus dem medizinischen Bereich stammenden
Validierungsansatz entlang ei-ner neu entwickelten computergestützten Simulation
(simuLINCA) vor. Diese misst grundlegendes kaufmännisches Wissen und Können von
kaufmännischen Lernenden. Es wurden zwei Ziele verfolgt: (a) eine Überprüfung, ob
der genannte Ansatz auch für den Berufsbildungsbereich geeignet ist, und (b) eine
konkrete Veranschaulichung des Entwicklungsprozesses und der Validierung des
Instruments simuLINCA. Der Ansatz erwies sich als praktikabel für die Berufsbildung
und für die Erstellung und Validierung eines Instruments zur Messung kaufmännischen
Wissens und Könnens. Einerseits stellt er praktische Richtlinien zur Verfügung, die bei
der Durchführung der Kompetenzmessung (inkl. Validierung) helfen und die Transparenz
des Vorgehens erhöhen. Andererseits ist er flexibel genug, um verschiedene Konzepte
von Testentwicklung und Validität zu berücksichtigen. Nach einer Erweiterung und
leichten Modifizierung steht ein praktischer Validierungsrahmen zur Unterstützung der
Anwendung für den Berufsbildungskontext zur Verfügung. Das computergestützte
Testinstrument simuLINCA zeigte zufriedenstellende Hinweise auf ein valides
Messinstrument. Im Rahmen dieser Forschung erschien eine kumulative Dissertation, die
fünf Forschungsbeiträge zu diesem Thema in einen grösseren Zusammenhang einordnet (vgl. Veröffentlichungen).
|
Description du projet |
| Le développement et l’évaluation des compétences ont un grand intérêt pour la
formation professionnelle et requièrent des instruments de mesure adéquats et validés.
Dans de nombreux cas cependant, lors du développement d’instruments de mesure, les
étapes de validation nécessaires à l’évaluation de leur qualité ne sont ni documentées ni
rendues transparentes. Il est important de comprendre ce qu’un instrument mesure
effectivement, entre autres pour évaluer les résultats des tests, pour mener des études
de réplication et pour effectuer des adaptations. Par conséquent, des études de
validation plus approfondies et qualitatives sont nécessaires.
Ce travail de recherche présente une approche de validation issue du domaine médical,
à partir d’un outil de simulation inédite assistée par ordinateur appelé (simuLINCA). Cet
outil mesure les connaissances et les compétences commerciales de base chez les
d’apprenant-e-s dans une filière commerciale. Les objectifs de ce travail étaient
doubles: (a) vérifier si l’approche choisie était également adaptée au domaine de la
formation professionnelle, et (b) illustrer concrètement le processus de développement
et la validation de l’instrument simuLINCA. Cette approche s’est révélée praticable,
d’une part pour la formation professionnelle, d’autre part pour la création et la validation
d’un instrument de mesure des connaissances et compétences commerciales. Elle
fournit des lignes directrices pratiques et utiles dans l’évaluation des compétences
(validation inclue), rendant le procédé plus transparent. En plus, elle est suffisamment
flexible pour prendre en compte différents concepts de développement de tests et de
validité. Après une extension et une légère modification, un cadre pratique de validation
est mis en œuvre pour soutenir l’application dans le contexte de la formation
professionnelle. L’instrument de test assisté par ordinateur simuLINCA s’est révélé être
un instrument de mesure suffisamment valide. Dans le cadre de ce projet de recherche,
une thèse de doctorat cumulative replaçant cinq travaux de recherche sur cette
thématique dans un contexte plus large a été publiée (cf. publications).
|
Schlüsselbegriffe |
| Berufsbildung, berufliche Grundbildung, Kompetenzmessung, Validierung, computerbasierte Simulation, kaufmännische Ausbildung
|
Mots-clés |
| formation professionnelle, formation professionnelle initiale, évaluation des compétences, validation, simulation assistée par ordinateur, formation commerciale
|
Publikationen / Publications |
| Rohr-Mentele, S. & Forster-Heinzer, S. (2021). Practical validation framework for
competence measurement in VET: a validation study of an instrument for measuring
basic commercial knowledge and skills in Switzerland. Empirical Research in Vocational
Education and Training, 13(18). doi: https://doi.org/10.1186/s40461-021-00122-2
Weitere Publikationen:
Rohr-Mentele, S. (2022). Modellierung und Messung von Kompetenzen Kaufmännisch
Lernender in der Schweiz (Dissertation, Universität
Zürich). doi: https://doi.org/10.5167/uzh-219237. PDF siehe hier.
Artikel der kumulativen Dissertation:
Rohr-Mentele, S. & Forster-Heinzer, S. (2021). Practical validation framework for
competence measurement in VET: a validation study of an instrument for measuring
basic commercial knowledge and skills in Switzerland. Empirical Res Voc Ed Train,
13(18). doi: https://doi.org/10.1186/s40461-021-00122-2
Sticca, F., Rohr-Mentele, S. & Forster-Heinzer, S. (2018). Kompetenzentwicklung von
kaufmännischen Lernenden. In F. Eberle & D.Holtsch (Hrsg.), Untersuchungen zu Lehr-Lernprozessen im kaufmännischen Bereich: Ergebnisse aus dem Leading House LINCA
und Schlussfolgerungen für die Praxis (S. 59–88). Münster: Waxmann.
Holtsch, D., Rohr-Mentele, S., Dettwiler, N., Sticca, F. & Eberle, F. (2017). Die Bedeutung
der Eingangsvoraussetzungen in Mathematik und Deutsch sowie kognitiver
Grundfähigkeiten für kaufmännisches Wissen und Können. In D. Leiss, M. Hagena, A.
Neumann & K. Schwippert (Hrsg.), Mathematik und Sprache: empirischer
Forschungsstand und unterrichtliche Herausforderungen (S. 189–212). Münster:
Waxmann.
|
Methodologie / Méthodes de recherche |
| konzeptionelle Validierung, Bewertungsmodell inkl. Validierungsprozess nach Cook und Hatala |
Geographische Angaben / Délimitation géographique |
| Schweiz |
Projekttyp / Type de recherche |
| Eigenprojekt der erwähnten Institutionen, Validierungsstudie |
Auftraggeber / Mandant de la recherche |
| ohne Auftrag |
Finanzierung / Financement |
| im Rahmen der finanziellen Mittel der aufgeführten Institutionen // Universität Zürich, SBFI (Leading House) |
