Zusammenfassung |
| Das Projekt «Assessing Students’ English Texts» (ASSET)
untersucht, wie Lehrpersonen englische Schülertexte bewerten.
Die Autorinnen und Autoren der Studie eruieren, welche
Eigenschaften der Lehrpersonen sowie der Schüle-rinnen und
Schüler und welche Textmerkmale die Bewertung beeinflussen.
Das Ziel des Projekts ist es, die «diagnostische Kompetenz»
von Lehrpersonen zu ermitteln. Damit ist die Fähigkeit
gemeint, den Kenntnisstand und die Lernschwierigkeiten der
Schülerinnen und Schüler zu erfassen und zu beurteilen. Im
Rahmen von ASSET wurden bereits mehrere experimentelle Studien
durchgeführt. Die Stichproben umfassten angehende und
erfahrene Gymnasiallehrpersonen in Deutschland und der
Schweiz. Mithilfe eines Online-Tools, des «Schülerinventars
ASSET» (SIA), präsentierten die Forschenden den Teilnehmenden
vier verschiedene Texte, bei denen die Qualität bezüglich
Vokabular, Grammatik und Rechtschreibung systematisch
variierte. Die Texte mussten anhand einer vorgegebenen Skala
analysiert werden. Texte von höherer Qualität wurden auch
besser beurteilt. Dies zeigt, dass die Qualitätsmerkmale der
Texte erfolgreich manipuliert wurden. Weiter überprüften die
Forschenden, ob Vorurteile gegenüber der ethnischen Herkunft
bestehen, indem sie den Probandinnen und Probanden abwechselnd
deutsch- und ausländisch-klingende Vornamen zeigten. Die
Autorinnen und Autoren konnten keine Unterschiede in der
Beurteilung aufgrund des Vornamens feststellen. Hingegen
fanden sie sogenannte «Halo-Effekte»: Wenn ein Text z.B. ein
schlechteres Vokabular aufwies, wurde auch die Struktur
negativer beurteilt. |
Description du projet |
| Le projet «Assessing Students’ English Texts» (ASSET) examine
comment les enseignant-e-s évaluent les textes rédigés en
anglais par les élèves. Les auteur-e-s de l’étude cherchent à
identifier les particularités des enseignant-e-s et élèves et
les caractéristiques des textes qui influencent cette
évaluation. L’objectif du projet est de déterminer la
«compétence diagnostique» des enseignant-e-s, c’est-à-dire
l’aptitude à cerner et évaluer le niveau de connaissances et
les difficultés d’apprentissage des élèves. Plusieurs études
expérimentales ont été déjà réalisées dans le cadre du projet
ASSET. Les échantillons se composaient d’enseignant-e-s de
gymnase en devenir ou expérimentés d’Allemagne et de Suisse. À
l’aide d’un outil en ligne («inventaire des élèves ASSET»,
SIA), l’équipe de recherche a présenté aux participant-e-s
quatre différents textes dont la qualité lexicale,
grammaticale et orthographique variait systématiquement. Les
textes devaient être analysés selon une échelle définie. Les
textes de qualité supérieure ont été jugés de meilleure
qualité, preuve d’une manipulation efficace des critères de
qualité des textes. L’équipe de recherche a également vérifié
s’il existait des préjugés vis-à-vis de l’origine ethnique.
Pour cela, ils ont alterné les prénoms à consonance allemande
ou étrangère. Les auteur-e-s n’ont constaté aucune différence
d’évaluation liée au prénom. En revanche, l’effet «de halo» a
été constaté à plusieurs reprises: ainsi, les textes de moins
bonne qualité lexicale étaient également jugés de manière plus
négative en ce qui concerne la structure. |
Schlüsselbegriffe |
| beurteilen, Englisch, diagnostische Kompetenz, Gymnasium, ASSET |
Mots-clés |
| évaluer, anglais, compétence diagnostique, gymnase, ASSET |
Publikationen / Publications |
| Jansen, T., Vögelin, C., Machts, N., Keller, S., Köller, O. &
Möller, J. (2021). Judgment accuracy in experienced versus
student teachers: Assessing essays in English as a foreign
language. Teaching and Teacher Education, 47, 103216. doi:
https://doi.org/10.1016/j.tate.2020.103216
Vögelin, C., Jansen, T., Keller, S.D., Machts, N. & Möller, J.
(2020). Organisational quality of ESL argumentative essays and
its influence on pre-service teachers’ judgments. Cogent
Education, 7(1), 1760188.
doi: https://doi.org/10.1080/2331186X.2020.1760188
Keller, S.D., Vögelin, C., Jansen, T., Machts, N. & Möller, J.
(2019). Can an
instructional video increase the quality of English teachers’
assessment of learner essays? RISTAL, 2, 140–161.
Online siehe:
https://www.ristal.org/fileadmin/user_upload/RISTAL_Keller_MB1 .pdf
Jansen, T., Vögelin, C., Machts, N., Keller, S., & Möller, J.
(2019). Das Schülerinventar ASSET zur Beurteilung von
Schülerar-beiten im Fach Englisch. Drei experimentelle Studien
zu Effekten der Textqualität und der Schülernamen. Psychologie
in Erziehung und Unterricht, 66, 303–315. doi:
http://dx.doi.org/10.2378/peu2019.art21d
Vögelin, C., Jansen, T., Keller, S., Machts, N., & Möller, J.
(2019). The influence of lexical features on teacher
judgements of ESL argumentative essays. Assessing Writing, 39,
50–63. doi: https://doi.org/10.1016/j.asw.2018.12.003
Vögelin, C., Jansen, T., Keller, S. & Möller, J. (2018). The
impact of vocabulary and spelling on judgments of ESL
essays: An analysis of teacher comments. The Language Learning
Journal.
doi: https://doi.org/10.1080/09571736.2018.1522662 |
Methodologie / Méthodes de recherche |
| experimentelle Studien, Online-Befragung, multivariate
Varianzanalyse |
Geographische Angaben / Délimitation géographique |
| Schweiz und Deutschland |
Projekttyp / Type de recherche |
| Eigenprojekt |
Auftraggeber / Mandant de la recherche |
| kein Auftraggeber |
Finanzierung / Financement |
| Schweizerischer Nationalfonds (SNF), Nr: 165483, siehe http://p3.snf.ch/project-165483, Deutsche Forschungsge-meinschaft (DFG) [Mo648/25-1] |
