Accuracy across proficiency levels : insights from an error-tagged EFL learner corpus

(eng) This PhD thesis zooms in on the construct of accuracy among intermediate to advanced learners of English as a Foreign Language. Its overarching aim is to trace the behavioural development of errors across four levels of proficiency, viz. B1 (lower-intermediate), B2 (upper-intermediate), C1 (advanced), and C2 (mastery), as defined by the Common European Framework of Reference for Languages (henceforth CEF) (Council of Europe, 2001). Concretely, accuracy developmental profiles have been identified in terms of specific areas of progress, stabilisation and regression across the above-mentioned levels. Adopting such a developmental focus has helped fill a small part of the void in second language acquisition research which, to this day, has tended to favour the cross-sectional study of learner language. The methodology adopted in this PhD is based on data taken from the International Corpus of Learner English (henceforth ICLE) (Granger et al., 2009). A total of 223 learner argumentative essays were selected from the French, German, and Spanish components of ICLE, amounting to c. 150,000 tokens altogether (i.e. c. 50,000 words per L1 group). Each text was submitted to a two-tiered system of analysis: the error tagging phase involved annotating each script for errors on the basis of 46 distinct error types while the CEF rating phase assigned one final CEF score (either B1, B2, C1 or C2) to each essay. Following these two steps, each text was accompanied by a detailed error profile and a CEF score, hence enabling the study of errors from a developmental perspective. The error counting method adopted in our work, i.e. potential occasion analysis, involved counting the error types at each level out of a more refined denominator than de-facto the total number of words (e.g. the noun-number errors were counted out of the total number of nouns used in each text). The figures thus obtained were subsequently submitted to an ANOVA statistical test to identify areas of significant progress, stabilisation and regression. The results yielded by the developmental error analyses have implications for second language acquisition research as well as for language testing research. In terms of second language acquisition, the developmental trends pinpointed here revealed that EFL accuracy development from B1 to C2 is mainly characterised by a mixture of progress and stabilisation tendencies, with regression being rarer. The behavioural trends found in the learner corpus sample were subsequently compared with the development implied in the CEF descriptors for grammatical accuracy, vocabulary control, orthographic control, coherence and cohesion. It was revealed that using the development attested by learner corpus data could lead to stronger, more concrete language descriptors for specific learner groups at given proficiency levels.

(fre) La présente thèse de doctorat se concentre sur la notion de justesse langagière chez les apprenants intermédiaires et avancés de l’anglais langue étrangère. Le but principal de notre travail est d’identifier le type de développement exhibé par les erreurs à travers quatre niveaux de compétence langagière, viz. B1 (intermédiaire), B2 (intermédiaire supérieur), C1 (avancé), C2 (très avancé), tels que ces niveaux sont définis dans le Cadre européen commun de référence pour les langues (CEF) (Council of Europe, 2001). Concrètement, les profils développementaux de justesse langagière ont été identifiés en termes de progression, stabilisation et régression à travers les quatre niveaux. Le fait d’analyser les erreurs selon leur développement à travers différents niveaux de compétence a apporté une pierre à l’édifice des études en acquisition des langues qui, jusqu’à présent, ont préféré étudier les apprenants à un niveau donné plutôt qu’en termes de développement à travers plusieurs niveaux. La méthodologie utilisée dans notre travail se base sur le International Corpus of Learner English (ICLE) (Granger et al., 2009). Un total de 223 textes argumentatifs a été sélectionné à partir des sous-corpus francophone, germanophone et hispanophone de ICLE. Ceci représente un total de c. 150000 mots (i.e. c. 50000 mots par langue maternelle). Chaque texte a été soumis à une double analyse méthodologique: dans un premier temps, les textes ont été codés selon un système de 46 erreurs distinctes. Dans un second temps, les rédactions ont été jugées selon le CEF afin d’attribuer un score final à chacune (i.e. soit B1, B2, C1 ou C2). Cette double analyse a comme résultat que chaque texte est accompagné d’un profil détaillé d’erreurs ainsi que d’une information concernant le niveau de compétence de chaque apprenant. Ceci a, par conséquent, permis l’étude des erreurs de manière développementale. La méthode selon laquelle les erreurs ont été comptées à chaque niveau (i.e. ‘potential occasion analysis’ ou ‘analyse des occasions potentielles d’erreur’), consiste en la création de dénominateurs plus précis que l’utilisation par défaut du nombre total de mots (e.g. les erreurs de type noms au singulier/noms au pluriel ont été comptées sur le nombre total de noms dans chaque texte). Les nombres obtenus ont ensuite été soumis à un teste statistique ANOVA afin d’identifier les endroits de progrès, stabilisation et régression. Les résultats obtenus de l’analyse développementale des erreurs ont un nombre d’implications pour la recherche en acquisition des langues ainsi que pour la recherche en évaluation des langues. Concernant l’acquisition des langues, notre étude a montré que le développement des erreurs entre les niveaux intermédiaire et avancé était surtout caractérisé par des tendances de progrès et de stabilisation, la régression étant plus rare. Les profils de développement révélés par notre corpus ont ensuite été comparés avec les profils sous-entendus dans les descripteurs de justesse grammaticale, contrôle lexical, contrôle orthographique, et cohérence et cohésion du CEF. Il est apparu que les profils développementaux résultant d’une analyse de corpus pouvaient donner lieu à la création de descripteurs plus concrets et fiables pour une population donnée d’apprenants.