Measurement of writing fluency of students who are learning a language via chatbots

L’aisance en tant que concept signifiant l’utilisation fluide et éloquente de la langue est apparue dans la recherche sur l’apprentissage des langues dans le contexte de CPA (complexité, précision, aisance). Le terme d’aisance a été utilisé à la fois par les chercheurs qui se concentraient sur l’aisance à l’oral, ainsi que par ceux qui se concentraient sur l’aisance écrite. L’objectif était de comprendre les processus cognitifs chez les apprenants et de fournir des idées aux enseignants cherchant à aider les apprenants à améliorer l’aisance. Dans les années 90, les chercheurs ont commencé à considérer l’aisance comme un phénomène temporel et ont commencé à la mesurer. Les mesures de l’aisance ont permis de mieux évaluer la rapidité et l’automaticité des énoncés des apprenants et la quantité de révisions et de pauses. Toutefois, alors que plusieurs chercheurs ont analysé l’aisance des dialogues à l’oral, celle-ci n’a guère été étudié à l’écrit. Dans notre étude, nous avons établi une liste de 16 mesures d’aisance qui permettent de mieux évaluer l’aisance dans les conversations écrites. Pour calculer nos mesures, nous avons créé un package dans le langage de programmation Python. Nous avons ensuite testé nos calculs sur un corpus de conversations d’élèves néerlandophones avec un chatbot. Fluency, as a term that means smooth and eloquent language use, appeared in L2 research in the context of CAF (complexity, accuracy and fluency). It was used by both oral and written researchers to understand learners’ cognitive behaviour and give hints to teachers about how they could help learners to improve fluency. In the 1990s, researchers began to consider fluency as a temporal phenomenon and started measuring it. These measures helped to evaluate the speed and automaticity of the learners’ productions and their revision and pause behaviour. However, despite the fact that several researchers have analysed dialogue oral fluency, very few of them have focused on dialogue writing fluency. In our study we established a set of 16 measures that help to assess dialogue writing fluency. To calculate those measures, we created a package in the Python programming language. We then tested our set of measures on a corpus of Dutch-speaking learners’ conversations with a chatbot.