Способи мінімізації впливу рейтерів на валідність та надійність оцінювання мовних масштабних стандартизованих тестів

Abstract

Стаття розглядає основні фактори впливу рейтерів на валідність та надійність результатів суб’єктивного оцінювання продуктивних видів іншомовної комунікативної компетентності, розглядає різні аспекти тестування як найпоширенішого засобу визначення рівня володіння мовою та аналізує дослідження ефективності навчальних програм для рейтерів з метою мінімізації неточності рейтерів та їхньої непослідовності в оцінюванні, особливо важливої у випадку масштабних стандартизованих тестів. Ключові слова: тестування, валідність, надійність, послідовність, рейтер, іншомовна компетентність, оцінювання

The article highlights the main rater effects on the validity and reliability of foreign language proficiency subjective scoring, describes different aspects of testing as one of the most wide-spread means of language assessment and provides analysis of the existing researches on the efficiency of rater training programs in terms of minimizing raters’ biases and consistency in the process of rating. The objectivity of the proficiency evaluation is of special importance in case of high-stakes examinations such as TOEFL, TOEIC, IELTS, Cambridge English Test, CaMLA, OPI, which demand extreme accuracy of their results. Training raters seems to be the most important way of achieving reliability of the assessment. However, there are few studies researching the exact affects of such sessions as well as the degree of their effectiveness in terms of reducing the raters’ biasedness. Key words: testing, validity, reliability, consistency, rater, L2 proficiency, assessment