УДК 378.147:81

Л.М. Коцюк

Н.В. Ломінська,

Національний університет “Острозька академія”, м. Острог

ПЕРЕВАГИ ТА НЕДОЛІКИ ЕЛЕКТРОННОГО ФОРМАТУ ТЕСТУВАННЯ ПРИ ОЦІНЮВАННІ ЗНАНЬ ІНОЗЕМНОЇ МОВИ (на прикладі досвіду використання тестових інструментів інформаційно-навчальної системи Moodle)

У статті розглянуто проблему доцільності та ефективності проведення оцінювання знань студентів з іноземних мов у тестовій електронній формі у порівнянні з письмовою формою. Дослідження здійснювалось на прикладі досвіду використання тестових інструментів інформаційно-навчальної системи Moodle для перевірки знань студентів, які вивчають іноземні мови. Описано процедуру та проаналізовано результати опитування студентів та викладачів Національного університету «Острозька академія» щодо їх досвіду та ставлення як до паперової, так і до електронної форми тестування з іноземних мов. Результати дослідження показали, що обидві опитувані групи, незважаючи на незначний досвід користування електронними системами для проведення тестування, надають перевагу комп’ютерній формі. Виділено п’ять основних проблемних аспектів, що потребують уваги користувачів при використанні тестових інструментів електронних навчальних платформ: психологічний та фізіологічний комфорт, технічне забезпечення процесу тестування, організація тестування, структура тесту та механізм перевірки і представлення результатів. Як студентам, так і викладачам ще не вистачає знань щодо усіх можливостей електронної навчальної системи і, головне, практичної роботи з електронними тестами. Обґрунтовано переваги та недоліки електронної форми тестування та запропоновано рекомендації щодо особливостей тестування знань студентів саме з іноземних мов. Паперову форму тестування рекомендовано використовувати для виконання творчих завдань та завдань, які передбачають використання графічних символів.

Ключові слова: електронна форма тестування, тестування знань іноземної мови, навчальна платформа Moodle, опитування.

ПРЕИМУЩЕСТВА И НЕДОСТАТКИ ЭЛЕКТРОННОГО ФОРМАТА ТЕСТИРОВАНИЯ ПРИ ОЦЕНКЕ ЗНАНИЙ ИНОСТРАННОГО ЯЗЫКА (на примере опыта использования тестовых инструментов информационно-учебной системы Moodle)

В статье рассматривается проблема целесообразности и эффективности проведения оценивания знаний студентов по иностранным языкам в формате электронного тестирования в сравнении с традиционной письменной формой. Исследование проводилось на примере опыта использования тестовых инструментов информационно-учебной системы Moodle с целью проверки знаний студентов изучающих иностранные языки. Описано процедуру и проанализировано результаты опроса студентов и преподавателей Национального университета «Острожская академия» касательно их опыта использования и отношения как к письменной, так и к электронной формам тестирования по иностранным языкам. Результаты исследования продемонстрировали, что обе опрошенные группы, не смотря на незначительный опыт использования электронных систем в проведении тестирования предпочитают компютерную форму. Выделено пять основных проблемных аспектов требующих внимания пользователей при использовании тестовых инструментов электронных учебных платформ: психологический и физиологический комфорт, техническое обеспечение процесса тестирования, структура теста и механизм проверки и администрирования результатов. Как студентам, так и преподавателям не хватает не только знаний всех возможностей электронной учебной платформы, но и практического опыта работы с электронными тестами. Обосновано преимущества и недостатки электронной формы тестирования, а также предложено рекомендации касающиеся особенностей тестирования знаний студентов по инностранным языкам. Письменное тестирование рекомендуется проводить для творческих заданий и заданий требующих использования графический символов.

Ключевые слова: электронная форма тестирования, тестирование знаний иностранных языков, учебная платформа Moodle, опрос.

ADVANTAGES AND CHALLENGES OF COMPUTER-BASED FOREIGN LANGUAGE SKILLS ASSESSMENT (based on the experience of using testing tools of the Moodle learning platform)

The article deals with the issue of advisability and efficacy of administering computer-based testing (CBT) to assess students’ knowledge of foreign languages compared to the traditional paper-based testing. The research is based on the experience of using testing tools of the Moodle learning platform for the purpose of assessing foreign languages competences. The authors describe the procedure and analyze the results of the survey carried out among the professors and students of the National University of Ostroh Academy aimed at investigating their experience and attitude to both paper-based and computer-based language testing. The study reveals that professors, as well as students, prefer CBT despite the limited experience of using it. The article suggests five factors to consider when using testing tools of the learning platform: psychological and physiological comfort, technological capacity of the institution to support CBT, test structure and administration, and automated assessment and feedback. Not only do professors and students lack theoretical knowledge of the range of the tools the learning platform offers, but they also need more hands-on experience of using computer-assisted language testing. Advantages and challenges of CBT and peculiarities of the computerized foreign language tests have also been considered in the article. Paper and pencil testing is recommended for creative tasks and those which involve graphic symbols.

Key words: computer-based testing, language testing, Moodle learning platform, survey.

Оцінювання результатів роботи та відгук на його результати є ключовими аспектами будь-якого навчального процесу. Якість, об’єктивність, неупередженість та швидкість оцінювання формують у студентів розуміння змісту навчальної дисципліни, визначають їх здатність прогресувати та вдосконалюватися й впливають на студентів у їх подальшому житті та кар’єрі [17].

У сучасному світі використання новітніх комп’ютерних технологій (КТ) дає можливість перетворити процес оцінювання та відгуку на нього у швидкий ефективний засіб, який сприяє здобуттю якісних знань й стимулює студентів до вдосконалення. Такі платформи як Hot Potatoes, Mahara, Moodle, Quia Web, Blackboard, Google Classroom та інші забезпечують широкі можливості не лише для організації навчального процесу та створення курсів для дистанційного навчання, але й для впровадження різних типів тестування.

Низка вітчизняних та зарубіжних вчених В. Аванесов [1; 2], Я. Болюбаш [6], І. Булах та М. Мруга [3], Л. Кухар [4], А. Майоров [5], В. Рахлецька [7], К. Чабан [9; 10], J. Alderson [11; 12], J. Burstein та Chodorow, M. [13], N. Carr [14], C. Chapelle та D. Douglas [15], G. Fulcher та Davidson, F. [16], C. Roener [18] досліджували проблеми використання КТ у навчальному процесі та перевірці знань, визначили переваги та недоліки застосування такого методу тестування та довели його ефективність.

Викладачі Національного університету «Острозька академія» активно працюють над використанням інформаційно-навчальної системи Moodle у навчальному процесі. Платформу Moodle створено для викладання та навчання у різних учбових установах. Однак, у процесі застосування системи для проведення поточного та підсумкового тестування з англійської мови студентів мовних спеціальностей виявили низку проблем та нарікання окремих студентів на цю форму тестування.

Метою статті є аналіз переваг та недоліків використання електронної форми тестування з іноземних мов зважаючи на досвід студентів та викладачів Національного університету “Острозька академія” (НаУОА) та вироблення рекомендацій щодо оптимізації використання кожної з форм (письмової чи електронної) тестування при перевірці знань з іноземних мов.

Навчальне середовище Moodle, що використовується Національним університетом “Острозька академія” як інноваційний продукт вже протягом багатьох років, пропонує різноманіття форм та засобів забезпечення навчального процесу на факультеті романо-германських мов. Традиційними є розміщення навчальних матеріалів, завдань для самостійного вивчення та методичних матеріалів для забезпечення вивчення іноземних мов. Проведення тестувань знань студентів з англійської, німецької, французької, іспанської, польської мов вимагає особливої методики складання тестових завдань та форм проведення. Остання версія 3.1.3+, реалізована у 2016 році має велику кількість ще більш передових інструментів для проведення тестувань та презентації результатів. В залежності від типу тестового питання система дозволяє створити як завдання з можливістю вибору відповіді: наприклад, правдива/неправдива (відповідь на питання, студент обирає між двома варіантами «Так» чи «Ні»); множинний вибір (студент обирає відповідь на питання з декількох запропонованих йому варіантів, причому питання можуть мати одну або відразу декілька правильних відповідей) та на відповідність (кожному елементу відповідей першої групи потрібно зіставити елемент відповідей другої групи, так і з можливістю створення власної відповіді: як наприклад, вкладені відповіді (є текст, безпосередньо в який вставляються короткі відповіді; коротка відповідь (відповіддю на питання є слово або коротка фраза, що студенти вводять за допомогою клавіатури, при цьому допускається кілька правильних відповідей (варіантів написання), які можуть мати різні оцінки, також відповіді можуть бути (або не бути) чутливими до регістру) та есе (студент коротко викладає свій погляд на запропоновану проблему). Такі типи запитань легко інтегруються у традиційну структуру тесту з іноземної мови, яка передбачає письмову перевірку знань. Новітні технології також інтегруються і на етапі перевірки та систематизації результатів. Серед таких опцій корисними стали: можливість аналізу помилок через зворотній зв’язок зі студентом з рекомендаціями щодо методів та змісту навчання, можливість переключення на ручний режим перевірки та залучення мультимедійного матеріалу та інших модулів для перевірки граматики та написання слів і т.д. [8; 19].

Як свідчить досвід, студенти та викладачі не завжди позитивно та з ентузіазмом сприймають нові форми та методи навчання та перевірки знань. Щоб дізнатися реальний стан речей, вирішено було провести опитування серед студентів та викладачів НаУОА. Дослідження проводилося навчально-науковим центром LinguaPark з метою оптимізації засобів та форм перевірки знань з іноземної мови. Дослідження проходило з використанням різних форм:

• письмове опитування – у формі есе студентів на тему To Moodle or not to Moodle та відгуків студентів по закінченню семестру щодо форм та методів роботи під час занять з англійської мови. Загальна кількість опитаних з допомогою письмової форми – 27 студентів-третьокурсників факультету романо-германських мов.
• опитування у формі онлайн-анкетування, яке тривало з 21 грудня 2016 року по 21 січня 2017 року. Інформацію про захід було розіслано усім користувачам корпоративної адреси oa.edu.ua. Респондентам пропонувалося дати відповідь на запитання з варіантами відповідей та можливістю надати інформацію про власний досвід, свої пропозиції і побажання відносно різних форм проведення перевірки знань з іноземної мови. Загальна кількість респондентів, які пройшли онлайн опитування – 102, серед них 89,2% студентів різних факультетів НаУОА та 10,8% викладачів.

Якщо підсумувати досвід виконання тестувань студентами-респондентами у школі та в університеті, то досить очевидно, що більшість тестувань проходило у письмовій формі, хоча в університеті кількість електронних зрізів знань збільшилася (див. Рис. 1).

Рисунок 1. Тестування з іноземної мови в електронній формі в школі та університеті

Серед предметів, які найчастіше передбачали тестування в електронній формі в університеті: Практична граматика англійської мови (85,7% усіх опитаних студентів проходили ці тести), Практична фонетика англійської мови (85,7%), Практика англійської мови (48,6%), Англійська мова для спеціальних цілей (17,1%). У навчальні системі Moodle крім англійської мови перевірялися знання з французької (11,4%), німецької (8,6%) та іспанської (2,9%) мов.

Більшість опитаних викладачів проводять електронні тестування з іноземної мови час від часу (54,5%), проте є й такі (9,1%), які для кожного зрізу знань або часто (9,1%) звертаються до платформи Moodle. 27,3% респондентів зазначають, що надають перевагу паперовій формі перевірки знань і взагалі не використовують електронної форми.

Рисунок 2 показує, що як студенти, так і викладачі віддають перевагу електронній системі оцінювання знань з іноземної мови. Як видно з Рисунка, студенти виявилися більш консервативними та лише з невеликою перевагою у декілька людей обрали електронну форму тестування.

Рис. 2. Вибір студентів та викладачів щодо форми проведення тестувань з іноземної мови

Наступними завданнями опитування було назвати позитивні та негативні сторони паперової та електронної форм тестування з іноземної мови. На це запитання погодилося відповісти розгорнуто 39% студентів та 100% викладачів. Підсумовуючи відповіді респондентів, можемо виділити 5 груп проблем, які турбують як студентів, так і викладачів при написанні тесту з іноземної мови: ПСИХОЛОГІЧНИЙ КОМФОРТ, ФІЗІОЛОГІЧНИЙ КОМФОРТ, ТЕХНІЧНЕ ЗАБЕЗПЕЧЕННЯ, ОРГАНІЗАЦІЯ ТЕСТУВАННЯ, СТРУКТУРА ТЕСТУ, МЕХАНІЗМ ПЕРЕВІРКИ ТА ПРЕДСТАВЛЕННЯ РЕЗУЛЬТАТІВ. Зупинимося на кожній з цих груп детальніше.

ПСИХОЛОГІЧНИЙ КОМФОРТ. Респонденти стверджують, що письмова форма є традиційною формою проведення тестувань з іноземної мови, звичною формою сприйняття інформації і вони почуваються більш впевнено, коли читають завдання та дають відповіді саме таким чином. Саме така форма дає більші можливості для оригінального виконання завдань з застосуванням творчого підходу, не обмежуючись конкретною відповіддю. Респонденти зазначають, що при роботі з комп’ютером їм важко зосередитися; їх лякає не сам тест, а можливість помилитися через недостатність досвіду роботи з комп’ютером чи незнанням структури тесту.

ФІЗІОЛОГІЧНИЙ КОМФОРТ. З точки зору фізіології респонденти скаржаться на обидві форми проведення тестування: при письмовій перевірці знань втомлюються пальці та очі, затрачається багато енергії на довготривале сидіння в одній позі; при електронній перевірці знань студентам заважає гул комп’ютера/ів (якщо їх багато у комп’ютерному класі), а також втомлюються очі.

ТЕХНІЧНЕ ЗАБЕЗПЕЧЕННЯ. Найбільше зауважень студентів та викладачів стосувалося саме технічної сторони як комп’ютерної форми тестування, так і письмової. Як зазначалося у секції ПСИХОЛОГІЧНИЙ КОМФОРТ, зручність у користуванні може впливати на загальний результат зрізу знань. Паперова форма проведення тестування, на думку респондентів, паперо- та фарбозатратна, тести потрібно зберігати у недоступному для користувачів місці для гарантування анонімності та протидії списування, друк тексту може бути нечітким, а розташування завдань у тесті організовано без дотримання вимог (малий шрифт та інтервали для того, щоб скоротити витрати матеріалів при друці). Крім того, при оформленні відповіді, важко приховати виправлення, а на думку деяких студентів, і важче списати. Викладачі зазначають, що якщо тести передбачають залучення якихось особливих значків та графічних елементів (транскрипції, інтонаційні схеми), то паперова форма технічно виконується легше як укладачем тесту, так і виконавцем. Як показує досвід студентів та викладачів, найбільшою проблемою електронної форми тестування стали збої у комп’ютерній мережі, електричному постачанні, або несправність комп’ютера, що були причиною втрати тесту та неможливістю відновлення виконаного. Опитувані, проте, відзначали, що з допомогою комп’ютера можна регулювати чіткість зображення, масштаб, легко переходити з однієї частини тесту в іншу та повертатися, відмічати питання, на які потрібно звернути увагу пізніше. Викладачі зазначають, що з технічної точки зору, електронний тест є більш безпечним, питання можна змішувати, масово виправляти помилки у самому завданні, легко отримати статистику щодо процесу та результатів проходження тесту, давати завдання дистанційно.

ОРГАНІЗАЦІЯ ТЕСТУВАННЯ. Правильна організація електронного тестування також впливає на якість виконаного тесту. Не продумане та не сплановане викладачем завчасно випробування може безпосередньо вплинути на результати студентів. Зокрема, скарги виникали при реєстрації в систему Moodle, оскільки лише зареєстровані користувачі могли проходити тест, а для реєстрації потрібен час. Студенти, які не подбали по це завчасно, більшу увагу надають реєстрації, а не самому тесту. Викладач, у свою чергу, повинен врахувати кількість місць у комп’ютерному класі для одночасного виконання тесту, або розділити студентів на групи, достатні для виконання. Респонденти відзначають, що важливим елементом електронного тестування є обмеження в часі, про що є нагадування на сторінці тесту. Проте, ставлення до такого елементу неоднозначне. Що стосується тривалості виконання тесту, опитувані студенти та викладачі зазначають, що паперова форма більш часозатратна і час можна продовжити враховуючи індивідуальні характеристики кожного студента. Недоліком електронної форми тестування студенти визнають і те, що під час написання тесту не можливо робити нотатки, використати чернетку.

СТРУКТУРА ТЕСТУ, МЕХАНІЗМ ПЕРЕВІРКИ ТА ПРЕДСТАВЛЕННЯ РЕЗУЛЬТАТІВ. На думку респондентів, електронна форма тестування стосовно структури, механізму перевірки та представлення результатів має перевагу над паперовою формою. По-перше, можна чітко задати певну структуру тесту, маючи набір запитань та велику кількість типів завдань, індивідуалізувати кожен тест, змішуючи варіанти відповідей та послідовність завдань. По друге, перевірка відбувається неупереджено, результати видно відразу. По третє, враховуються найменші помилки, які викладач не завжди помітить при перевірці письмового варіанту тесту. Це зауваження неоднозначне, оскільки комп’ютер бачить і помилки технічного характеру, такі як додаткові пробіли між словами, відсутність крапки в кінці речення, велика літера на початку речення. Відповідно, викладач все одно повинен переглядати виконані тести і трактувати такі помилки відповідно до вимог.

Опитування підтвердило припущення про те, що як студенти, так і викладачі мають невеликий досвід виконання та проведення електронних тестувань. Той же досвід, який вони мають, дозволяє стверджувати, що нова форма тестувань має перспективи у перевірці знань з іноземної мови. Навчальна платформа Moodle володіє достатньою кількістю інструментів та засобів для створення та проведення мовних зрізів. За результатами опитування видно, що як студентам, так і викладачам ще не вистачає знань щодо усіх можливостей електронної навчальної системи і, головне, практичної роботи з електронними тестами. Такі навички потрібно розвивати у формі пробних тестувань, без обмеження в часі і які не впливають на загальну оцінку, виконуючи домашні завдання у електронному форматі. Викладачам необхідно враховувати як психологічні, так і фізіологічні умови проходження випробувань та мінімізувати негативний вплив зовнішніх факторів, які можуть вплинути на результат зрізу. Паперова форма тестування також відіграє певну роль у перевірці знань. Рекомендується застосовувати таку для виконання творчих завдань або завдань, які передбачають використання схем, формул чи особливих графічних символів, неможливості доступу до комп’ютерної мережі чи відсутністю технічного обладнання.

Література

1. Аванесов, В. С. Композиция тестовых заданий. – М. : Центр тестирования, 2002. – 239 с.
2. Аванесов, В. С. Форма тестовых заданий. – М. : Центр тестирования, 2005. – 155 с.
3. Булах І.Є., Мруга М.Р. Створюємо якісний тест. Навчальний посібник. – К.: Майстер-клас, 2006. — 160 с.
4. Кухар Л. Використання тестового контролю як засобу моніторингу професійних компетентностей майбутніх фахівців педагогічної галузі / Л. Кухар // Наукові записки. Серія: Проблеми методики фізико-математичної і технологічної освіти. – Кіровоград: ЗИИ КДПУ ім. В. Винниченка, 2015. – № 8. – Т. 4. – С. 66-76.
5. Майоров А. Н. Теория и практика создания тестов для системы образования. – М. : Народное образование, 2000. – 352 с.
6. Педагогічне оцінювання і тестування. Правила, стандарти, відповідальність. Наукове видання / Я.Я. Болюбаш, І.Є. Булах, М.Р. Мруга, І.В. Філончук. – К.: Майстер клас, 2007. – 272 с.
7. Рахлецька В. Я. Особливості використання комп’ютерного тестування у навчанні англійської мови в нефілологічному вищому навчальному закладі. / В. Я. Рахлецька // Вісник Львівського державного університету безпеки життєдіяльності. – Львів. : Вид-во ЛДУ БЖД, 2010. – № 4. – С. 189-193.
8. Система електронного навчання ВНЗ на базі MOODLE: Методичний посібник / Ю. В. Триус, І. В. Герасименко, В. М. Франчук // За ред. Ю. В. Триуса. – Черкаси. – 220 с.
9. Чабан К. О. Комп’ютерна навчальна система «Pilot» для автоматизованого контролю та вимірювання рівня знань / К. О. Чабан //Квалілогія книги. – 2000. – № 3. – С. 287-294.
10. Чабан К. О. Результати використання математичних моделей процедур оцінювання знань студентів у системі комп’ютерного тестування/ К. О. Чабан // Моделювання та інформаційні технології. – 2007. – Вип. 42. – С. 157-162.
11. Alderson, J. C. Diagnosing foreign language proficiency: The interface between learning and assessment. London, England: Continuum International Publishing, 2005.
12. Alderson, J. C., & Huhta, A., 2005. The development of a suite of computer-based diagnostic tests based on the Common European Framework. Language Testing, 22(3), 301-
13. Burstein, J., & Chodorow, M. Progress and new directions in technology for automated essay evaluation. In R. Kaplan (Ed.), The Oxford handbook of applied linguistics (2nd ed., pp. 529–38). – Oxford, England: Oxford University Press, 2010.
14. Carr, N. Designing and analyzing language tests. – Oxford, England: Oxford University Press,
15. Chapelle, C. A., & Douglas, D. Assessing language through computer technology. – Cambridge, England: Cambridge University Press,
16. Fulcher, G., & Davidson, F. Language testing and assessment: An advanced resource book. – London, England: Routledge,
17. Race, Ph., Brown, S., Smith, 500 Tips on Assessment. 2nd edition. – Routledge, 2015. – 184 p.
18. Roever, C. Web-based language testing. Language Learning & Technology, 2001. – 5(2), 84-94.
19. Suvorov, R., & Hegelheimer, V. (2013). Computer-assisted language testing. In A. J. Kunnan (Ed.), Companion to Language Assessment (pp. 593-613). Malden, MA: Wiley-Blackwell.