Одним із пріоритетних напрямів розвитку російської освітина сучасному етапіє забезпечення доступності та рівних можливостей здобуття повноцінної освіти, а також досягнення принципово нової якості професійних освітніх послуг. Очевидно, що основним засобом досягнення цих цілей є збільшення ролі та значення інформаційних технологій. Побудова інтелектуальних навчальних систем – це великий крок у напрямку розвитку та накопичення електронного педагогічного контенту, який сьогодні складається з гіпертекстових, електронних матеріалів та тестів. Основні вимоги до нових навчальних систем включають: інтелектуальність, масштабованість, відкритість, гнучкість і адаптивність на всіх етапах організації процесу навчання.
Останнім часом все більше застосування на різних стадіяхнавчального процесу отримали різноманітні електронні діагностичні механізми (матеріали) – комп'ютерні тести . На жаль, традиційне тестування, яке реалізується за допомогою стандартизованих тестів, поступово втрачає свою актуальність. Воно розвивається та еволюціонує у сучасні, ефективніші інтелектуальні форми адаптивного тестування. Інтелектуальні формидіагностики знань базуються на відмінних від традиційних теоретико-методологічних засадах та інших технологіях побудови та відтворення тестів. У модель системи мають бути включені модулі, які реалізують адаптивні алгоритми.
Ключова перевага адаптивного тестування перед традиційною формою – це очевидна ефективність. Адаптивний тест дозволяє діагностувати рівень знань випробуваного за допомогою значно меншої кількості питань. При взаємодії з одним і тим самим адаптивним тестом випробувані з високим рівнем підготовки і випробувані з низьким рівнем підготовки вирішуватимуть різні підмножини завдань. Перший випробуваний побачить значно більше запитань із високим коефіцієнтом складності, а другий із низьким. Відсоток правильних відповідей у піддослідних може збігатися, але кількість балів істотно відрізнятиметься.
Адаптивне тестування дозволяє більш точно будувати модель знань (освоєних компетенцій) випробуваних. Система комп'ютерного тестування адаптується під рівень користувача у процесі тестування. Завдяки гнучким адаптаційним механізмам система може визначити, яке саме питання та з яким коефіцієнтом складності пред'явити випробуваному у кожний конкретний момент часу. Наприклад, випробуваний починає вирішувати діагностичний набір і йому пред'являється завдання з коефіцієнтом складності b, рішення якого перевіряє знання в рамках деякої дрібної дидактичної одиниці S. Якщо випробуваний вирішує пред'явлене завдання правильно, то аналітичне ядро системи вибирає наступне завдання в рамках тієї ж одиниці S, але з вищим коефіцієнтом складності тощо. Якщо випробуваний відповідає неправильно ініціалізаційне питання дидактичного елемента, йому пред'являється завдання з нижчим коефіцієнтом складності тощо. Граничні значення коефіцієнтів складності описуються в моделі, що використовується при діагностиці.
Комп'ютерна інтелектуальна адаптивна система тестування повинна мати наступний набір характеристик:
Відкритість та розширюваність . Система має бути побудована за модульним принципом. Прикладний склад базових модулів може бути наступним: "База", "Тестер", "Конструктор", "Конфігуратор", "Конструктор звітів", "Модуль планування", "База" призначена для ведення списку користувачів встановленої копії програми, підготовки списку піддослідних, управління довідником груп випробуваних, конфігурування спеціального простору (декомпозиція на тематичні блоки). «Конструктор» призначений для роботи з базою тестових завдань та розробки тестових пакетів. Конфігуратор призначений для налаштування робочих пунктів тестування (підключення тестів, призначення сеансів тестування). "Конструктор звітів" призначений для обробки первинних протоколів тестування та побудови різних звітів. «Модуль планування» призначений для планування та моніторингу процесу тестування. Тестер безпосередньо реалізує адаптивний механізм діагностики рівня знань.
Нелінійність відтворення діагностичного контенту. Має бути реалізований адаптивний інтелектуальний вибір наступного тестового завдання залежно від результатів рішення попередніх.
Відома складність . Всі тестові завдання повинні бути розділені за категоріями труднощі та мати відповідний коефіцієнт, яким можна маніпулювати у процесі адаптації.
Універсальність діагностичної моделі. Система дозволяє проводити повну та якісну перевірку знань великої кількості піддослідних без істотних витрат часу та ресурсів у межах дидактичних одиниць будь-яких розмірів
Достовірність та точність результатів адаптивного тестування. Використовується підхід, який виключає ефективний чинник під час аналізу індивідуальної моделі знань випробуваного.
В даний час розроблено та впроваджено величезну кількість систем комп'ютерного тестування. Такі системи значно різняться за класифікаційними параметрами. І вже зараз можна впевнено сказати, що адаптивні системи комп'ютерного тестування активно займають свою нішу на ринку програмного забезпечення для організації та підтримки педагогічних процесів.
бібліографічний список
- Никифоров, О.Ю. Застосування середовища комп'ютерного тестування на основі бази завдань у тестовій формі у системі контролю якості вищого навчального закладу. / О.Ю. Никифоров, Ю.І. Нікоаре // Управління якістю безперервної освіти: Збірник статей 2-ї міжрегіональної науково-практичної конференції // Відп. редактор О.Ю. Бахтенко; Мін-во освіти та науки РФ; Департ. Освіта Волог. обл.; Вологод. держ. пед. ун-т. - Вологда: ВДПУ, 2011. - 192 с. , с. 72-79.
- Никифоров,О.Ю. Аналіз підсистеми тестування СДВ MOODLE // Інформаційні технології в науці та освіті: Матеріали Міжнародної науково-практичної інтернет-конференції. -Шахти: Вид-во ЮРГУЕС, 2008. - 238 с.
- Никифоров, О.Ю. Узагальнена компонентна модель системи комп'ютерного тестування/О. Ю. Никифоров// Освіта, наука, бізнес: особливості регіонального розвиткута інтеграції: Матеріали Всеросійської науково-методичної конференції. – Череповець, – 2006. – с.309-311.
- Никифоров, О.Ю. Основні елементи завдань у тестовій формі / О. Ю. Никифоров// Освіта, наука, бізнес: особливості регіонального розвитку та інтеграції: Матеріали Всеросійської науково-методичної конференції. – Череповець, – 2006. – с.315-316.
- Никифоров О.Ю., Кокшарова О.І. Комплекс ознак класифікації систем комп'ютерного тестування // Сучасні наукові дослідженнята інновації. 2013. № 6
- Никифоров, О.Ю. Ознаки класифікації систем комп'ютерного тестування/О. Ю. Никифоров// Освіта, наука, бізнес: особливості регіонального розвитку та інтеграції: Матеріали Всеросійської науково-методичної конференції. – Череповець, – 2006. – с.312-314.
Відповідно до Концепції модернізації російської освіти можна назвати, основні зусилля щодо реалізації реформи сьогодні зосереджено збільшення ролі інформаційних технологій. Використовуються вони по-різному: для управління освітнім процесом, для безпосереднього навчання, для контролю та перевірки засвоєння та практичного застосуванняотриманих знань навчальними. Для цього останнім часом все більше застосування на різних етапахнавчання отримали різноманітні тестові опитування. Спектр застосування тестів дуже широкий від короткого опитування після пояснення поточної теми до підсумкових, випускних чи вступних іспитів. При цьому для багатьох вищих навчальних закладів актуальним питаннямє використання інформаційних технологій при розробці автоматизованих систем навчання та контролю знань. Адже використання такого типу систем в освітньому процесі дозволить застосувати нові адаптивні алгоритми тестового контролю, використовувати у тестових завданнях мультимедійні можливості комп'ютерів, зменшити обсяг паперової роботи, прискорити процес підрахунку результатів опитування, спростити адміністрування, знизити витрати на організацію та проведення тестування. На закінчення можна відзначити, що комп'ютерні системи контролю знань набувають все більшої популярності, що пояснюється їхньою об'єктивністю, доступністю та економічною ефективністю.
Виходячи з вищесказаного, було прийнято рішення щодо розробки програмного комплексу, універсальної автоматизованої системи адаптивного тестування (АСАТ) - що є засобом розробки та створення різноманітних тестів, а також використовується для проведення тестування та обробки результатів. Основною вимогою до розробленої системи було її інтелектуальність, що досягається за рахунок організації адаптивності процесу тестування.
Програмний комплекс АСАТ надає такі можливості щодо організації процесу тестування:
Автоматизація процесу створення тестів, якісне проведення тестування.
Відкритість та нарощування системи.
Відсутність жорсткої прив'язки до будь-якого предмета.
Легкість створення та модифікація тестів.
Забезпечення можливості розрахованої на багато користувачів роботи. Персоніфікований доступ до всіх категорій користувачів.
Захист від несанкціонованого доступу до завдань, що тестуються.
Розвинені засоби навігації всіх рівнях під час проведення процесу тестування. Наявність засобу динамічного контролю за процесом тестування з боку викладача.
Налаштування (адаптація) тестового матеріалу під індивідуальні особливості учня (студента, учня, спеціаліста тощо).
Адаптивний вибір наступного питання залежно від правильності попередніх відповідей учня.
Наповнення бази даних тестовими завданнями, що дозволяють працювати як з текстовою, графічною, так і динамічною тестовою інформацією.
Можливість створення різних завдань із одного набору питань.
Можливість проведення тестування частинами курсу і як наслідок проведення підсумкового екзаменаційного тестування по всьому курсу.
Забезпечення повної та якісної перевірки знань великої кількості учнів (студентів, учнів, спеціалістів) без особливих тимчасових витрат та матеріальних засобів за всіма розділами навчального процесу.
Достовірність, точність та об'єктивність результатів тестування. Виняток суб'єктивного підходу до оцінки знань учнів.
Зменшення ймовірності виникнення помилок при підрахунку результатів тестування та виведення підсумкової оцінки.
Звільнення викладачів від трудомісткої роботи з опрацювання результатів тестування.
Оперативний збір та аналіз результатів тестування на будь-який момент часу з можливістю формування періодичних звітів та відомостей з різних запитів.
Впровадження АСАТ у процес навчання студентів Сургу та у загальноосвітні заклади ХМАО – Югри.
За способом оцінки результатів, тести бувають двох видів: традиційні та адаптивні. Перевага адаптивного тесту перед традиційним – його ефективність. Адаптивний тест може визначити рівень знань тестованого за допомогою меншої кількості питань. При виконанні одного і того ж адаптивного тесту тестовані з високим рівнем підготовки та тестовані з низьким рівнем підготовки побачать різні набори питань: перший побачить більша кількістьскладних питань, а останнє – легких. Частки правильних відповідей в обох можуть збігатися, але оскільки перший відповідав більш складні питання, він набере більше балів. Ще один значний ефект - підвищення достовірності, тому що в цьому випадку виключається швидке вивченнябанку завдань шляхом простого "прощелкивания" варіантів на комп'ютері (таким чином, можна дізнатися лише легкі завдання, а важкі та частина середніх виявляються невивченими).
У цій системі тестування адаптивність виявляється у зміні відносних пропорцій у пред'явленні легких, середніх, важких завдань залежно від кількості правильних відповідей, зареєстрованих під час сеансу тестування. Слід зазначити, що перехід на адаптивну методикуможливий лише результаті накопичення значного банку завдань з емпіричним виміряним рівнем труднощі. Адаптивність поєднується з принципом "сходового алгоритму" - пред'явлення завдань із систематичним наростанням рівня проблеми. Спочатку пред'являються легкі завдання, потім - середні і, якщо успішний на попередніх рівнях, - важкі. Після кожної відповіді програма тестування визначає обґрунтованість так званого «дострокового перекладу» тестованого на більш високий рівеньПроблеми. На кожному кроці оцінюється значимість різниці між числом правильних і неправильних відповідей. При значеннях менших ніж 5%-й рівень помилки (у запереченні гіпотези рівноймовірної встречаемости правильних відповідей і помилок) здійснюється переклад тестованого більш високий рівень труднощі. Якщо завдання даного рівня вичерпалися, а тестований не перейшов наступний рівень труднощі, процес тестування завершується і здійснюється визначення рівня знань тестованого.
Система реалізована у вигляді трьох незалежних модулів:
модуля тестування (призначеного для тестованих);
модуля створення та редагування тестів (призначеного для викладача);
модуля статистики та аналізу результатів (призначеного для викладача), які можуть встановлюватись незалежно один від одного на різні клієнтські машини;
для збереження вихідних даних та результатів проведених тестів використовується база даних, яка зберігає банк тестових завдань, параметри налаштування тесту та процесу тестування, інформацію для автентифікації користувачів, результати тестування та іншу інформацію щодо обробки даних.
Модуль створення та редагування тестів здійснює ідентифікацію зареєстрованих або реєстрацію нових викладачів, звертається до бази даних, в якій зберігаються тестові завдання та відповіді до кожного тесту, а також його параметри, та дозволяє викладачеві створити новий тест, змінити налаштування наявного тесту, редагувати питання та відповіді .
Слід зауважити, що викладач, зайшовши в систему під своїм реєстраційним ім'ям та паролем, отримує доступ лише до своєї сукупності тестів, не маючи можливості переглянути чи змінити тести іншого викладача.
Використовуючи базу даних, модуль тестування проводить ідентифікацію зареєстрованих або реєстрацію нових користувачів, вибір тесту, здійснює тестування випробуваного за допомогою виведення на екран питання та подальшого отримання відповіді, обробляє дані, що надійшли, і записує отримані результати тестування в базу даних для можливості подальшого аналізу та використання викладачем.
Тестовані можуть отримати доступ лише до певних тестів, заздалегідь призначених викладачем. При цьому використовується адаптивний алгоритм контролю знань, що зумовлює вибір чергового завдання в залежності від відповідей, що тестується на попередні питання. У цій системі відсутня можливість пропустити питання і повернутися до нього в кінці тестування, це пов'язано з тим, що в залежності від того, як тестований відповість на поточне питання, обумовлюється вибір чергового питання, що задається. Після закінчення тесту для тестованого виводиться результат тестування і короткий коментар. Результатом тестування є оцінка, яку користувач отримує з критеріїв, заданих викладачем для даного тесту.
Модуль статистики та аналізу результатів тестування надає викладачеві можливість переглянути результати тестування окремого студента або цілої групи, по одному або декільком тестам з різним ступенем деталізації. При цьому у звіті відображаються результати всіх студентів з усіх пройдених ними тестів, які стосуються обраного предмета певного викладача.
Оскільки тестування ґрунтується на принципі адаптивності, то питання, а також їх кількість у межах одного тесту для кожного користувача буде неоднаковою. Тому в даному модулі передбачається можливість виводу не тільки загальної інформації, але й детальнішого звіту про проходження тесту, що містить інформацію про те, які користувач отримував запитання та як він на них відповідав.
Створена система відповідає сучасним вимогам, що висуваються до класу подібного типу систем, як у галузі педагогічного тестування, так і в галузі інформаційних технологій.
Бібліографічне посилання
Бушмельова К.І. АВТОМАТИЗОВАНА СИСТЕМА АДАПТИВНОГО ТЕСТУВАННЯ // Фундаментальні дослідження. - 2007. - № 2. - С. 48-50;URL: http://fundamental-research.ru/ru/article/view?id=2517 (дата звернення: 18.09.2019). Пропонуємо до вашої уваги журнали, що видаються у видавництві «Академія Природознавства»
Під адаптивним тестовим контролем розуміють комп'ютеризовану систему науково обґрунтованої перевірки та оцінки результатів навчання, що має високу ефективність за рахунок оптимізації процедур генерації, пред'явлення та оцінки результатів виконання адаптивних тестів. Ефективність контрольно-оцінних процедур підвищується при використанні багатокрокової стратегії відбору та пред'явлення завдань, що базується на алгоритмах з повною контекстною залежністю, в яких черговий крок відбувається тільки після оцінки результатів виконання попереднього кроку. Після виконання випробуваним чергового завдання щоразу виникає потреба у прийнятті рішення про доборі труднощі наступного завдання залежно від цього, вірним чи неправильним був попередній відповідь. Алгоритм відбору і пред'явлення завдань будується за принципом зворотний зв'язок, коли за правильної відповіді випробуваного чергове завдання вибирається важчим, а неправильна відповідь тягне у себе пред'явлення наступного легшого завдання, ніж те, яке випробуваним було дано неправильну відповідь. Також є можливість завдання додаткових питань на теми, які навчається знає не дуже добре для більш тонкого з'ясування рівня знань у цих галузях. Таким чином, можна сказати, що адаптивна модель нагадує викладача на іспиті - якщо учень відповідає на запитання впевнено і правильно, викладач досить швидко ставить йому позитивну оцінку. Якщо учень починає «плавати», то викладач задає йому додаткові або навідні питання того ж рівня складності або з тієї ж теми. І, нарешті, якщо учень від початку відповідає погано, оцінку викладач теж ставить досить швидко, але негативну.
Переваги:
Дозволяє гнучкіше і точно вимірювати знання учнів;
Дозволяє вимірювати знання меншою кількістю завдань, ніж у класичній моделі;
Виявляє теми, які навчається знає погано і дозволяє поставити за ними низку додаткових питань.
Недоліки:
Заздалегідь невідомо, скільки питань необхідно поставити учню, щоб визначити рівень знань. Якщо питань, закладених у систему тестування, виявляється недостатньо, можна перервати тестування та оцінювати результат за кількістю питань, на яку відповів учень;
Можливе застосування лише на ЕОМ.
Класичні шкали оцінки знань та Item Response Theory.
Класична теорія тестування ( Classic Test Theory - CTT ) спочатку створена для інтерпретації діагностичних процедур. Ця теорія створювалася під суто прикладні завдання, тому деякі припущення, що використовуються в основах цієї теорії, необхідно прояснити, тим більше, що в літературі ці підстави майже не обговорюються.
У класичній теорії тестування передбачається явно:
1. Одномірність, тобто. Процедура тесту вимірює тільки одну якість, готовність або здатність.
2. Репрезентативність, яка в рамках CTT розуміється як незалежність ймовірності тієї чи іншої оцінки від того, яка підгрупа із загальної популяції виконуватиме тест.
3. Незалежність завдань, тобто. Завдання не залежать один від одного.
4. Незалежність відповідей піддослідних.
Обидві згадані незалежності розуміються як мінімум у статистичному значенні.
Оскільки діагностичні процедури здебільшого проводилися як тестів, причому у більшості тестів у вигляді закритих чи, рідше, відкритих питань, результат кожної відповіді передбачався вимірним в балах за деякою шкалою.
Крім явних припущень, у цій теорії закладено деякі неявні припущення. Зокрема, неявно передбачається:
- вимірністьвсіх можливих відповідей, тобто. існування ефективної процедури отримання відповіді на будь-яке поставлене питання,
- повнотавідповідей, тобто. отримання відповідей на всі поставлені питання, з чого випливає, що відмови від відповідей до уваги не беруться,
- рівнозначністьвсіх питань і, отже, рівні ваги всіх відповідей, що надійшли,
- рівність дисперсійпри використанні паралельних форм відповідей,
- нормальний розподілвідповідей.
Як і у випадку технічних вимірів, неявно передбачається, що будь-який результат вимірів складається з істинного значення і помилки виміру, і помилки виміру передбачаються адитивними, що потрібно для коректності переходу від сум помилок до однієї інтегральної помилки, причому інтегральна помилка також передбачається нормально розподіленою.
Наскільки коректні ці припущення зазвичай не обговорюється. У всякому разі, найсерйозніші питання щодо CTT пов'язані із забезпеченням реальної незалежності завдань. Не обговорюється також і питання про вибір оціночних шкал, як вихідне припущення передбачається, що «сирі бали» вже отримані.
Точніше питання пов'язане з метрологічним змістом категорії «помилка». У технічних вимірах неявно передбачається, що помилка і породжена нею похибка - властивість вимірювальної процедури, отже, похибка у принципі можна оцінити і врахувати за результатами перевірки і калібрування. При вимірах ергатичних елементів з'являється ще одне джерело помилок - нестабільність самого вимірюваного, що виникає внаслідок дії різних факторів, до найважливіших з яких можна віднести навчання, забування, стомлення та динаміку функціонального стану. Поправки на ці фактори у метрології не обговорюються.
Для отримання підсумкової оцінки використовують різні обчислювальні процедури. Найчастіше обчислюється середній бал за звичайною формулою середнього арифметичного , де підсумковий бал i-го випробуваного, і квадрат відхилення від середнього або варіанти цього показника - середньоквадратичне відхилення чи дисперсія. Для порівняння результатів використовується коефіцієнт кореляції між завданнями та між випробуваними.
Як варіант, іноді використовується зважений середній бал виду, де відповідні вагові коефіцієнти.
З усіх перелічених вище припущень найважче доводити рівнозначність відповідей, оскільки це вимагає доказів суб'єктивної рівності всіх труднощів відповідних відповідей і водночас доказів однакової важливості всіх поставлених питань. Припущення про обчислюваність згаданих статистичних показників вимагає змістовних доказів коректності гомеоморфного вкладення шкали балів у шкалу дійсних чисел, у якій насправді виконуються такі обчислення. Іншими словами, питання як щодо критеріальної, так і щодо конструктної валідності зазвичай залишаються відкритими.
Окрім згаданих стандартних статистичних показників (питання про математичну коректність яких зазвичай не обговорюється) для піддослідних, оцінюються деякі психометричні характеристики вимірювальних процедур з ясним прагматичним, але сумнівним математичним змістом, наприклад,
Коефіцієнт легкості завдання (або аналогічний коефіцієнт труднощі), де- середня оцінка, отримана за завдання,- максимально можлива оцінка за це завдання, при тому, що мінімальна можлива оцінка за будь-яке завдання за умовчанням передбачається нульовою,
Коефіцієнт дискримінації завдання, тобто коефіцієнт кореляції між результатом завдання та підсумковим результатом, або вважається більш інформативним варіант - коефіцієнт кореляції між результатом завдання та підсумковим результатом без урахування цього завдання,
та деякі інші коефіцієнти, тлумачення яких у цій науці відрізняється від загальноприйнятого.
Зокрема, надійністьтут, на відміну від стандартного розуміння, вважається якістю не системи чи об'єкта, а вимірювання, і оцінюється не через час справної роботи або будь-які варіанти цього часу, наприклад, у термінах напрацювання на відмову, а як можливість отримання порівнянних показників, що оцінюються через коефіцієнт кореляції. З такого тлумачення виходять послідовна надійність, Т. е. коефіцієнт кореляції між результатами виконання двох завдань, відстань за часом між якими достатньо у тому, щоб ці завдання можна було вважати суб'єктивно незалежними, паралельна надійність, тобто. коефіцієнт кореляції між результатами варіантів завдань, надійність елементів, тобто. коефіцієнт кореляції між результатами всієї процедури вимірювань та будь-якої його частини та інші показники. Іншими словами, послідовною надійністю в цій науці називають те, що у професійній теорії вимірювань вважають кількісною мірою test-retest-валідності, паралельною надійністю та надійністю форм - мірою test-subtest-валідності, і в цілому спостерігається плутанина в термінології, що призводить до змішування валідності та надійності.
За іншою версією, коефіцієнт надійності визначається як , де - дисперсія помилок виміру, - дисперсія набраних балів, тобто час у такому визначенні коефіцієнта надійності взагалі не згадується.
Сумнівність подібних обчислень з математичної точки зору пов'язана з тим, що вихідні дані спочатку отримані за шкалою балів, на якій задається відношення порядку, і навіть лінійного порядку, але не визначені арифметичні операції. Отже, додавання і за ним обчислення середніх, зважених середніх, дисперсій і кореляцій на шкалі балів не визначено. Ще одне припущення, зрозуміле з прагматичної точки зору, але з явно неадекватним теоретичним обґрунтуванням, зводиться до тверджень про нормальний розподіл відповідей і, отже, із розподілом «сирих балів» на шкалі дійсних чисел. Припущення про логнормальний розподіл тих же балів часто здається правдоподібнішим, але змістовно зазвичай теж не обґрунтовується. Ці припущення дозволяють використовувати під час статистичної обробки результатів добре відомі методи, але математична коректність всіх наступних обчислень після цього припущення не обговорюється.
У літературі широко обговорюється багато проблем традиційного підходу до побудови шкал (метрик) знань як балів за виконання деяких спеціально підібраних наборів завдань.
Насамперед практично неможливо довести test-to-test- і intertest-валідність, отже, питання про порівняння і тим більше про загальний облік результатів вимірювань, виконаних за різними методами, залишається відкритим.
Багаторазово відзначені «ефекти краю», тобто відносна стійкість результатів ближче до медіани розподілу відповідей та нестійкі результати по краях цього розподілу, що зазвичай пояснюється зростанням ролі сторонніх факторів як у нижній, так і верхній частині розподілу. В якості боротьби з цими ефектами зазвичай пропонується емпірично обґрунтована рекомендація задати деякий «довірчий квантиль» розподілу, зазвичай пропонується прийняти, або, і при попаданні відповіді нижче або вищевносити поправки на нестабільність, головним чином, завищувати отримані оцінки за емпірично підібраними поправочними формулами.
У разі закритих питань можливі ситуації випадкового вгадування, для корекції даних у цьому випадку пропонується вносити поправки виду , де результат після корекції, результат (у балах або іншим шкалам) відповіді на запитання до корекції, кількість можливих відповідей питання, w- кількість невиконаних завдань у серії вимірів. Ця формула обґрунтовується емпірично, зокрема, обговорюється питання про доцільність обліку в цій формулі невиконаних завдань, для яких відповідне значення , що зменшує значення, і точаться дискусії про змістовний зміст подібних поправок.
Загалом, метрики якості знань при класичному підході обґрунтовані статистичним калібруванням методів відповідної популяції. З часів створення IQметрологічне обґрунтування вимірювань знань проводиться у разі розподілу балів, обчислених за відповідним контингентом респондентів. Наприклад, вказуються середні значення IQза віковими, соціальними чи професійними групами. Однак із різниці IQНезрозуміло, які важливі відмінності у структурі знань розрізняють ці групи.
Джерело:Анотація
Комп'ютерне навчання (КО) може мати великий потенціал при належному використанні з метою підвищення якості навчання. Однак це якість може підвищуватися шляхом використання комп'ютерного тестування (КТ) і, конкретніше, з використанням комп'ютерного адаптивного тестування (КАТ). З метою даної роботи автор описує механізм і переваги комп'ютерного адаптивного тестування, і як воно може поліпшити процес навчання у предметної галузі науки. Педагогу пропонується прийняти до розгляду деякі обмеження та проблеми в реалізації, також буде обговорюватися природничо-освітня освіта. КЛЮЧОВІ СЛОВА Комп'ютерне адаптивне тестування, КАТ, комп'ютерне тестування, комп'ютерне навчання, природничо освіту, оцінювання, формування зворотного зв'язку.
ВСТУП
Комп'ютерне навчання має вкрай великий потенціал для покращення навчання у багатьох галузях та дисциплінах, у тому числі й у предметній галузі науки. Однак, комп'ютерне навчання має тісно і постійно контролюватись, для забезпечення його ефективності. Це особливо вірно, оскільки деякі попередні дослідження показали, що використання комп'ютера негативно корелює з досягненнями в галузі математики та науки (Papanastasiou та Фердіг, 2003). Хоча не ясно, за яких обставин ці негативні наслідкирозвиваються, і якщо є причинно-наслідковий зв'язок між цими змінними, чому він все ще існує. Отже, ці відносини повинні нагадати педагогові, що використання комп'ютера - не обов'язково "панацея", і що він не повинен використовуватися безвідповідально та брати до уваги студентів, яким важко мати справу з ним. Також цей негативний зв'язок між використанням комп'ютера та досягненням результатів має нагадати педагогам про існування значної потреби у безперервній творчій та підсумковій оцінці в науці. За допомогою правильного оцінювання проблеми, які виникають під час навчання, можуть бути визначені і, можливо, виправлені, якщо їх виявили досить рано. Проте, оцінка також має використовуватися з розумом таким чином, щоб вона могла доповнювати процес навчання. Оскільки комп'ютерне навчання є метою конференції, ця стаття буде пов'язана з комп'ютерним оцінюванням. Мета даної роботи - вийти за рамки простого комп'ютерного навчання для опису комп'ютерного адаптивного тестування, та обговорити його наслідки, переваги, і як воно може ефективно доповнювати комп'ютерне навчання у цій галузі науки.
Опис
Комп'ютерне тестування (КТ) може бути визначено як будь-який вид оцінювання, який здійснюється за допомогою комп'ютера. Проте комп'ютерне тестування може приймати різні форми, в залежності від того, наскільки адаптований тест (College Board, 2000). Наприклад, деякі комп'ютерні тести, які також називаються фіксовані комп'ютеризовані випробування, є чисто лінійними (Парсхол, бризки, Kalohn і Деві, 2002). Це тести, які найближче нагадують папір та олівець для тестування, оскільки вони фіксованої форми, фіксованої довжини, та тестові завдання заздалегідь поставлені у визначеному порядку. На відміну від фіксованих комп'ютеризованих випробувань, комп'ютерні адаптивні тести (КАТ) є комп'ютерними тестами, які мають максимальну ступінь адаптивності, оскільки вони можуть бути адаптовані для кожного студента, виходячи з сумарної складності та порядку, в якому питання надаються випробуваному. Так що комп'ютерні адаптивні тести (КAT) це комп'ютерні тести, які створені та адаптовані спеціально для кожного випробуваного на основі оцінювання здібностей тестованого, і виходячи з відповідей на попередніх кроках.
Переваги комп'ютерних адаптивних тестів
Основними перевагами комп'ютерного адаптивного тестування пов'язані з тим, що є ефективними з погляду часу, і навіть використовуваних ресурсів. Ці переваги будуть обговорені в наступному розділі з погляду піддослідних, з точки зору педагога, який хоче визначити рівень знань студента, а також розробника тесту.
Ефективність
Адаптивні тести дають можливість оцінити здібності випробуваного точніше і з меншими витратами, ніж з допомогою паперових тестів. Типові паперові тести створюються для масового тестування, щоб тест використовувався для великої групи студентів, різних за здібностями. Для того щоб зробити цю більшість питань цього тесту середнього рівня складності (оскільки більшість студентів мають середню успішність) У результаті, тест такого змісту створює проблеми для студентів з високою та низькою успішністю. Піддослідний з низьким рівнем знань може відповісти на перші кілька відносно легких питань. А на запитання середнього та високого рівня складності студенту буде нелегко відповісти. Отже, випробуваний може зрештою вгадати відповіді ці питання, чи може просто залишити їх порожніми. У такому разі важко реально оцінити його знання та можливості, оскільки якісь висновки мають ґрунтуватися лише на відповідях на перші кілька питань, які студент зміг розібрати. Інший, більше конкретний прикладтакій ситуації наводиться нижче. Викладач хоче провести тестування з біології на тему «печінка» низького рівнявимагає встановити місце розташування печінки на картинках людини, а питання високого рівня припускають здатність студента діагностувати хворобу печінки на картинках. У цьому випадку, якщо студент не може навіть визначити місцезнаходження печінки на картині людського тіла, немає причин ставити йому складніше питання. При розгляді таких випробувань з погляду студента з глибокими знаннями біології ситуація трохи краща, хоча вона, як і раніше, не досконала. Більшість питань для нього буде надто легкою для цієї людини. Адаптивні тести дозволяють ефективно підбирати питання, спеціально призначені для певного рівня знань кожного випробуваного. Коли всі питання чітко спрямовані на здібності кожного студента, педагог може досягти більш надійних та достовірних висновків про фактичні знання студента.
Зворотній зв'язок
Ще одна з переваг комп'ютерного випробування в цілому, а також комп'ютерних адаптивних тестів, є те, що вони можуть керувати прямим і безпосереднім зворотним зв'язком студента та викладача (Wise & Plake, 1990). З типовим паперовим тестом завжди виникає затримка за часом між викладачем і тестованим. Без формування оцінки, викладачі не зможуть визначити, чи комп'ютерне навчання покликане дійсно допомагати студенту в навчанні чи ні. Це особливо важливо, тому що без належного оцінювання деякі студенти можуть опинитися в невигідному становищі з комп'ютерного навчання. На додаток до сумарної оцінки, такий вид оцінювання показує, як кожен студент засвоїв матеріал загалом, також можливе надання списку областей та предметів, питання щодо яких зустрічалися у кожного студента, на основі його показників у адаптивному тестуванні. Однак у викладача може виникнути таке питання, при безперервному тестуванні, можливо, деякі студенти запам'ятають тестові питання та проінформують інших студентів про них. Однак, якщо адаптивний тест містить відносно велику базу питань, такої проблеми не виникне, особливо у світлі того, що різні студенти мають отримати різні завдання, що ґрунтуються на рівні їх індивідуальних здібностей.
Час
З погляду розробника тестів, створення адаптивного тесту забирає багато часу, але є ефективнішим з погляду педагога. Зокрема, студенти під час адаптивного тестування мають відповісти на меншу кількість питань, ніж під час звичайного тестування. Крім того, звичайне тестування, як правило, проводиться всією групою, певна кількість часу, яка може не влаштовувати деяких студентів. Викладач і вся група повинні чекати, поки всі студенти завершать тестування, перш ніж вони зможуть перейти до іншого виду діяльності. З комп'ютерним адаптивним тестуванням, студенти можуть складати іспит, коли будуть готові, єдиною умовою є доступність комп'ютера, і вони не повинні чекати, доки вся група буде готова приступати до тестування, або доки вся група закінчить його. З точки зору викладача адаптивне тестування є економним за часом, а також йому більше не доведеться турбуватися про створення тестів для групи доти, поки КАТ може охопити вивчений матеріал. Крім того, викладач заощаджує час на перевірці робіт, оскільки тест оцінюється комп'ютером.
Інші переваги
Комп'ютерне адаптивне тестування має також додаткові переваги. У комп'ютерному адаптивному тестуванні високий рівень безпеки, тому що список питань більше не може бути вкрадений, і списування у сусідів не вигідне, оскільки більшість тестів для кожного індивідуально. Крім того, за допомогою КАТ можуть бути зібрані інші типи даних, такі як кількість часу, витрачена для відповіді на кожне запитання або кількість змін, зроблених для студентів під час тестування.
ВИСНОВОК
Сучасні дослідженняв області тестування та оцінювання показали, що потенціал комп'ютер адаптивних тестів збільшився. Переваги та можливості комп'ютерного адаптивного тестування дають можливість зробити крок ще далі. Це помітно за кількістю великомасштабних тестувань (наприклад, GRE, TOEFL, ASVAB), які стали або стають адаптивними (Papanastasiou, 2001). Тим не менш, на такий крок завжди треба йти з розумом, щоб така процедура оцінювання добре інтегрувалася в процес навчання для забезпечення максимальної ефективності.
Посилання
1. Bennett, R. E. (1999). За допомогою нової технології до несприятливого оцінки. RR99-6. Princeton, NJ: Educational Testing Service. 2. Лорд, Ф. М. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum associates. 3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied psychological measurement, 23(3), 187-194. 4. O'Neill, K. (1995). Діяльність екземеїв з обмеженими можливостями на комп'ютері базується на академічних шкілах. Paper presentd at the American educational research asociation, San Francisco, April, 1995. 5. Papanastasiou, E. C. (2001). A 'Rearrangement Procedure' for administering adaptive tests when review options are permitted. (Doctoral dissertation, Michigan State University, 2001). 6. Papanastasiou, E. (2002a). A 'rearrangement procedure' for scoring adaptive tests with review options. Paper presentd at the National Council of Measurement in Education, New Orleans, LA. 7. Papanastasiou, E. (2002b). Фактори, що відрізняються математичними студентами в Кипрі, Hong Kong, і в США. Educational Research and Evaluation, 8 (1), 129-146. 8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Комп'ютер використовує і математичну літературу. Аналізує існуючі і потенційні відносини. Paper presentd at the third Mediterranean conference on matematics education, Athens, Greece, January 3-5, 2003. 9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer- based testing. NY: Springer 10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, звук і альтернативні відповіді режимів. Paper presentd at the National Council of Measurement in Education, April 9-11, 1996, New York. 11. The College Board. (2000, April). An overview of computer-based testing. RN-09 12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21 (1-2), 121-133. 13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing в higher education. Measurement and evaluation in counseling and development, 23, 3-10.
Elena C. Papanastasiou, Ph.D. University of Kansas and University of Cyprus Department of Education П.О. Box 20537 1678 Nicosia Cyprus
Одним з активно розвиваються та перспективних напрямів у сучасній методиці навчання іноземних мов є використання комп'ютерних технологій для контролю рівня сформованості мовних навичок та умінь.
Комп'ютерне тестування дозволяє інтегрувати в тестових завданнях текстову, графічну, звукову та відеоінформацію, а також повністю автоматизувати процес проведення контрольного вимірювання.
Комп'ютерне тестування дозволяє:
швидко обробляти інформацію, що вводиться;
забезпечувати оперативну Зворотній зв'язок, яка дає можливість піддослідному постійно та негайно отримувати підкріплення правильності відповіді, а викладачеві - здійснювати поетапний чи поопераційний контроль дій тестованого;
підвищувати мотивацію тестованого, оскільки під час роботи з комп'ютерної програмою є елемент незвичайності, схожий на ігровій ситуацією, виникає дух змагальності з комп'ютером;
значно економити час та витрати на організацію та проведення тестування.
Отже, перше завдання, яке дозволяє ефективно вирішити комп'ютер, - зберігати тестові завдання та створювати з них тести, а саме обробляти первинний, вихідний авторський матеріал, вносити до нього необхідні уточнення, виправлення, доповнення; зберігати інформацію, відбирати завдання з електронного банку даних за заданими критеріями та проводити необхідне компонування тестів.
Друге завдання, яке реалізує комп'ютер, - реєстрація тестованих та підготовка останніх до виконання завдань. Наприклад, реєстрація, яка може бути як попередньою, так і безпосередньо перед тестуванням, включає заповнення на екрані комп'ютера реєстраційної картки. Отримавши необхідні відомості, система видає тестованому ідентифікаційний номер.
Комп'ютер може підготувати випробуваного до тестування - провести інструктаж. У комп'ютерну програму включається інформація про методику роботи з тестом: рекомендації з технології виконання тесту, дані про час тестування, процедуру оцінювання тощо. випадкових (що не мають відношення до мовної та мовної компетенції тестованого) помилок, виробити необхідні тимчасові стереотипи.
Наступний етап – проведення сеансу тестування за допомогою комп'ютера. Ключовою проблемою цього етапу є тривалість роботи. Тому важливо в комп'ютерну програму для тестування закласти показ, облік і контроль відведеного, витраченого часу, що залишився у випробуваного.
Щоб розпочати роботу, тестований зобов'язаний зазначити свій ідентифікаційний номер, тобто номер, отриманий під час реєстрації. Після цього йому пред'являється тест із завданнями та інструкціями щодо їх виконання.
Завершення сеансу тестування може бути як добровільним (за бажанням тестованого та з дозволу інструктора, у міру виконання завдань), так і примусовим (при закінченні ліміту часу).
Якщо автори-упорядники тесту спеціально не впорядкували тестові завдання за ступенем складності, не розділили тест на автономні за цілями виконання та видами мовної діяльності розділи-субтести, то припустимо виконання тесту у довільному порядку. В іншому випадку пропуск окремих, наприклад, що здалися важкими, завдань і повернення до них забороняються комп'ютерною програмою.
Після виконання завдань тесту настає етап обробки відповідей та підрахунку балів. Відповідно до класифікації В. І. Нардюжева, І. В. Нардюжева обробка може бути:
локальної, що виконується на місці проведення тестування;
віддаленої, що здійснюється поза місцем проведення сеансів тестування;
формальною, якщо можливе просте порівняння із ключами;
експертної, якщо таке порівняння неможливе і потрібне залучення експертів, фахівців (наприклад, для оцінки розгорнутої усної чи письмової відповіді);
оперативною, що дозволяє продемонструвати результати відразу після тестування;
відкладеної через складний алгоритм розрахунків балів або необхідність отримання висновку рейтера, експерта.
Використання комп'ютера дозволяє здійснювати статистичний аналіз інформації, тобто, з одного боку, дати інформацію про учасників тестування, з іншого – що найважливіше на сучасному етапі розвитку лінгводидактичного тестування – зібрати дані про якість тестових матеріалів.
У першому випадку алгоритм аналізу передбачає:
) вибір об'єкта статистичного аналізу (субтесту);
) визначення кількості учасників тестування даного рівня;
)ранжування тестованих за кількістю набраних балів;
) визначення відсотка правильних відповідей кожне завдання тесту;
) побудова за цифровими даними графіків;
)за необхідності порівняння результатів тестування з різних об'єктів.
У другому випадку статистичний аналіз здійснюється через:
) визначення мінімального, середнього, максимального значення тестових результатів;
) встановлення статистичних параметрів завдання: рівня складності, диференціюючої здібності (здатності завдання відрізняти сильних учнів від слабких);
)аналіз роботи дистракторів, що включає визначення частоти вибору відповідей усіма, а також слабкими та сильними;
) Визначення незалежності завдань у тесті.
Комп'ютерне тестування можливе за наявності спеціально розробленого програмного забезпечення, яке реалізує пропоновану авторами інформаційно-педагогічну модель тестування.
Комп'ютерне забезпечення істотно впливає як зміст тестових завдань (наприклад, використання звукового супроводу передбачає устаткування комп'ютера звуковий картою), і спосіб реалізації інформаційно-педагогічної моделі (наприклад, підключення комп'ютерів до Інтернету дозволяє організовувати і проводити тестування як реального времени).
Комп'ютерні програми для проведення тестування з іноземної мовиможна класифікувати залежно від методу програмування. Програма може бути лінійною: у цьому випадку передбачається єдино можливий напрямроботи з тестом незалежно від якості відповіді учнів на конкретне запитання чи завдання. Наприклад, тестований повинен вибрати один із варіантів відповіді, виконуючи завдання на перевірку розуміння прочитаного тексту:
Лінійна програма може бути ускладнена етапом коригування (наприклад при виконанні завдань на перевірку граматичних навичок). У такому разі комп'ютер повертає тестованого до вихідного завдання, інструкції або правила, якщо неправильна відповідь.
У розгалуженій програмі передбачено роз'яснення, додаткові питання, вказівки, що допомагають виконати вихідні завдання та отримати дозвіл на послідовний рух або рух через кадр.
Програми, що поєднують у собі лінійні та розгалужені ділянки, відносять до групи змішаних чи комбінованих. Вони забезпечують і більшу гнучкість контролю, і пристосовують роботу до індивідуальних можливостей учнів. Водночас комп'ютерне тестування з іноземної мови має свою специфіку та свої вимоги до презентації контрольованого матеріалу та виконання завдань. Однією з основних завдань є максимальне використання всіх каналів подачі інформації, залучення мультимедіатехнологій (графіків, анімаційних кліпів, відеозображення), а також різних посилань на документи та ресурси (довідники, лексичні мінімуми, інтонаційні контури тощо). У свою чергу, використання комп'ютерної дидактичної наочності, що моделює ситуацію спілкування та організує виконання завдань та коригування відповіді, підвищує продуктивність контролюючих комп'ютерних програм та мотивацію тестованих до оволодіння іноземною мовою.
Можливості комп'ютерного тестування
Сьогодні у світі існують різні організації, що займаються не лише розробкою проблем, а й систем комп'ютерного тестування У їх ряді Educational Testing Service (ETS) - Служба тестування освіти ( #"justify">), яка з 1970 р. займається питаннями комп'ютерного тестування та пропонує на Наразікомп'ютерні варіанти TOEFL ( #"justify">) - Test of English як Foreign Language. Цей тест з англійській мовіяк іноземному використовується під час вступу до коледжів США та Канади.
У Франції Національний центр дистанційного навчання (Centre national denseignement à distance) пропонує комп'ютерний варіант тесту з англійської мови як іноземної: , compréhension orale ( # "Justify">). Тест дозволяє визначити рівень володіння англійською як іноземною. Англійська мовна школа "LEcole des Trois Ponts" також пропонує виконати в інтерактивному режимі тести на володіння англійською мовою ( # "Justify">).
У Росії комп'ютерним тестуванням одним із перших почали займатися співробітники кафедри гуманітарних технологій МГУ. Було розроблено технології комп'ютерного дистанційного тестування, у яких функції освітнього чи психологічного тестування розподілені між локальним комп'ютером користувача ("клієнтом") та центральним комп'ютером розробника ("сервером"). Ця нова інформаційна технологія забезпечує швидке та широке поширення тестів, що відповідають міжнародним науковим стандартам. Щорічно під час весняних канікул проводиться телекомунікаційна олімпіада "Телетестінг" для випускників ( # "Justify">). На вказаному вище сайті можна в інтерактивному режимі потренуватися у виконанні деяких завдань (з вибором відповіді) демонстраційних варіантів тестів різних років, у тому числі й з англійської мови.
Комп'ютерне тестування з англійської мови проводять також різні мовні школив Росії. Наприклад, мовні школи BKC-International House ( # "justify">), Transparent Language ( #"justify">) пропонують тести на визначення рівня володіння англійською мовою.
Комп'ютеризована система контролю відкриває широкі змогу індивідуалізації процесу засвоєння знань учнями. Принцип індивідуалізації навчання є основою адаптивного тестування. Адаптивне тестування - це контроль, який дозволяє регулювати труднощі і кількість завдань, що пред'являються кожному учневі в залежності від його відповіді на попереднє завдання: у разі правильної відповіді учень отримає більш важке наступне завдання, у разі неправильної відповіді - завдання легше попереднього. Режим адаптивного тестування (і не лише тестування, а й навчання) передбачає набір завдань у тестовій формі, що вимагають від учня роботи на межі своїх можливостей та забезпечують тим самим максимальний ефект. Використання завдань, що відповідають рівню підготовки учня в адаптивному тестуванні, підвищує точність вимірів, скорочує час індивідуального тестування.
За підсумками аналізу результатів адаптивного тестування можна будувати процес навчання з позицій особистісно орієнтованого підходу, т. е. відбирати навчальні завдання оптимальному рівні проблеми кожному за учня. Відомо, що легкі завдання сприяють розвитку, а важкі - знижують мотивацію навчання. Тому оптимальним рівнем труднощі 4 завдань у тестології вважається 50%.
Комп'ютеризація освіти, розвиток теорії педагогічних вимірів дозволяють створити рейтингову систему контролю для більш об'єктивної та точної оцінки знань, навичок та умінь учнів. Рейтингова оцінка навченості дає можливість із великим ступенем достовірності охарактеризувати якість підготовки учня з цього навчального предмета. "Рейтинг" у перекладі з англійської - це оцінка, деяка чисельна характеристика будь-якого якісного поняття. Зазвичай, під рейтингом розуміється "накопичена оцінка" або оцінка, що враховує "передісторію".
Модульне навчання передбачає жорстке структурування навчальної інформації, змісту навчання та організацію роботи учнів з повними, логічно завершеними навчальними блоками (модулями) Модуль за змістом збігається з темою вивчення навчального предмета. Наприклад, модуль вивчення теми "Географія Англії та Америки". Однак, на відміну від теми в модулі, все вимірюється, все оцінюється: виконання кожного завдання, робота на занятті, відвідування занять, стартовий, проміжний та підсумковий рівні підготовки учнів. У модулі чітко визначено мету навчання, завдання та рівні вивчення даного модуля, названо навички та вміння.
Учні при модульному навчанні завжди повинні знати перелік основних понять, навичок та умінь щодо кожного конкретного модуля, включаючи кількісну міру оцінки якості засвоєння навчального матеріалу. На основі цього переліку складаються питання та навчальні завдання, що охоплюють усі види робіт по модулю, та виносяться на контроль після вивчення модуля. Як правило, у модульної технологіїНавчання використовується тестова форма контролю.
Навчальні модулі та тести можуть бути легко перенесені до комп'ютерного середовища навчання. Багато російські інститутидистанційну освіту будують свої навчальні програми саме на основі модулів.
У модульному навчанні оцінюється у балах кожне завдання, встановлюються його рейтинг та терміни виконання (своєчасне виконання завдання теж оцінюється відповідною кількістю балів), тобто основний принцип рейтингового контролю – це контроль та оцінка якості знань, навичок та умінь з урахуванням систематичності роботи учнів .
Після закінчення навчання з урахуванням модульних оцінок визначається загальна оцінка, яка враховується щодо результатів підсумкового контролю з предмету.
Отже, комп'ютерне тестування поряд із навчанням є сьогодні одним із основних методів нової інформаційної технології оцінки рівня володіння іноземною мовою.
Loading...