Зростаюча складність завдань у цій методиці визначається. Тести у технології блочного навчання математики учнів повної середньої школи. Дискримінативність тестового завдання

У попередній статті розглянуто дев'ять принципів розробки змісту педагогічних тестів. У фокусі цієї статті – десятий принцип: зростаюча складність завдань тесту.

Якщо педагогічний тест визначити коротко як систему завдань поступово зростаючої проблеми, стане зрозуміло, що складність завдань є найважливішим, скажімо так, тест утворюючим показником. Чимало керівників шкіл вважають, що їхні вчителі можуть "придумати" за короткий часможуть скільки завгодно "тестів". Насправді ж можна вигадати досить багато завдань у тестовій формі. А зовсім не тести, а лише завдання. Їх не можна включати в даний тест до тих пір, поки не стане відомою міра їх проблеми, а також інші властивості. Міра проблеми перевіряється емпірично.На цьому вимоги стає зрозумілою обов'язковість попередньої емпіричної перевірки кожного завдання, на початок тестування. У процесі перевірки багато завдань не витримують вимог, що пред'являються до них, і тому не включаються до тесту. Перша вимога до тестових завдань: у тесті завдання мають різнитися за рівнем проблеми, що випливає з цього визначення тесту і аналізованого принципу.

Уважний читач ймовірно вже вловив відмінності в лексиці трьох як би "непомітно" введених тут основних понять теорії педагогічних вимірів: поняття педагогічного тесту, завдання тестової форми та тестового завдання. Вимоги до першого їх було розглянуто у статті " Визначення педагогічного тесту " (УШ № 30, серпень 1999г.).

Вимоги до другого поняття краще ввести зараз, зробивши це хоча б коротко перерахувавши їх, щоб не відволіктися від основної теми статті. До завдань у тестовій формі пред'являються такі вимоги:

Короткість;

Технологічність;

Правильність форми;

Правильність утримання

Логічна форма висловлювання;

Однаковість правил оцінки відповідей;

Наявність певного місця відповідей;

Однаковість інструкції всім випробуваних;

Правильність розташування елементів завдання;

Аванесов В.С. Основи педагогічної теорії вимірів // Педагогічні Виміри, 1, 2004р. С. 17.

Детальне тлумачення цих вимог піде в наступних статтях, а тепер хотілося б звернути увагу читача на те, що тут немає вимоги певної проблеми завдання, тоді як до тесту і тестового завдання така вимога пред'являється. З міркування над цим і раніше опублікованим матеріалом можна зробити два висновки. Перший - що у тесті немає місця завданням із невідомим заходом труднощі. І другий – що не всі запропоновані завдання у тестовій формі можуть стати тестовими завданнями: це різні поняття. У першому понятті найістотнішими є вимоги змісту та форми. До тестових завдань в першу чергу пред'являється вимога відомої проблеми, те, що явно не потрібно у завдань у тестовій формі. Можна повторити, що завдання мають шанс стати тестовими лише після емпіричної перевірки міри їхньої труднощі, на типових групах випробуваних.

Показник проблеми тесту та тестових завданьє змістовним та формальним одночасно. Змістовним, тому що в хорошому тестіПроблема може залежати тільки від складності змісту завдань і рівня підготовленості самих випробуваних. У той час, як у поганому тесті на результати починають помітно впливати форма завдань (особливо якщо вона не адекватна змісту), погана організація тестування, якщо є можливості списування, витоку інформації. Особливої згадки у цьому заслуговує шкідлива практика націленої підготовки учнів єдиного державного іспиту. Педагогів, котрі займалися такою справою, міністр освіти Росії 1907 року І. Толстой називав натаскивателями. Але педагоги винні найменше. Виною є помилкова система "егування", яка підштовхує до такої помилкової практики. Який контроль, така й освіта.

Формальна складова сторона показника проблеми виникає при розгляді тестування як процесу протиборства випробуваного з запропонованим завданням. Отримуваний при цьому результат корисно розглядати як результат такого протиборства. При спрощеному тлумаченні кожного випадку пред'явлення завдання часто, але він обов'язково розглядаються два результати: перемога випробуваного при правильному рішеннізавдання, де він отримує один бал, або поразка, за що подається нуль балів. Оцінка результату протиборства залежить від співвідношення рівня знання тестованого до рівня проблеми завдання, від обраної одиниці виміру знань і заздалегідь прийнятого правила (конвенції) - що вважати " перемогою " випробуваного, і чи допустима нічия, якщо говорити мовою спорту.

Принцип зростаючої труднощі використовується при викладі змісту багатьох підручників та посібників, особливо з тих навчальних дисциплін, які побудовані за кумулятивним принципом, що означає: знання наступних елементів курсу явно залежить від знання попередніх навчальних елементів. Така побудова властива підручникам з математики, логіки, іноземним мовам, статистиці, технічним та багатьом іншим наукам Вони раніше вивчені поняття активно використовують у наступних темах. Тому вивчати такі дисципліни потрібно лише з самого початку і без прогалин.

Більшість авторів, особливо зарубіжних, не роблять відмінностей між поняттями "трудність" та "складність". Багато розробників тестів - те саме. Проте є роботи, у яких ці поняття визначаються по-різному. Наприклад, А.Н.Захаров і А.М.Матюшкін зазначають, що ступінь складності навчального завдання не збігається з його складністю. Ступінь складності навчального матеріалухарактеризується реальною (об'єктивною) насиченістю навчального завдання і формою його викладу, а ступінь труднощі завжди передбачає співвіднесення навчального матеріалу, що підлягає засвоєнню, з раніше засвоєним навчальним матеріалом та інтелектуальними можливостями учнів (1).

Л.М. Ланда пояснював труднощі навчального завданнятим, що учні часто не знають тих операцій, які треба робити, щоб знайти рішення. Якщо систему операцій на вирішення деякого класу завдань назвати методом розв'язання, то, на його думку, труднощі пов'язані з незнанням методу, з незнанням, як слід думати у процесі рішення, як й у який послідовності треба діяти з умовами задачі (2). Труднощі, що виникають, пояснюються тим, що педагог часто намагається дати знання про зміст досліджуваного і значно менше піклується про те, як треба думати, розмірковувати (там же). Подібне тлумачення перетинається з ідеєю про зв'язок складності завдання з кількістю операцій, які необхідно здійснити для досягнення успіху. Ці визначення складності та складності є, здебільшого, психологічними; вони корисні при психологічний аналіззмісту тестових завдань.

Традиційним заходом проблеми кожного завдання довгі рокибула частка правильних відповідей у групі піддослідних, що зображується символом p j , де індекс j вказує на номер завдання (1, 2 і т. д.). Наприклад, якщо правильні відповіді досліджуваних на третє завдання тесту оцінювати одним балом, а неправильні - нулем, то значення показника p 3 можна знайти з елементарного відношення:

P 3 = R 3 /N,

де R 3 означає число правильних відповідей дане завдання, а N - загальне числовипробуваних у групі. Загальна формуларозрахунку частки правильних відповідей на будь-яке завдання (j) має відповідно вигляд

p j = R j / N

Показник pj. довго використовувався як міра труднощі в так званій класичної теоріїтестів (3). Пізніше була усвідомлена змістова неточність, що міститься в ній: адже збільшення значення p j вказує не на зростання труднощі, а, навпаки, на зростання легкості, якщо можна використовувати таке слово. Тому в Останніми рокамиз показником проблеми завдань стали асоціювати протилежну статистику - частку неправильних відповідей (q j). Ця частка обчислюється з відношення числа неправильних відповідей (Wj-від англ слова Wrong - неправильний) до випробуваних (N):

q j = W j / N

Природно приймається, що p j + q j = 1. У класичної теорії тестів багато років розглядалися лише емпіричні показники проблеми. У нових варіантах психологічних та педагогічних теорій тестів більше увага стала приділятися характеру розумової діяльності учнів у процесі виконання тестових завдань різних форм (4).

Зміст тесту може бути лише легким, середнім чи важким. Тут повною мірою проявляється відома думка про залежність результатів методу. Легкі завдання тесту створюють лише видимість знань у учнів, оскільки ними перевіряються мінімальні знання. У цьому можна побачити, що орієнтація федерального органу управління освітою на перевірку мінімального рівня знань дає, і може, навіть за визначенням, дати уявлення реальному рівні знань, тобто. дати ту інформацію, яка давно вже потрібна суспільству та органам управління. Спотворює результати тестування та підбір свідомо важких завдань, внаслідок чого у більшості школярів виявляються занижені бали. Орієнтація на важкі завдання нерідко сприймається як посилення мотивації до навчання. Однак цей засіб діє неоднозначно. Одних важкі завдання можуть підштовхнути до навчання, інших відштовхнути від нього. Така орієнтація спотворює результати й у результаті, знижує якість педагогічного виміру. Якщо тест побудований суворо із завдань зростаючої труднощі, цим відкривається шлях до створення однієї з найцікавіших шкал виміру - шкали Л. Гутмана.

При визначенні тесту вже зазначалося, що всі завдання тесту, хотілося б підкреслити, незалежно від змісту тем, розділів та навчальних дисциплін, Розташовуються в порядку зростаючої проблеми. Поширена, донедавна, рекомендація включати до тесту більше завдань середньої проблеми, виправдана з погляду визначення надійності виміру за формулами т.зв. класичної теорії тестів Існуючі в цій теорії методи оцінки надійності тесту дають зниження надійності при включенні до тесту легких та важких завдань. У той же час захоплення завданнями однієї тільки середньої складності призводить до серйозної деформації змісту тесту: останній втрачає здатність нормально відображати зміст дисципліни, в якій завжди є легкий і важкий матеріал. Таким чином, у гонитві за абстрактною теоретично високою надійністю втрачається змістовна валідність тестових результатів. Прагнення підняти валідність результатів тесту нерідко супроводжується зниженням їх точності. Цей феномен у теорі відомий як парадокс теоретика американської психометрики Ф.Лорда

Якщо тестується слабка, за підготовленістю, група учнів, то виявляється, що важкі завдання тесту просто не працюють, тому що жоден учень не може правильно відповісти на них. Такі завдання з подальшої обробки даних вилучаються. У адаптивних контролюючих системах де вони пропонуються. Зміст тесту для слабких учнів помітно відрізнятиметься від змісту тесту для сильних учнів. В останніх, навпаки, не працюють легкі завдання, тому що всі обізнані випробувані на легкі завдання відповідають правильно. Таким чином, зміст традиційного тесту істотно варіює залежно від рівня підготовленості тих груп учнів, на вимір знань яких націлений тест.

Оптимальне відображення змісту навчального матеріалу в тестові завдання необхідного рівня складності передбачає можливість вибору потрібної форми. Зміст тесту виявляється у однієї з чотирьох основних форм завдань. Це: 1) завдання з вибором однієї чи кількох правильних відповідей у складі запропонованих; 2) завдання відкритої форми, де відповідь випробуваний дописує сам, у відведеному при цьому місці; 3) завдання встановлення відповідності, і 4) завдання встановлення правильної послідовності действий.

Література

1. Захаров А.І., Матюшкін А.М. Проблеми адаптивних системнавчання // Кібернетика та проблеми навчання. - М: Прогрес, 1970. - 389с.

2. Ланда Л.М. Алгоритмізація у навчанні. М., Просвітництво , 1966

3. Gulliksen H. Theory of Mental Tests. N – Y. Wiley. 1950 - 486 p. та багато інших. ін.

4. Tatsuoka, K.K. Подібні елементи будови та психометричні моделі відповідають для спрямованої відповіді. Prinston, N-J, 1993. - 56 pp; Frederiksen, N., Mislevy RJ, Bejar IJ (Eds). Теорія теорій для нових генерацій тестів. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404pp.та ін .

У попередній статті розглянуто дев'ять принципів розробки змісту педагогічних тестів. Сьогодні ми продовжуємо розгляд десятого принципу – зростаюча складність тестових завдань.

Якщо педагогічний тест визначити коротко як систему завдань зростаючої проблеми, стане зрозуміло, що складність завдань є найважливішим, скажімо так, тест утворюючим показником. Чимало керівників шкіл вважають, що їхні вчителі можуть "придумати" за короткий час можуть скільки завгодно "тестів"; я сам читав наказ по школі, де вчителям наказувалося протягом трьох днів подати завучу "тести". Насправді можна придумати скільки завгодно завдань у тестовій формі (а це ще не тести). Їх не можна включати в цей тест до тих пір, поки не стане відомою міра проблеми, що перевіряється досвідченим шляхом. На цьому вимоги стає зрозумілою обов'язковість попередньої емпіричної перевірки кожного завдання, на початок тестування. У процесі перевірки багато завдань (зазвичай більше половини) не витримують вимог до них і тому не включаються до тесту. Перша вимога до тестових завдань: у тесті завдання мають різнитися за рівнем проблеми, що випливає з цього визначення тесту і аналізованого принципу.

Уважний читач ймовірно вже вловив відмінності в лексиці трьох як би "непомітно" введених тут основних понять теорії тестів: педагогічного тесту, завдання у тестовій формі та тестового завдання. Вимоги до першого їх було розглянуто у статті " Визначення педагогічного тесту " (УШ № 30, серпень 1999г.).

правильність змісту
логічна форма висловлювання;
правильність форми;
стислість;
наявність певного місця відповідей;
правильність розташування елементів завдання;
однаковість правил оцінки відповідей;
однаковість інструкції всім випробуваних;
адекватність інструкції формі та змісту завдання.

Детальне тлумачення цих вимог піде в наступних статтях, а тепер хотілося б звернути увагу читача на те, що тут немає вимоги певної проблеми завдання, тоді як до тесту і тестового завдання така вимога пред'являється. З міркування над цим і раніше опублікованим матеріалом можна зробити два висновки. Перший - що у тесті немає місця завданням із невідомим заходом труднощі. І другий – що не всі запропоновані завдання у тестовій формі можуть стати тестовими завданнями: це різні поняття. У першому понятті найістотнішими є вимоги змісту та форми. До тестових завдань в першу чергу пред'являється вимога відомої проблеми, те, що явно не потрібно у завдань у тестовій формі. Завдання мають шанс стати тестовими лише після досвідченої, скажімо суворіше, емпіричної перевірки міри їхньої труднощі, на типових групах випробуваних.

Показник труднощі тесту та тестових завдань є змістовним та формальним одночасно. Змістовним показником, тому що в хорошому тесті труднощі можуть залежати тільки від змісту та від рівня підготовленості самих випробуваних, у той час як у поганому тесті на результати починають помітно впливати форма завдань (особливо якщо вона не адекватна змісту), погана організація тестування, якщо є можливості списування, витоку інформації. Особливої згадки у цьому зв'язку заслуговує спірна практиканаціленої підготовки до централізованого тестування.

Формальна складова сторона показника проблеми виникає при розгляді тестування як процесу протиборства кожного випробуваного з кожним запропонованим завданням. Отримуваний у своїй результат корисно розглядати, як результат такого протиборства. При спрощеному тлумаченні кожного випадку протиборства випробуваного з черговим завданням зазвичай розглядаються лише два результати: перемога випробуваного при правильному вирішенні завдання, де він отримує один бал, або поразка, внаслідок чого дається нуль балів. Оцінка результату протиборства залежить від співвідношення рівня знання тестованого до рівня проблеми завдання, від обраної одиниці виміру знань і заздалегідь прийнятого правила (конвенції) - що вважати " перемогою " випробуваного і чи допустима нічия, якщо говорити мовою спорту.

Принцип зростаючої труднощі використовується при викладі змісту багатьох підручників та посібників, особливо з тих навчальних дисциплін, які побудовані за кумулятивним принципом, що означає: знання наступних елементів курсу явно залежить від знання попередніх навчальних елементів. Така побудова властива підручникам з математики, логіки, іноземних мов, статистики, технічних та багатьох інших наук. Вони раніше вивчені поняття активно використовують у наступних темах. Тому вивчати такі дисципліни потрібно лише з самого початку і без прогалин.

Більшість авторів, особливо зарубіжних, не роблять відмінностей між поняттями "трудність" та "складність". Багато розробників тестів - те саме. Проте є роботи, у яких ці поняття визначаються по-різному. Наприклад, А.Н.Захаров і А.М.Матюшкін зазначають, що ступінь складності навчального завдання не збігається з його складністю. Ступінь складності навчального матеріалу характеризується реальною (об'єктивною) насиченістю навчального завдання та формою його викладу, а ступінь труднощі завжди передбачає співвідношення підлягає засвоєнню навчального матеріалу з раніше засвоєним навчальним матеріалом та інтелектуальними можливостями учнів (1).

Л.М. Ланда пояснює труднощі навчальної завдання тим, що учні часто не знають тих операцій, які треба робити, щоб знайти рішення. Якщо систему операцій на вирішення деякого класу завдань назвати методом розв'язання, то, на його думку, труднощі пов'язані з незнанням методу, з незнанням, як слід думати у процесі рішення, як й у який послідовності треба діяти з умовами задачі (2). Труднощі, що виникають, пояснюються тим, що педагог часто намагається дати знання про зміст досліджуваного і значно менше піклується про те, як треба думати, розмірковувати (там же). Подібне тлумачення перетинається з ідеєю про зв'язок складності завдання з кількістю операцій, які необхідно здійснити для досягнення успіху. Ці визначення складності та складності є, здебільшого, психологічними; вони корисні при психологічному аналізі змісту тестових завдань.

Традиційною мірою труднощі кожного завдання довгі роки була частка правильних відповідей у групі піддослідних, що зображується символом pj, де індекс j вказує на номер завдання (1, 2 і т. д.). Наприклад, якщо правильні відповіді випробуваних на третє завдання тесту оцінювати одним балом, а неправильні – нулем, то значення показника p3 можна знайти з елементарного відношення

де R3 означає число правильних відповідей дане завдання, а N - загальна кількість піддослідних групи. Загальна формула розрахунку частки правильних відповідей на будь-яке завдання (j) має відповідно вигляд

Показник pj. довго використовувався як міра труднощі у так званій класичній теорії тестів (3). Пізніше була усвідомлена змістова неточність, що міститься в ній: адже збільшення значення pj вказує не на зростання труднощі, а, навпаки, на зростання легкості, якщо можна використовувати таке слово. Тому останніми роками з показником проблеми завдань стали асоціювати протилежну статистику - частку неправильних відповідей (qj). Ця частка обчислюється з відношення числа неправильних відповідей (Wj-від англ слова Wrong - неправильний) до випробуваних (N):

Природно приймається, що pj + qj = 1. У класичної теорії тестів багато років розглядалися лише емпіричні показники проблеми. У нових варіантах психологічних і педагогічних теорій тестів більше уваги стало приділятися характеру розумової діяльності учнів у виконання тестових завдань різних форм (4).

При визначенні тесту вже зазначалося, що це завдання тесту, хотілося б підкреслити, незалежно від змісту тем, розділів і зажадав від навчальних дисциплін, перебувають у порядку зростаючої труднощі. Поширена, донедавна, рекомендація включати до тесту більше завдань середньої проблеми, виправдана з погляду визначення надійності виміру за формулами т.зв. класичної теорії тестів Існуючі в цій теорії методи оцінки надійності тесту дають зниження надійності при включенні до тесту легких та важких завдань. У той же час захоплення завданнями однієї тільки середньої складності призводить до серйозної деформації змісту тесту: останній втрачає здатність нормально відображати зміст дисципліни, в якій завжди є легкий і важкий матеріал. Таким чином, у гонитві за теоретично високою надійністю втрачається змістовна валідність тестових результатів. Прагнення підняти валідність результатів тесту нерідко супроводжується зниженням їх точності.

Характеристика тестових завдань

Збір та статистична обробка результатів тестування

Для зручності обробки тестових даних результати заносяться до спеціальної таблиці – матриці тестових результатів. Робота з матрицею результатів тестування представлена в практичному занятті 2 (с. 33).

За результатами апробаційного тестування визначаються характеристики тестових завдань складність, дискримінативність та валідність завдання.

Трудність завдання у класичній теорії тестів визначається через співвідношення кількості піддослідних, які впоралися з цим завданням, та загальної кількостівипробуваних, тобто. складність завдання – це частка учнів, які впоралися із завданням.

Проблема завдання обчислюється за формулою

де p j – частка правильних відповідей на j-е завдання; Y j - кількість випробуваних, які виконали j - е завдання правильно, N - число випробуваних групи, j - номер завдання. Або у відсотках, P j – труднощі j – ого завдання у відсотках:.

У добре збалансованому за складністю тесті є кілька найважчих завдань зі значенням. Є кілька найлегших з . Інші завдання за значеннями pзаймають проміжне становище між крайніми ситуаціями і мають переважно труднощі 60 - 70 % у критеріально-орієнтованому тесті та 40-60 % у нормативно-орієнтованому.

Дискримінативність тестового завдання

Дискримінативність(диференціююча здатність, розрізняюча здатність) завдання – це здатність завдання диференціювати випробуваних за рівнем досягнень, на сильних та слабких. Якщо завдання однаково виконується і слабкими, і сильними, можна говорити про низьку дискримінативності завдання. Якщо завдання виконується сильними випробуваними, а слабкі дають негативний результат, то ми маємо високу дискримінативність.

Висока дискримінативність тестових завдань важлива нормативно-орієнтованих тестів, основна мета яких - ранжування учнів за рівнем досягнень.

Якщо індекс дискримінативності вищий за нуль ( більше 0,3вважається задовільним), а ще краще прагне до 1, то це свідчить про те, що завдання має гарний (максимальний) диференціюючий ефект.

Для оцінки дискримінативності завдання будемо використовувати метод крайніх груп , Розрахунок за формулою:

Де – індекс дискримінативності для j-ого завдання тесту; (P 1) j – відсоток учнів, які правильно виконали j-е завдання у підгрупі з 27% кращих учнів за результатами виконання тесту; (P 0) j – відсоток учнів, які правильно виконали j-е завдання у підгрупі з 27% найгірших учнівза результатами виконання тесту.

Індекс дискримінативності змінюється не більше [-1; 1]. Максимального значення він досягає у тому випадку, коли всі учні з підгрупи сильних правильно виконують це завдання, та якщо з підгрупи слабких це завдання не виконує правильно ніхто. У цьому випадку завдання матиме максимальний диференційний ефект. Нульового значення індекс дискримінативності досягає тоді, коли в обох підгрупах частки учнів, що впоралися із завданням, рівні. Відповідно диференціюючого ефекту немає взагалі. Значення менше 0 буде у ситуації, коли це завдання тесту слабкі учні виконують успішніше, ніж сильні. Природно, що завдання, у яких індекс дискримінативності дорівнює або нижче нуля, необхідно видалити з тесту (табл. 6).

За допомогою підрахунку значень бісеріальної або точково-бісеріальної кореляціїтакож оцінюється валідність окремих завданьтіста. Загалом завдання можна вважати валідним, якщо r pbis близький до 0,5. Оцінка валідності завдання дозволяє судити у тому, наскільки завдання придатне. Якщо мета – диференціація учнів за рівнем підготовленості, то валідні завдання повинні чітко відокремити добре підготовлених від слабо підготовлених учнів групи, що тестується. Значення r pbis близькі до нуля, вказують на низьку здатність диференціювати завдань тесту. Усі завдання у яких r pbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Таблиця 6

№ завдання	P j для всіх випробуваних	Група	Індекс r дис
P j для слабкої	P j для сильної
	21,0	6,5	32,0	0,26
	94,0	90,0	97,0	0,065
	64,0	42,0	97,0	0,55
	59,0	68,0	58,0	-0,097
	27,0	16,0	29,0	0,13
	70,0	29,0	94,0	0,65
	30,0	13,0	42,0	0,29
	12,0	9,7	16,0	0,065
	33,0	16,0	52,0	0,35
	73,0	42,0	90,0	0,48

Аналіз якості дистракторів у завданнях закритої форми

Одна з найважливіших вимог, що висувається до завдань закритої форми – це правдоподібність дистракторів – рівноцінна ймовірність вибору дистрактора за неправильної відповіді.Оцінка якості дистрактора називається дистракторним аналізом.

Дистракторний аналіз передбачає підрахунок часток піддослідних, які вибрали кожен дистрактор. В ідеальному варіанті кожен дистрактор повинен вибиратися рівною часткою від усіх неправильних відповідей. У таблиці 7 показано ідеальний розподіл часток.

Таблиця 7

№ завдання	1 відповідь	2 відповідь*	3 відповідь	4 відповідь
j	0,1	0,7	0,1	0,1

У таблиці 8 показано, що правильно виконали завдання (обрали 2 відповідь) 70 % піддослідних. Інші 30 %, які дали неправильні відповіді, поступово обрали 1, 3, 4 відповіді, тобто. у завданні було дано рівноймовірні дистрактори.

Якщо педагогічний тест визначити коротко як систему завдань поступово зростаючої проблеми, стане зрозуміло, що складність завдань є найважливішим, скажімо так, тест утворюючим показником. Чимало керівників шкіл вважають, що їхні вчителі можуть «придумати» за короткий час можуть скільки завгодно «тестів». Насправді ж можна вигадати досить багато завдань у тестовій формі. А зовсім не тести, а лише завдання. Їх не можна включати в даний тест до тих пір, поки не стане відомою міра їх проблеми, а також інші властивості. Міра проблеми перевіряється емпірично. На цьому вимоги стає зрозумілою обов'язковість попередньої емпіричної перевірки кожного завдання, на початок тестування. У процесі перевірки багато завдань не витримують вимог, що пред'являються до них, і тому не включаються до тесту. Перша вимога до тестових завдань: у тесті завдання мають різнитися за рівнем проблеми, що випливає з цього визначення тесту і аналізованого принципу.

Уважний читач, мабуть, уже вловив відмінності в лексиці трьох як би «непомітно» введених тут основних понять теорії педагогічних вимірів: поняття педагогічного тесту, завдання у тестовій формі та тестового завдання. Вимоги до першого їх було розглянуто у статті «Визначення педагогічного тесту» (УШ № 30, серпень 1999г.).

стислість;
технологічність;
правильність форми;
правильність змісту
логічна форма висловлювання;
однаковість правил оцінки відповідей;
наявність певного місця відповідей;
однаковість інструкції всім випробуваних;
правильність розташування елементів завдання;
адекватність інструкції формі та змісту завдання

Аванесов В.С. Основи педагогічної теорії вимірів // Педагогічні Виміри, 1, 2004р. С. 17.

Показник труднощі тесту та тестових завдань є змістовним та формальним одночасно. Змістовним, оскільки у хорошому тесті складність може залежати лише від складності змісту завдань і рівня підготовленості самих випробуваних. У той час, як у поганому тесті на результати починають помітно впливати форма завдань (особливо якщо вона не адекватна змісту), погана організація тестування, якщо є можливості списування, витоку інформації. Особливої згадки у цьому заслуговує шкідлива практика націленої підготовки учнів єдиного державного іспиту. Педагогів, котрі займалися такою справою, міністр освіти Росії 1907 року І. Толстой називав натаскивателями. Але педагоги винні найменше. Виною є помилкова система «егування», яка підштовхує до такої помилкової практики. Який контроль, така й освіта.

Формальна складова сторона показника проблеми виникає при розгляді тестування як процесу протиборства випробуваного з запропонованим завданням. Отримуваний при цьому результат корисно розглядати як результат такого протиборства. При спрощеному тлумаченні кожного випадку пред'явлення завдання часто, але він обов'язково розглядаються два результати: перемога випробуваного при правильному вирішенні завдання, де він отримує один бал, чи поразка, внаслідок чого дається нуль балів. Оцінка результату протиборства залежить від співвідношення рівня знання тестованого до рівня проблеми завдання, від обраної одиниці виміру знань і заздалегідь прийнятого правила (конвенції) - що вважати «перемогою» випробуваного, і чи допустима нічия, якщо говорити мовою спорту.

Принцип зростаючої труднощі використовується при викладі змісту багатьох підручників та посібників, особливо з тих навчальних дисциплін, які побудовані за кумулятивним принципом, що означає: знання наступних елементів курсу явно залежить від знання попередніх навчальних елементів. Така побудова властива підручникам з математики, логіки, іноземних мов, статистики, технічних та багатьох інших наук. Вони раніше вивчені поняття активно використовують у наступних темах. Тому вивчати такі дисципліни потрібно лише з самого початку і без прогалин.

Більшість авторів, особливо зарубіжних, не відрізняються між поняттями «трудність» і «складність». Багато розробників тестів - те саме. Проте є роботи, у яких ці поняття визначаються по-різному. Наприклад, А.Н.Захаров і А.М.Матюшкін зазначають, що ступінь складності навчального завдання не збігається з його складністю. Ступінь складності навчального матеріалу характеризується реальною (об'єктивною) насиченістю навчального завдання та формою його викладу, а ступінь труднощі завжди передбачає співвідношення підлягає засвоєнню навчального матеріалу з раніше засвоєним навчальним матеріалом та інтелектуальними можливостями учнів (1).

Л.М. Ланда пояснював труднощі навчальної завдання тим, що учні часто не знають тих операцій, які треба робити, щоб знайти рішення. Якщо систему операцій на вирішення деякого класу завдань назвати методом розв'язання, то, на його думку, труднощі пов'язані з незнанням методу, з незнанням, як слід думати у процесі рішення, як й у який послідовності треба діяти з умовами задачі (2). Труднощі, що виникають, пояснюються тим, що педагог часто намагається дати знання про зміст досліджуваного і значно менше піклується про те, як треба думати, розмірковувати (там же). Подібне тлумачення перетинається з ідеєю про зв'язок складності завдання з кількістю операцій, які необхідно здійснити для досягнення успіху. Ці визначення складності та складності є, здебільшого, психологічними; вони корисні при психологічному аналізі змісту тестових завдань.

Традиційною мірою труднощі кожного завдання довгі роки була частка правильних відповідей у групі піддослідних, що зображується символом pj, де індекс j вказує на номер завдання (1, 2 і т. д.). Наприклад, якщо правильні відповіді випробуваних на третє завдання тесту оцінювати одним балом, а неправильні - нулем, значення показника p3 можна знайти з елементарного відношення:

P3 = R3/N,
де R3 означає число правильних відповідей дане завдання, а N - загальна кількість піддослідних групи. Загальна формула розрахунку частки правильних відповідей на будь-яке завдання (j) має відповідно вигляд

Pj = Rj/N
Показник pj. довго використовувався як міра труднощі у так званій класичній теорії тестів (3). Пізніше була усвідомлена змістова неточність, що міститься в ній: адже збільшення значення pj вказує не на зростання труднощі, а, навпаки, на зростання легкості, якщо можна використовувати таке слово. Тому останніми роками з показником проблеми завдань стали асоціювати протилежну статистику - частку неправильних відповідей (qj). Ця частка обчислюється з відношення числа неправильних відповідей (Wj-від англ слова Wrong - неправильний) до випробуваних (N):

При визначенні тесту вже зазначалося, що це завдання тесту, хотілося б підкреслити, незалежно від змісту тем, розділів і зажадав від навчальних дисциплін, перебувають у порядку зростаючої труднощі. Поширена, донедавна, рекомендація включати до тесту більше завдань середньої проблеми, виправдана з погляду визначення надійності виміру за формулами т.зв. класичної теорії тестів Існуючі в цій теорії методи оцінки надійності тесту дають зниження надійності при включенні до тесту легких та важких завдань. У той же час захоплення завданнями однієї тільки середньої складності призводить до серйозної деформації змісту тесту: останній втрачає здатність нормально відображати зміст дисципліни, в якій завжди є легкий і важкий матеріал. Таким чином, у гонитві за абстрактною теоретично високою надійністю втрачається змістовна валідність тестових результатів. Прагнення підняти валідність результатів тесту нерідко супроводжується зниженням їх точності. Цей феномен у теорі відомий як парадокс теоретика американської психометрики Ф.Лорда

Література

Захаров А.І., Матюшкін А.М. Проблеми адаптивних систем навчання // Кібернетика та проблеми навчання. - М: Прогрес, 1970. - 389с.
Ланда Л.М. Алгоритмізація у навчанні. М., Просвітництво, 1966
Gulliksen H. Theory of Mental Tests. N – Y. Wiley. 1950 - 486 p. та багато інших. ін.
Tatsuoka, K.K. Подібні елементи будови та психометричні моделі відповідають для спрямованої відповіді. Prinston, N-J, 1993. - 56 pp; Frederiksen, N., Mislevy RJ, Bejar IJ (Eds). Теорія теорій для нових генерацій тестів. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, N-J, 404pp. та ін.

Труднощі. Труднощі тесту – це ступінь складності в сукупності включених до тесту завдань. У процесі створення тесту міра проблеми регулярно перевіряється на випадковій вибірці з того контингенту, котрому тест призначається. У збалансованому тесті автори зазвичай легко досягають нормальності розподілу. Подальше вдосконалення тесту йде шляхом заміни ряду завдань, відповіді на до

інші порушують нормальність розподілу. Складність завдань впливає на надійність та валідність. Якщо тест дуже важкий, то учні частіше змушені здогадуватися - яка відповідь правильна, але чим частіше вони вдаються до здогаду, тим більше розподіл результатів тесту наближається до випадкового розподілу. Тому придатність тесту для оцінки знань всієї маси учнів буде нижчою, ніж складніше тест. Такий самий вплив на надійність, але з іншої причини, робить легкий тест, у якому учні рідко здогадуються, їх відповіді стійкі, але з-поміж них немає відмінностей.

Ефективність. Ефективність педагогічного тесту визначається творчим підходом укладачів до розробки системи завдань, що відповідають конкретним цілям тестування.

На даний час у педагогічній спільноті немає єдності у класифікації тестів. Ст Аванесов, А. Н. Майоров, М. Б. Челишкова, Т. Д. Макарова бачать різні ознаки демаркації. Проте відповідно до методології створення тесту всі автори одностайно виділяють: критеріальні, призначені виявлення факту порога засвоєння навчального матеріалу; нормативні, які забезпечують ранжування учнів за рівнем засвоєння матеріалу щодо норми. За професійною ознакою можна визначити: стандартизовані та нестандартизовані тести.

Узагальнюючи дослідження вчених, з існуючого різноманіття типологізацій тестів виділимо насамперед ті, які можна співвіднести з видами контролю: попереджувальним, поточним, итоговым. Це, відповідно, настановний, формуючий, підсумковий тести. Настановний тест виявляє вихідний рівень підготовки школярів, містить як легкі, і важкі завдання. Вимірявши базовий рівень учня, вчитель може спостерігати за розвитком кожної дитини, вносити елементи індивідуалізації до навчального процесу. Формуючий тест визначає прогрес досягнутого навчання. До цього типу тестів ми відносимо базові та діагностичні. Перші включають репродуктивні завдання та проводяться на рівні формувань понять. Другі містять завдання від репродуктивних до творчих та виявляють рівень засвоєння теми чи розділу програми. Підсумковий тест, який найчастіше називають тестом шкільних досягнень, має відповідати всім вимогам стандартизованого науково обґрунтованого тесту.

Проаналізувавши різноманіття класифікацій тестових завдань, представлених у літературі, та зіставивши їх з нормативними документами, доцільно запропонувати класифікацію за типами та видами завдань: типи - закриті (завдання з вибором правильної відповіді), відкриті (завдання з вільно конструйованою відповіддю); види – з вибором однієї правильної відповіді, з вибором більше однієї правильної відповіді, на встановлення відповідності, на встановлення правильної послідовності, на додаток з короткою відповіддю, на додаток з розгорнутою відповіддю.

Одним із напрямків модернізації освіти є запровадження єдиного державного іспиту (ЄДІ). Хоча серед педагогічної громадськості немає єдиної погляду, але дедалі більше педагогів і керівників різних рівнів визнають, що ЄДІ надійніший інструмент з оцінки освітніх досягнень школярів. Загальноросійські тестові бали масового тестування задають середні статистичні норми навчальних досягнень, щодо яких суб'єкти освітнього процесу можуть самоідентифікуватись у єдиному контрольно-вимірювальному просторі. Аналіз успіхів і недоліків потрібен освітнім установам, органам систем управління усім ієрархічних рівнях для корекції освітнього процесу. Оскільки іспит з математики є обов'язковим всім випускників, то результати ЄДІ можна як інформаційну основу організації багаторівневого моніторингу. Особливо підкреслимо, що незалежна система оцінювання, що вводиться, що здійснюється в рамках ЄДІ, є потужним виховуючим засобом. Звідси – функція моніторингу, яка виявляється опосередковано.

Одне з важливих завдань навчання – швидка та надійна оцінка знань людини. Нами робиться спроба розробити систему вимірювачів якості знань, яка б виявляла умови підвищення успішності учнів, а також рівень цілей та завдань педагогічного контролю.

Ми розробили підхід до технології конструювання тестових вимірювачів, у якому виділили чотири етапи: пошуковий, моделюючий, формуючий, оціночний.

Пошуковий етап. Надзвичайно важливо, щоб оціночна діяльність педагогів була адекватною, справедливою та об'єктивною. У зв'язку з цим нами було організовано пошук надійних та ефективних видів перевірочних завдань, способів перевірки за допомогою технічних засобів та персональних комп'ютерів (ПК). Використання ПК дозволяє перейти до контролю знань протягом тривалого часу.

На цьому етапі визначається стан знань учнів із застосуванням тестових вимірників. Тестування є однією з найтехнологічніших форм проведення автоматизованого контролю з керованими параметрами якості. Вибірковий метод при конструюванні тестових завдань дає можливість швидше засвоювати всі види явищ, краще розуміти їх загальні та відмінні якості, легше класифікувати конкретні явища, види знань.

Таким чином, тестування, виконуючи функцію контролю під час діагностування освітнього процесу, використовується одночасно як засіб діагностики навченості учнів. Діагностика сприймається як точне визначення результатів процесу навчання, навченість ж – як досягнутий на даний момент діагностування рівень (ступінь) реалізації наміченої мети” (І.П. Подласий).

На цьому етапі виявляються основні проблеми під час використання тестів: якість і валідність змісту тестових завдань, надійність результатів тестування, недоліки обробки результатів з класичної теорії тестів, відсутність використання сучасної теорії обробки тестових матеріалів із застосуванням ПК. Недостатня кількість тематичних тестів для поточного контролю знань учнів шкіл негативно відбивається на навчанні, перешкоджаючи його індивідуалізації за умов масового процесу. Поставлені завдання необхідно вирішувати у рамках поточного та підсумкового тестування учнів.

Моделюючий етап. На другому етапі розробляється алгоритм навчального циклу та концепція тестового контролю. Навчальний цикл повинен забезпечувати послідовну орієнтацію навчання на цілі. Завдяки такій будові навчальний процес набуває “блокового” характеру. Блок – дидактична інженерія знань, що дозволяє оформити стиск навчальної інформації з використанням досягнень теорій змістовного узагальнення (В. В. Давидов та його послідовники), укрупнення дидактичних одиниць (П. М. Ерднієв), концепції формування системності знань (Л. Л. Зоріна) .