Определя се нарастващата трудност на задачите в тази техника. Тестове по технологията на блоковото обучение на учениците по математика. Дискриминативност на тестовата задача

В предишната статия бяха разгледани девет принципа за разработване на съдържанието на педагогическите тестове. Фокусът на тази статия е десетият принцип: увеличаване на трудността на тестовия елемент.

Ако педагогическият тест се дефинира накратко като система от задачи с равномерно нарастваща трудност, тогава ще стане ясно, че трудността на задачите е най-важният, да кажем, формиращ показател на теста. Много училищни ръководители вярват, че техните учители са в състояние да „измислят“ кратко времеТе могат да правят толкова „тестове“, колкото искат. Всъщност можете да измислите доста задачи в тестова форма. И въобще не тестове, а само задачи. Те не трябва да бъдат включвани в настоящия тест, докато не бъдат известни тяхната степен на трудност и други характеристики. Мярката за трудност е емпирично тествана.От това изискване става ясно, че предварителното емпирично тестване на всяка задача е задължително преди започване на тестването. По време на проверката много задачи не отговарят на изискванията към тях, поради което не са включени в теста. Първо изискване към тестовите задачи: в теста задачите трябва да са с различна степен на трудност, което следва от предварително дадената дефиниция на теста и разглеждания принцип.

Внимателният читател вероятно вече е уловил разликите в речника на трите основни понятия на теорията на педагогическите измервания, въведени тук сякаш „неусетно“: понятието педагогически тест, задача в тестова форма и тестова задача. Изискванията към първия от тях вече са разгледани в статията „Дефиниция на педагогически тест“ (УШ № 30, август 1999 г.).

По-добре е сега да въведете изискванията за втората концепция, като ги изброите накратко, за да не се отвличате от основната тема на статията. Към задачите в тестовата форма важат следните изисквания:

краткост;

технологичност;

Коректност на формата;

Коректност на съдържанието

Логическа форма на изказване;

Същите правила за оценяване на отговорите;

Наличие на определено място за отговори;

Еднакви инструкции за всички предмети;

Правилно разположение на елементите на задачата;

Аванесов V.S. Основи на педагогическата теория на измерванията // Педагогически измервания, 1, 2004. стр. 17.

Подробно тълкуване на тези изисквания ще последва в следващите статии, но сега бих искал да насоча вниманието на читателя към факта, че няма изискване за известна трудност на задачата, докато такова изискване е наложено на теста и тестова задача. От размисъл върху този и по-рано публикуван материал могат да се направят два извода. Първото е, че в теста няма място за задачи с неизвестна степен на трудност. И второто е, че не всички предложени задачи в тестова форма могат да станат тестови задачи: това са различни понятия. В първата концепция най-съществените изисквания са съдържанието и формата. За тестовите задачи, на първо място, има изискване за известна трудност, нещо, което очевидно не се изисква за задачи в тестова форма. Може да се повтори, че задачите имат шанс да се превърнат в тестове само след емпирично тестване на мярката на тяхната трудност върху типични групи теми.

Индикатор за трудност на теста и тестови задачие смислено и формално в същото време. Смислено, защото добър тесттрудността може да зависи само от трудността на съдържанието на задачите и от степента на подготвеност на самите субекти. Докато при лош тест резултатите започват да се влияят осезаемо от формата на задачите (особено ако не е адекватна на съдържанието), лошата организация на тестването, ако има възможности за измама и изтичане на информация. В тази връзка специално внимание заслужава вредната практика за целенасочена подготовка на учениците за единния държавен изпит. Руският министър на образованието през 1907 г. И. Толстой нарича учителите, които участват в този вид работа, „обучители“. Но най-малко са виновни учителите. Виновна е погрешната система на „полагане на яйца“, която насърчава подобни погрешни практики. Какъвто е контролът, такова е и образованието.

Формалният компонент на индикатора за трудност възниква, когато тестването се разглежда като процес на конфронтация между субекта и задачата, която му се предлага. Полезно е резултатът да се разглежда като резултат от такава конфронтация. При опростена интерпретация на всеки случай на представяне на задача често, но не непременно, се разглеждат два резултата: победа на субекта при правилното решениезадачи, при които получава една точка, или провал, при който получава нула точки. Оценката на резултата от конфронтацията зависи от съотношението на нивото на знанията на изпитвания към нивото на трудност на задачата, от избраната единица за измерване на знанията и от предварително възприетото правило (конвенция) - какво се смята за „победа” на изпитвания и приемливо ли е равенство, ако говорим на езика на спорта.

Принципът на нарастваща трудност се използва при представяне на съдържанието на много учебници и ръководства, особено в онези академични дисциплини, които са изградени на кумулативен принцип, което означава: познаването на следващите елементи на курса изрично зависи от познаването на предишни образователни елементи. Тази структура е присъща на учебниците по математика, логика, чужди езици, статистика, технически и много други науки. В тях изучаваните по-рано понятия се използват активно в следващите теми. Следователно трябва да изучавате такива дисциплини само от самото начало и без пропуски.

Повечето автори, особено чуждестранните, не правят разлика между понятията „трудност“ и „сложност“. Много разработчици на тестове са едни и същи. Има обаче произведения, в които тези понятия се дефинират по различен начин. Например А. Н. Захаров и А. М. Матюшкин отбелязват, че степента на трудност на учебната задача не съвпада с нейната сложност. Степен на трудност учебен материалсе характеризира с реалната (обективна) интензивност на учебната задача и формата на нейното представяне, а степента на трудност винаги предполага съотношение на учебния материал, който трябва да бъде усвоен, с предварително усвоения учебен материал и интелектуалните възможности на учениците (1). .

Л.Н. Ланда обясни трудността учебна задачазащото учениците често не знаят операциите, които трябва да се извършат, за да се намери решение. Ако система от операции за решаване на определен клас проблеми се нарича метод на решение, тогава според него трудността е свързана с непознаването на метода, с незнанието как да мислим в процеса на решаване, как и в каква последователност трябва да се действа с условията на проблема (2). Трудностите, които възникват, се обясняват с факта, че учителят често се опитва да даде знания за съдържанието на изучаваното и много по-малко се интересува от това как да мисли и разсъждава (пак там). Тази интерпретация се пресича с идеята, че сложността на една задача е свързана с броя на операциите, които трябва да бъдат изпълнени, за да се постигне успех. Тези определения за трудност и сложност са до голяма степен психологически; те са полезни за психологически анализсъдържание на тестови задачи.

Традиционната мярка за трудността на всяка задача дълги годинибеше съотношението на верните отговори в групата теми, изобразени със символа p j, където индексът j показва номера на задачата, която представлява интерес (1, 2 и т.н.). Например, ако правилните отговори на субектите на третата задача на теста се оценяват с една точка, а неправилните - с нула, тогава стойността на показателя p 3 може да се намери от елементарната връзка:

P 3 = R 3 /N,

където R 3 означава броя на верните отговори на дадена задача, а N е общ бройпредмети в групата. Обща формулаизчисляването на дела на верните отговори на всяка задача (j) има формата

p j = R j / N

Индикатор p j . отдавна се използва като мярка за трудност при т.нар класическа теориятестове (3). По-късно семантичната неточност, съдържаща се в него, беше осъзната: в края на краищата увеличаването на стойността на p j не показва увеличаване на трудността, а напротив, увеличаване на лекотата, ако може да се използва такава дума. Следователно в последните годинипротивоположната статистика започва да се свързва с показателя за трудност на задачата - делът на неверните отговори (q j). Тази пропорция се изчислява от съотношението на броя на грешните отговори (Wj- от английската дума Wrong - неправилно) към броя на участниците (N):

q j = W j / N

Естествено се приема, че p j + q j = 1. В класическата теория на тестовете в продължение на много години се разглеждат само емпирични индикатори за трудност. В новите версии на психологическите и педагогическите теории на тестовете се обръща повече внимание на естеството на умствената дейност на учениците в процеса на изпълнение на тестови задачи. различни форми (4).

Съдържанието на теста не може да бъде само лесно, средно или трудно. Тук в пълна степен се проявява добре познатата идея за зависимостта на резултатите от използвания метод. Лесните тестови задачи дават на учениците само вид на знания, защото проверяват минимални знания. В тази връзка може да се отбележи, че фокусът на федералния орган за управление на образованието върху тестването на минималното ниво на знания не дава и не може дори по дефиниция да даде представа за реалното ниво на знания, т.е. предоставят информацията, от която обществото и държавните органи отдавна се нуждаят. Той изкривява резултатите от тестовете и подбора на очевидно трудни задачи, в резултат на което повечето ученици получават ниски резултати. Фокусирането върху трудни задачи често се разглежда като средство за повишаване на мотивацията за учене. Това лекарство обаче има смесени ефекти. Трудните задачи могат да накарат някои хора да учат, докато други могат да ги отблъснат от него. Подобна ориентация изкривява резултатите и в крайна сметка намалява качеството на педагогическото измерване. Ако тестът е изграден стриктно от задачи с нарастваща трудност, тогава това отваря пътя към създаването на една от най-интересните измервателни скали - скалата на Л. Гутман.

При определянето на теста вече беше отбелязано, че всички тестови задачи, бих искал да подчертая, независимо от съдържанието на теми, раздели и учебни дисциплини, са подредени в ред на нарастваща трудност. Широко разпространената доскоро препоръка в теста да се включват повече задачи със средна трудност е оправдана от гледна точка на определяне надеждността на измерването с помощта на т.нар. формули. класическа теория на тестовете. Съществуващите в тази теория методи за оценка на надеждността на теста водят до намаляване на надеждността, когато в теста са включени лесни и трудни задачи. В същото време увличането от задачи само с умерена трудност води до сериозна деформация на съдържанието на теста: последният губи способността да отразява нормално съдържанието на изучаваната дисциплина, в която винаги има лесно и трудно материал. По този начин, в преследването на абстрактна теоретично висока надеждност, съществената валидност на резултатите от теста се губи. Желанието да се увеличи валидността на резултатите от тестовете често е придружено от намаляване на тяхната точност. Това явление е теоретично известно като парадокса на американския психометричен теоретик Ф. Лорд

Ако се тества слаба група ученици, се оказва, че трудните задачи просто не работят, защото нито един ученик не може да отговори правилно на тях. Такива задачи се премахват от по-нататъшната обработка на данни. Те не се предлагат в адаптивни системи за управление. Съдържанието на теста за слаби ученици ще се различава значително от съдържанието на теста за силни ученици. За вторите, напротив, лесните задачи не работят, тъй като всички знаещи субекти отговарят правилно на лесните задачи. По този начин съдържанието на традиционния тест варира значително в зависимост от нивото на подготвеност на тези групи ученици, чиито знания тестът е насочен към измерване.

Оптималното картографиране на съдържанието на учебния материал в тестови задачи с необходимото ниво на трудност изисква възможност за избор на подходяща форма. Съдържанието на теста се изразява в една от четирите основни форми на задачи. Това са: 1) задачи с избор на един или повече верни отговора измежду предложените; 2) задачи отворена форма, където субектът сам допълва отговора, в предвиденото за това място; 3) задачи за установяване на съответствие и 4) задачи за установяване на правилната последователност от действия.

Литература

1. Захаров А.И., Матюшкин А.М. проблеми адаптивни системиобучение // Кибернетика и проблеми на обучението. - М.: Прогрес, 1970.- 389 с.

2. Ланда Л.Н. Алгоритмизация в обучението. М., Просвещение, 1966г

3. Gulliksen H. Теория на умствените тестове. N - Y. Wiley. 1950 г. - 486 с. и много други и т.н.

4. Тацуока, К.К. Конструкция на предмет и психометрични модели, подходящи за конструиран отговор. Princeton, N-J, 1993. - 56 стр.; Frederiksen, N., Mislevy R.J., Bejar I.J. (Eds). Теория на тестовете за ново поколение тестове. Лорънс Ерлбаум Ass. Публ. 1993, Hillsdale, N-J, 404 стр.и т.н .

В предишната статия бяха разгледани девет принципа за разработване на съдържанието на педагогическите тестове. Днес продължаваме да разглеждаме десетия принцип - нарастващата трудност на тестовите задачи.

Ако педагогическият тест се дефинира накратко като система от задачи с нарастваща трудност, тогава ще стане ясно, че трудността на задачите е най-важният, да кажем, тестообразуващ показател. Много училищни ръководители вярват, че техните учители са в състояние да „измислят“ толкова „тестове“, колкото искат, за кратко време; Аз самият прочетох заповедта за училището, където на учителите беше наредено да представят „тестове“ на директора в тридневен срок. Всъщност можете да измислите колкото искате задачи в тестова форма (и това все още не са тестове). Те не трябва да бъдат включени в настоящия тест, докато не бъде известна мярка за трудност, която може да бъде тествана емпирично. От това изискване става ясно, че предварителното емпирично тестване на всяка задача е задължително преди започване на тестването. В процеса на тестване много задачи (обикновено повече от половината) не отговарят на изискванията към тях и поради това не са включени в теста. Първо изискване към тестовите задачи: в теста задачите трябва да са с различна степен на трудност, което следва от предварително дадената дефиниция на теста и разглеждания принцип.

Внимателният читател вероятно вече е уловил разликите в речника на трите основни понятия на теорията на тестовете, въведени сякаш „неусетно“ тук: педагогически тест, задача в тестова форма и тестова задача. Изискванията към първия от тях вече са разгледани в статията „Дефиниция на педагогически тест“ (УШ № 30, август 1999 г.).

коректност на съдържанието
логическа форма на изявление;
правилна форма;
краткост;
наличие на определено място за отговори;
правилното разположение на елементите на задачата;
същите правила за оценяване на отговорите;
еднакви инструкции за всички предмети;
адекватност на инструкциите на формата и съдържанието на задачата.

Подробно тълкуване на тези изисквания ще последва в следващите статии, но сега бих искал да насоча вниманието на читателя към факта, че няма изискване за известна трудност на задачата, докато такова изискване е наложено на теста и тестова задача. От размисъл върху този и по-рано публикуван материал могат да се направят два извода. Първото е, че в теста няма място за задачи с неизвестна степен на трудност. И второто е, че не всички предложени задачи в тестова форма могат да станат тестови задачи: това са различни понятия. В първата концепция най-съществените изисквания са съдържанието и формата. За тестовите задачи, на първо място, има изискване за известна трудност, нещо, което очевидно не се изисква за задачи в тестова форма. Задачите имат шанс да се превърнат в тестове само след експериментална, или по-точно казано, емпирична проверка на мярката на тяхната трудност, върху типични групи предмети.

Индикаторът за трудността на теста и тестовите задачи е смислов и формален едновременно. Смислен показател, защото при добър тест трудността може да зависи само от съдържанието и от нивото на подготвеност на самите тествани, докато при лош тест резултатите започват да се влияят осезаемо от формата на задачите (особено ако не е адекватно на съдържанието), лоша организация на тестването, ако има възможност за измама, изтичане на информация. В това отношение той заслужава специално внимание спорна практикацеленасочена подготовка за централизирано изпитване.

Формалният компонент на индикатора за трудност възниква, когато тестването се разглежда като процес на конфронтация между всеки тестван субект и всяка задача, която му се предлага. Полезно е резултатът да се разглежда като резултат от такава конфронтация. При опростена интерпретация на всеки случай на конфронтация на субект със следващата задача обикновено се разглеждат само два изхода: победа на субекта с правилното решение на задачата, където той получава една точка, или поражение, за което му се дава нула точки. Оценката на резултата от конфронтацията зависи от съотношението на нивото на знанията на изпитвания към нивото на трудност на задачата, от избраната единица за измерване на знанията и от предварително възприетото правило (конвенция) - какво счита ли се за „победа” за тествания и приемливо ли е равенството, ако говорим на езика на спорта.

Повечето автори, особено чуждестранните, не правят разлика между понятията „трудност“ и „сложност“. Много разработчици на тестове са едни и същи. Има обаче произведения, в които тези понятия се дефинират по различен начин. Например А. Н. Захаров и А. М. Матюшкин отбелязват, че степента на трудност на учебната задача не съвпада с нейната сложност. Степента на сложност на учебния материал се характеризира с реалното (обективно) богатство на учебната задача и формата на нейното представяне, а степента на трудност винаги предполага съотношение на учебния материал, който трябва да бъде усвоен, с предварително усвоения учебен материал и интелектуалните възможности на учениците (1).

Л.Н. Ланда обяснява трудността на учебната задача с факта, че учениците често не познават операциите, които трябва да се извършат, за да се намери решение. Ако система от операции за решаване на определен клас проблеми се нарича метод на решение, тогава според него трудността е свързана с непознаването на метода, с незнанието как да мислим в процеса на решаване, как и в каква последователност трябва да се действа с условията на проблема (2). Трудностите, които възникват, се обясняват с факта, че учителят често се опитва да даде знания за съдържанието на изучаваното и много по-малко се интересува от това как да мисли и разсъждава (пак там). Тази интерпретация се пресича с идеята, че сложността на една задача е свързана с броя на операциите, които трябва да бъдат изпълнени, за да се постигне успех. Тези определения за трудност и сложност са до голяма степен психологически; те са полезни при психологически анализ на съдържанието на тестовите задачи.

В продължение на много години традиционната мярка за трудността на всяка задача беше делът на верните отговори в група теми, представени със символа pj, където долният индекс j показва номера на задачата, която представлява интерес (1, 2 и т.н. ). Например, ако верните отговори на субектите на третата задача от теста се оценяват с една точка, а грешните - с нула, тогава стойността на показателя p3 може да се намери от елементарната връзка

където R3 означава броя на верните отговори на дадена задача, а N е общият брой на изследваните в групата. Общата формула за изчисляване на дела на верните отговори на всяка задача (j) има следната форма:

Индикатор pj. отдавна се използва като мярка за трудност в така наречената класическа теория на тестовете (3). По-късно се осъзнава семантичната неточност, съдържаща се в него: в края на краищата увеличаването на стойността на pj не означава увеличаване на трудността, а напротив, увеличаване на лекотата, ако такава дума може да се използва. Затова през последните години противоположната статистика – делът на грешните отговори (qj) – се свързва с показателя трудност на задачата. Тази пропорция се изчислява от съотношението на броя на грешните отговори (Wj- от английската дума Wrong - неправилно) към броя на участниците (N):

Естествено се приема, че pj + qj = 1. В класическата теория на тестовете в продължение на много години се разглеждат само емпирични индикатори за трудност. В новите версии на психологическите и педагогическите теории за тестовете се обръща повече внимание на естеството на умствената дейност на учениците в процеса на изпълнение на тестови задачи от различни форми (4).

При дефинирането на теста вече беше отбелязано, че всички тестови задачи, бих искал да подчертая, независимо от съдържанието на темите, разделите и учебните дисциплини, са подредени по нарастваща трудност. Широко разпространената доскоро препоръка в теста да се включват повече задачи със средна трудност е оправдана от гледна точка на определяне надеждността на измерването с помощта на т.нар. формули. класическа теория на тестовете. Съществуващите в тази теория методи за оценка на надеждността на теста водят до намаляване на надеждността, когато в теста са включени лесни и трудни задачи. В същото време увличането от задачи само с умерена трудност води до сериозна деформация на съдържанието на теста: последният губи способността да отразява нормално съдържанието на изучаваната дисциплина, в която винаги има лесно и трудно материал. По този начин, в преследването на теоретично висока надеждност, съдържателната валидност на резултатите от теста се губи. Желанието да се увеличи валидността на резултатите от тестовете често е придружено от намаляване на тяхната точност.

Оптималното картографиране на съдържанието на учебния материал в тестови задачи с необходимото ниво на трудност изисква възможност за избор на подходяща форма. Съдържанието на теста се изразява в една от четирите основни форми на задачи. Това са: 1) задачи с избор на един или повече верни отговора измежду предложените; 2) задачи от отворен тип, при които изследваното лице попълва отговора сам, в предвиденото за това място; 3) задачи за установяване на съответствие и 4) задачи за установяване на правилната последователност от действия.

Характеристика на тестовите задачи

Събиране и статистическа обработка на резултатите от тестове

За удобство при обработката на данните от теста резултатите се въвеждат в специална таблица - матрицата на резултатите от теста. Работата с матрицата на резултатите от тестването е представена в практически урок 2 (стр. 33).

Въз основа на резултатите от апробационните тестове се определят характеристиките на тестовите задачи - трудност, дискриминативност и валидност на задачата.

Трудността на дадена задача в класическата теория на тестовете се определя чрез съотношението на броя на участниците, изпълнили дадена задача, и общ бройсубекти, т.е. трудност на задачата - това е процентът на учениците, изпълнили задачата.

Трудността на задачата се изчислява по формулата

Където p j е делът на верните отговори на j-тата задача; Y j е броят на субектите, изпълнили правилно j-тата задача, N е броят на субектите в групата, j е номерът на задачата. Или като процент, P j е трудността на j-тата задача в проценти:.

Тестът, добре балансиран по трудност, съдържа няколко от най-трудните елементи със стойност . Има някои от най-лесните с . Други задачи по стойности стрзаемат междинна позиция между екстремни ситуации и изпитват предимно затруднения 60 - 70 % в критерий-референтен тест и 40-60 % по нормативно ориентиран начин.

Дискриминативност на тестовата задача

Дискриминация(способност за разграничаване, способност за разграничаване) задачите са способността на задачата да диференцира субектите по ниво на постижения, на силни и слаби. Ако една задача се изпълнява еднакво както от слаби, така и от силни хора, тогава можем да говорим за ниска дискриминационност на задачата. Ако задачата се изпълнява от силни субекти, а слабите дават отрицателен резултат, тогава имаме висока дискриминационност.

Високият дискриминационен характер на тестовите задачи е важен за нормативните тестове, чиято основна цел е да класират учениците според нивото им на постижения.

Ако индексът на дискриминационност е над нулата ( повече от 0,3се счита за задоволително) и дори по-добре клони към 1, това показва, че задачата има добър (максимален) диференциращ ефект.

За оценка на дискриминативността на задачата ще използваме метод на екстремна група , изчисление по формулата:

Къде е индексът на дискриминационност за j-тия тестов елемент; (P 1) j – процентът на учениците, изпълнили правилно j-тата задача в подгрупа от 27% от най-добрите ученици според резултатите от теста; (P 0) j – процент на учениците, изпълнили правилно j-тата задача в подгрупа от 27% най-лошите ученицивъз основа на резултатите от теста.

Индексът на дискриминация варира в рамките на [-1; 1]. Тя достига максималната си стойност, когато всички ученици от силната подгрупа изпълнят правилно тази задача, а никой от слабата подгрупа не изпълни тази задача правилно. В този случай задачата ще има максимален диференциращ ефект. Индексът на дискриминационност достига нулева стойност, когато и в двете подгрупи делът на учениците, изпълнили задачата, е равен. Съответно, няма никакъв диференциращ ефект. Стойност по-малка от 0 ще бъде в ситуация, в която слабите ученици изпълняват тази тестова задача по-успешно от силните ученици. Естествено, задачите, за които индексът на дискриминация е равен или под нула, трябва да бъдат премахнати от теста (Таблица 6).

Чрез преброяване на стойности бисериална или точково-бисериална корелациясъщо оценени валидност индивидуални задачитест. Като цяло задачата може да се счита за валидна, ако r pbis е близо до 0,5. Оценяването на валидността на артикула преценява колко подходящ е артикулът. Ако целта е да се диференцират учениците по ниво на подготвеност, тогава валидните задачи трябва ясно да разделят добре подготвените от слабо подготвените ученици в тестовата група. Стойностите на r pbis близки до нула показват ниска диференцираща способност на тестовите елементи. Всички задачи с r pbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Таблица 6

работа №	P j за всички предмети	Група	Индекс r dis
P j за слаб	P j за силен
	21,0	6,5	32,0	0,26
	94,0	90,0	97,0	0,065
	64,0	42,0	97,0	0,55
	59,0	68,0	58,0	-0,097
	27,0	16,0	29,0	0,13
	70,0	29,0	94,0	0,65
	30,0	13,0	42,0	0,29
	12,0	9,7	16,0	0,065
	33,0	16,0	52,0	0,35
	73,0	42,0	90,0	0,48

Анализ на качеството на дистракторите в задачи от затворена форма

Едно от най-важните изисквания за задачите от затворена форма е правдоподобност на дистракторите – еднаква вероятност за избор на дистрактор в случай на неправилен отговор.Оценяването на качеството на дистрактор се нарича дистракторен анализ.

Анализът на дистрактора включва преброяване на дела на субектите, които са избрали всеки дистрактор. В идеалния случай всеки дистрактор трябва да бъде избран в равно съотношение на всички неправилни отговори. Таблица 7 показва идеалното разпределение на дяловете.

Таблица 7

работа №	1 отговор	2 отговор*	3 отговор	4 отговор
й	0,1	0,7	0,1	0,1

Таблица 8 показва, че 70% от участниците са изпълнили задачата правилно (избрали са втория отговор). Останалите 30%, които са дали неправилни отговори, избират еднакво отговор 1, 3, 4, т.е. В задачата бяха дадени равновероятни дистрактори.

Ако педагогическият тест се дефинира накратко като система от задачи с равномерно нарастваща трудност, тогава ще стане ясно, че трудността на задачите е най-важният, да кажем, формиращ показател на теста. Много училищни ръководители вярват, че техните учители са в състояние да „измислят“ толкова „тестове“, колкото искат, за кратко време. Всъщност можете да измислите доста задачи в тестова форма. И въобще не тестове, а само задачи. Те не трябва да бъдат включвани в настоящия тест, докато не бъдат известни тяхната степен на трудност и други характеристики. Мярката за трудност е емпирично тествана. От това изискване става ясно, че предварителното емпирично тестване на всяка задача е задължително преди започване на тестването. По време на проверката много задачи не отговарят на изискванията към тях, поради което не са включени в теста. Първо изискване към тестовите задачи: в теста задачите трябва да са с различна степен на трудност, което следва от предварително дадената дефиниция на теста и разглеждания принцип.

краткост;
технологичност;
правилна форма;
коректност на съдържанието
логическа форма на изявление;
същите правила за оценяване на отговорите;
наличие на определено място за отговори;
еднакви инструкции за всички предмети;
правилното разположение на елементите на задачата;
съответствие на инструкциите с формата и съдържанието на задачата

Аванесов V.S. Основи на педагогическата теория на измерванията // Педагогически измервания, 1, 2004. стр. 17.

Индикаторът за трудността на теста и тестовите задачи е смислов и формален едновременно. Смислено, защото при един добър тест трудността може да зависи само от трудността на съдържанието на задачите и от степента на подготвеност на самите тествани. Докато при лош тест резултатите започват да се влияят осезаемо от формата на задачите (особено ако не е адекватна на съдържанието), лошата организация на тестването, ако има възможности за измама и изтичане на информация. В тази връзка специално внимание заслужава вредната практика за целенасочена подготовка на учениците за единния държавен изпит. Руският министър на образованието през 1907 г. И. Толстой нарича учителите, които участват в този вид работа, „обучители“. Но най-малко са виновни учителите. Виновна е погрешната система за „полагане на яйца“, която насърчава подобни погрешни практики. Какъвто е контролът, такова е и образованието.

Формалният компонент на индикатора за трудност възниква, когато тестването се разглежда като процес на конфронтация между субекта и задачата, която му се предлага. Полезно е резултатът да се разглежда като резултат от такава конфронтация. При опростена интерпретация на всеки случай на представяне на задача често, но не непременно, се разглеждат два изхода: победа на субекта с правилното решение на задачата, за което той получава една точка, или поражение, за което е дадени нула точки. Оценката на резултата от конфронтацията зависи от съотношението на нивото на знанията на изпитвания към нивото на трудност на задачата, от избраната единица за измерване на знанията и от предварително възприетото правило (конвенция) - какво се смята за „победа” на изпитвания и приемливо ли е равенство, ако говорим на езика на спорта.

Повечето автори, особено чуждестранните, не правят разлика между понятията „трудност“ и „сложност“. Много разработчици на тестове са едни и същи. Има обаче произведения, в които тези понятия се дефинират по различен начин. Например А. Н. Захаров и А. М. Матюшкин отбелязват, че степента на трудност на учебната задача не съвпада с нейната сложност. Степента на сложност на учебния материал се характеризира с реалното (обективно) богатство на учебната задача и формата на нейното представяне, а степента на трудност винаги предполага съотношение на учебния материал, който трябва да бъде усвоен, с предварително усвоения учебен материал и интелектуалните възможности на учениците (1).

Л.Н. Ланда обясни трудността на учебната задача с факта, че учениците често не знаят операциите, които трябва да се извършат, за да се намери решение. Ако система от операции за решаване на определен клас проблеми се нарича метод на решение, тогава според него трудността е свързана с непознаването на метода, с незнанието как да мислим в процеса на решаване, как и в каква последователност трябва да се действа с условията на проблема (2). Трудностите, които възникват, се обясняват с факта, че учителят често се опитва да даде знания за съдържанието на изучаваното и много по-малко се интересува от това как да мисли и разсъждава (пак там). Тази интерпретация се пресича с идеята, че сложността на една задача е свързана с броя на операциите, които трябва да бъдат изпълнени, за да се постигне успех. Тези определения за трудност и сложност са до голяма степен психологически; те са полезни при психологически анализ на съдържанието на тестовите задачи.

В продължение на много години традиционната мярка за трудността на всяка задача беше делът на верните отговори в група теми, представени със символа pj, където долният индекс j показва номера на задачата, която представлява интерес (1, 2 и т.н. ). Например, ако правилните отговори на субектите на третата задача от теста се оценяват с една точка, а неправилните - с нула, тогава стойността на показателя p3 може да се намери от елементарната връзка:

P3 = R3/N,
където R3 означава броя на верните отговори на дадена задача, а N е общият брой на изследваните в групата. Общата формула за изчисляване на дела на верните отговори на всяка задача (j) има следната форма:

Pj = Rj/ N
Индикатор pj. отдавна се използва като мярка за трудност в така наречената класическа теория на тестовете (3). По-късно се осъзнава семантичната неточност, съдържаща се в него: в края на краищата увеличаването на стойността на pj не означава увеличаване на трудността, а напротив, увеличаване на лекотата, ако такава дума може да се използва. Затова през последните години противоположната статистика – делът на грешните отговори (qj) – се свързва с показателя трудност на задачата. Тази пропорция се изчислява от съотношението на броя на грешните отговори (Wj- от английската дума Wrong - неправилно) към броя на участниците (N):

Естествено се приема, че pj + qj = 1. В класическата теория на тестовете в продължение на много години се разглеждат само емпирични индикатори за трудност. В новите версии на психологическите и педагогическите теории за тестовете се обръща повече внимание на естеството на умствената дейност на учениците в процеса на изпълнение на тестови задачи от различни форми (4).

При дефинирането на теста вече беше отбелязано, че всички тестови задачи, бих искал да подчертая, независимо от съдържанието на темите, разделите и учебните дисциплини, са подредени по нарастваща трудност. Широко разпространената доскоро препоръка в теста да се включват повече задачи със средна трудност е оправдана от гледна точка на определяне надеждността на измерването с помощта на т.нар. формули. класическа теория на тестовете. Съществуващите в тази теория методи за оценка на надеждността на теста водят до намаляване на надеждността, когато в теста са включени лесни и трудни задачи. В същото време увличането от задачи само с умерена трудност води до сериозна деформация на съдържанието на теста: последният губи способността да отразява нормално съдържанието на изучаваната дисциплина, в която винаги има лесно и трудно материал. По този начин, в преследването на абстрактна теоретично висока надеждност, съществената валидност на резултатите от теста се губи. Желанието да се увеличи валидността на резултатите от тестовете често е придружено от намаляване на тяхната точност. Това явление е теоретично известно като парадокса на американския психометричен теоретик Ф. Лорд

Оптималното картографиране на съдържанието на учебния материал в тестови задачи с необходимото ниво на трудност изисква възможност за избор на подходяща форма. Съдържанието на теста се изразява в една от четирите основни форми на задачи. Това са: 1) задачи с избор на един или повече верни отговора измежду предложените; 2) задачи от отворен тип, при които изследваното лице попълва отговора сам, в предвиденото за това място; 3) задачи за установяване на съответствие и 4) задачи за установяване на правилната последователност от действия.

Литература

Захаров А.И., Матюшкин А.М. Проблеми на адаптивните системи за обучение // Кибернетика и проблеми на обучението. - М.: Прогрес, 1970.- 389 с.
Ланда Л.Н. Алгоритмизация в обучението. М., Образование, 1966
Gulliksen H. Теория на умствените тестове. N - Y. Wiley. 1950 г. - 486 с. и много други и т.н.
Тацуока, К.К. Конструкция на предмет и психометрични модели, подходящи за конструиран отговор. Princeton, N-J, 1993. - 56 стр.; Frederiksen, N., Mislevy R.J., Bejar I.J. (Eds). Теория на тестовете за ново поколение тестове. Лорънс Ерлбаум Ass. Публ. 1993, Hillsdale, N-J, 404 стр. и т.н.

Трудност. Трудност на теста е степента на трудност на съвкупността от задачи, включени в теста. По време на процеса на създаване на тест мярката за трудност се проверява редовно върху произволна извадка от популацията, за която е предназначен тестът. При балансиран тест авторите обикновено лесно постигат нормално разпределение. По-нататъшното усъвършенстване на теста следва пътя на замяната на редица задачи, отговори на

които нарушават нормалното разпределение. Трудността на артикула влияе върху надеждността и валидността. Ако тестът е много труден, тогава учениците са по-често принудени да гадаят кой отговор е правилен, но колкото по-често прибягват до гадаене, толкова повече разпределението на резултатите от теста се доближава до случайно разпределение. Следователно пригодността на теста за оценка на знанията на цялата маса ученици ще бъде по-ниска, колкото по-труден е тестът. Същият ефект върху надеждността, но по друга причина, има лесен тест, в който учениците рядко се досещат, отговорите им са последователни, но няма разлика между тях.

Ефективност. Ефективността на педагогическия тест се определя от творческия подход на съставителите към разработването на система от задачи, които съответстват на конкретни цели на тестването.

Към днешна дата в педагогическата общност няма единство в класификацията на тестовете. В. С. Аванесов, А. Н. Майоров, М. Б. Челишкова, Т. Д. Макарова виждат различни признаци на демаркация. Въпреки това, в съответствие с методологията за създаване на теста, всички автори единодушно идентифицират: критерии, предназначени да идентифицират факта на прага за овладяване на учебен материал; нормативен, осигуряващ класиране на учениците според нивото на усвояване на материала спрямо норматива. Въз основа на професионални характеристики можете да определите: стандартизирани и нестандартизирани тестове.

Обобщавайки изследванията на учените, от съществуващото разнообразие от тестови типологии, ще подчертаем преди всичко тези, които могат да бъдат свързани с видовете контрол: превантивен, текущ, окончателен. Това са съответно инсталационни, формиращи и финални тестове. Инсталационният тест разкрива началното ниво на подготовка на учениците, съдържа както лесни, така и трудни задачи. Измервайки основното ниво на ученика, учителят може да следи развитието на всяко дете и да въвежда елементи на индивидуализация в образователния процес. Формиращият тест определя напредъка, постигнат в обучението. Към този тип изследвания включваме основни и диагностични изследвания. Първите включват репродуктивни задачи и се осъществяват на ниво формиране на понятието. Вторите съдържат задачи от репродуктивни до творчески и разкриват нивото на усвояване на тема или раздел от програмата. Окончателният тест, по-често наричан тест за учебни постижения, трябва да отговаря на всички изисквания на стандартизиран, основан на доказателства тест.

След като анализираме разнообразието от класификации на тестови задачи, представени в литературата и ги сравняваме с нормативните документи, е препоръчително да предложим класификация според видовете и видовете задачи: типове - затворени (задачи с избор на правилния отговор), отворени (задачи със свободно конструиран отговор); видове - с избор на един верен отговор, с избор на повече от един верен отговор, за установяване на съответствие, за установяване на правилна последователност, за събиране с кратък отговор, за събиране с подробен отговор.

Едно от направленията за модернизиране на образованието е въвеждането на Единния държавен изпит (USE). Въпреки че сред педагогическата общност няма единна гледна точка, все повече учители и администратори на различни нива признават, че Единният държавен изпит е по-надежден инструмент за оценка на образователните постижения на учениците. Резултатите от тестовете за общоруско масово тестване определят средни статистически стандарти за образователни постижения, спрямо които субектите на образователния процес могат да се самоидентифицират в единно пространство за контрол и измерване. Анализ на успехите и недостатъците се изисква от образователните институции и системите за управление на всички йерархични нива за коригиране на образователния процес. Тъй като изпитът по математика е задължителен за всички завършили, резултатите от Единния държавен изпит могат да се считат за информационна основа за организиране на многостепенно наблюдение. Особено подчертаваме, че въведената система за независимо оценяване, проведена в рамките на Единния държавен изпит, е мощен образователен инструмент. Оттук и възпитателната функция на мониторинга, която се проявява косвено.

Една от важните задачи на обучението е бързото и надеждно оценяване на знанията на дадено лице. Ние се опитваме да разработим система от показатели за качество на знанията, които да идентифицират условията за повишаване на постиженията на учениците, както и нивото на целите и задачите на педагогическия контрол.

Разработихме подход към технологията на конструиране на тестови измервателни уреди, в който идентифицирахме четири етапа: търсене, моделиране, формиране, оценка.

Етап на търсене. Изключително важно е оценъчната дейност на учителите да е адекватна, справедлива и обективна. В тази връзка организирахме търсене на надеждни и ефективни видове тестови задачи, методи за тестване с помощта на технически средства и персонални компютри (компютри). Използването на компютър ви позволява да преминете към наблюдение на знанията за дълъг период от време.

На този етап състоянието на знанията на учениците се определя с помощта на тестови метри. Тестването е една от най-напредналите в технологично отношение форми на автоматизиран контрол с контролирани параметри на качеството. Селективният метод при конструирането на тестови задачи позволява бързо асимилиране на всички видове явления, по-добро разбиране на техните общи и отличителни качества и по-лесно класифициране на конкретни явления и видове знания.

По този начин тестването, изпълнявайки контролна функция в процеса на диагностика на образователния процес, се използва в същото време като средство за диагностициране на ученето на учениците. Диагностиката се разглежда като точно определяне на резултатите от процеса на обучение, докато обучението се разглежда като ниво (степен) на реализация на планираната цел, постигната по време на диагностицирането” (I.P. Podlasy).

На този етап се идентифицират основните проблеми при използването на тестове: качеството и валидността на съдържанието на тестовите задачи, надеждността на резултатите от теста, недостатъците на обработката на резултатите според класическата теория на тестовете, липсата на използване на съвременната теория на обработката на тестови материали с помощта на компютър. Недостатъчният брой тематични тестове за текущо наблюдение на знанията на учениците оказва негативно влияние върху обучението, предотвратявайки индивидуализацията му в контекста на масовия образователен процес. Поставените задачи трябва да се решават в рамките на текущото и финалното изпитване на студентите.

Етап на моделиране. На втория етап се разработва алгоритъм на цикъла на обучение и концепция за тестов контрол. Цикълът на обучение трябва да гарантира последователна ориентация на обучението към планираните цели. Благодарение на тази структура учебният процес придобива „блоков” характер. Блок - дидактическо инженерство на знания, което ви позволява да формализирате компресирането на образователна информация, като използвате постиженията на теориите за смислено обобщение (V.V. Davydov и неговите последователи), разширяване на дидактически единици (P.M. Erdniev), концепцията за формиране на систематично знание (L.L. Зорина).