Utvrđuje se sve veća težina zadataka u ovoj tehnici. Testovi iz tehnologije blok nastave matematike za srednjoškolce. Diskriminativnost testnog zadatka

U prethodnom članku razmatrano je devet principa za razvoj sadržaja pedagoških testova. Fokus ovog članka je deseti princip: povećanje težine ispitnog predmeta.

Ako se pedagoški test ukratko definiše kao sistem zadataka ravnomerno rastuće težine, onda će postati jasno da je težina zadataka najvažniji, recimo, formativni pokazatelj testa. Mnogi rukovodioci škola vjeruju da su njihovi nastavnici u stanju da „shvate“ kratko vrijeme Mogu da urade onoliko „testova“ koliko žele. U stvari, možete smisliti dosta zadataka u obliku testa. I to nikako testovi, već samo zadaci. Ne treba ih uključiti u ovaj test dok se ne sazna njihov stepen težine i druge karakteristike. Mjera težine je empirijski testirana. Iz ovog zahtjeva postaje jasno da je preliminarno empirijsko testiranje svakog zadatka obavezno prije početka testiranja. Tokom procesa verifikacije, mnogi zadaci ne ispunjavaju uslove za njih, pa stoga nisu uključeni u test. Prvi uslov za testne zadatke: u testu zadaci moraju varirati po stepenu težine, što proizilazi iz prethodno date definicije testa i principa koji se razmatra.

Pažljivi čitalac je vjerojatno već kao „neprimjetno” uočavao razlike u rječniku tri osnovna pojma teorije pedagoških mjerenja koja se ovdje uvode: koncept pedagoškog testa, zadatka u obliku testa i testnog zadatka. O zahtjevima za prvi od njih već je bilo riječi u članku “Definicija pedagoškog testa” (USH br. 30, avgust 1999.).

Bolje je sada uvesti zahtjeve za drugi koncept, barem ih ukratko navesti, kako se ne bi odvlačili od glavne teme članka. Sljedeći zahtjevi se odnose na zadatke u obrascu za testiranje:

kratkoća;

Manufacturability;

Ispravnost forme;

Ispravnost sadržaja

Logički oblik iskaza;

Ista pravila za evaluaciju odgovora;

Imati određeno mjesto za odgovore;

Identične upute za sve predmete;

Ispravna lokacija elemenata zadatka;

Avanesov V.S. Osnove pedagoške teorije mjerenja // Pedagoška mjerenja, 1, 2004. P. 17.

Detaljno tumačenje ovih zahtjeva slijedi u narednim člancima, ali sada želim skrenuti pažnju čitatelja na činjenicu da ne postoji zahtjev za poznatu težinu zadatka, dok se takav zahtjev nameće testu i ispitu. test zadatak. Iz razmišljanja o ovom i ranije objavljenom materijalu mogu se izvući dva zaključka. Prvi je da u testu nema mjesta za zadatke nepoznatog stepena težine. A drugo je da ne mogu svi predloženi zadaci u obliku testa postati testni zadaci: to su različiti koncepti. U prvom konceptu, najbitniji zahtjevi su sadržaj i forma. Za testne zadatke, prije svega, postoji zahtjev poznate težine, nešto što očito nije potrebno za zadatke u obliku testa. Može se ponoviti da zadaci imaju šansu da postanu testovi tek nakon empirijskog testiranja mjere njihove težine na tipičnim grupama predmeta.

Indikator težine testa i test zadataka je smislena i formalna u isto vrijeme. Smisleno jer dobar test težina može zavisiti samo od težine sadržaja zadataka i od stepena pripremljenosti samih subjekata. Dok kod lošeg testa na rezultate počinje primetno da utiče forma zadataka (posebno ako nije adekvatan sadržaju), loša organizacija testiranja, ukoliko postoje mogućnosti za varanje i curenje informacija. S tim u vezi, posebno treba istaći štetnu praksu ciljane pripreme učenika za polaganje jedinstvenog državnog ispita. Ruski ministar obrazovanja 1907. godine I. Tolstoj nazvao je nastavnike koji su bili uključeni u ovu vrstu posla „trenerima“. Ali nastavnici su najmanje krivi. Kriv je neispravan sistem "jaje" koji podstiče takve pogrešne prakse. Kao što je kontrola, tako je i obrazovanje.

Formalna komponenta indikatora težine nastaje kada se testiranje posmatra kao proces konfrontacije između subjekta i zadatka koji mu se nudi. Korisno je uzeti u obzir nastali ishod kao rezultat takvog sukoba. U pojednostavljenom tumačenju svakog slučaja predstavljanja zadatka, često se, ali ne nužno, razmatraju dva ishoda: pobeda subjekta na ispravna odluka zadataka, gde dobija jedan bod, ili neuspeh, za koji dobija nula bodova. Procjena rezultata sučeljavanja zavisi od omjera nivoa znanja ispitanika i stepena težine zadatka, od odabrane jedinice mjerenja znanja i od unaprijed usvojenog pravila (konvencije) - šta smatra se “pobjedom” ispitanika i da li je remi prihvatljiv, ako govorimo jezikom sporta.

Princip povećanja težine koristi se prilikom predstavljanja sadržaja mnogih udžbenika i priručnika, posebno u onim akademskim disciplinama koje su izgrađene na kumulativnom principu, što znači: poznavanje narednih elemenata predmeta eksplicitno zavisi od poznavanja prethodnih obrazovnih elemenata. Ova struktura je svojstvena udžbenicima iz matematike, logike, strani jezici, statistike, tehničke i mnoge druge nauke. U njima se prethodno proučavani koncepti aktivno koriste u narednim temama. Stoga takve discipline trebate proučavati samo od samog početka, i to bez praznina.

Većina autora, posebno stranih, ne pravi razliku između pojmova „teškoće“ i „složenosti“. Mnogi programeri testova su isti. Međutim, postoje radovi u kojima su ovi pojmovi različito definirani. Na primjer, A.N. Zakharov i A.M. Matyushkin primjećuju da se stupanj težine zadatka učenja ne podudara s njegovom složenošću. Stepen težine edukativni materijal karakteriše stvarni (objektivni) intenzitet obrazovnog zadatka i oblik njegove prezentacije, a stepen težine uvek podrazumeva korelaciju nastavnog materijala koji se savlada sa prethodno stečenim nastavnim materijalom i intelektualnim sposobnostima učenika (1) .

L.N. Landa je objasnila poteškoću vaspitni zadatak jer učenici često ne znaju operacije koje se moraju izvršiti da bi se pronašlo rješenje. Ako se sistem operacija za rješavanje određene klase problema naziva metodom rješenja, onda je, po njegovom mišljenju, teškoća povezana s nepoznavanjem metode, s neznanjem kako razmišljati u procesu rješavanja, kako i kojim redoslijedom treba postupati u skladu sa uslovima problema (2). Poteškoće koje nastaju objašnjavaju se činjenicom da nastavnik često pokušava dati znanje o sadržaju onoga što se uči, a mnogo manje brine o tome kako misli i rasuđuje (ibid.). Ovo tumačenje se ukršta sa idejom da je složenost zadatka povezana sa brojem operacija koje se moraju završiti da bi se postigao uspeh. Ove definicije težine i složenosti su uglavnom psihološke; korisni su za psihološka analiza sadržaj testnih zadataka.

Tradicionalna mjera težine svakog zadatka duge godine je udio tačnih odgovora u grupi ispitanika, prikazan simbolom p j, gdje indeks j označava broj zadatka od interesa (1, 2 itd.). Na primjer, ako se tačni odgovori ispitanika na treći zadatak testa ocjenjuju jednim bodom, a netačni - nulom, tada se vrijednost indikatora p 3 može naći iz elementarne relacije:

P 3 = R 3 /N,

gdje R 3 znači broj tačnih odgovora na dati zadatak, a N je ukupan broj predmeta u grupi. Opća formula izračunavanje udjela tačnih odgovora na bilo koji zadatak (j) ima oblik

p j = R j / N

Indikator p j . se dugo koristila kao mjera težine u tzv klasična teorija testovi (3). Kasnije se shvatila semantička netačnost sadržana u njemu: na kraju krajeva, povećanje vrijednosti p j ne ukazuje na povećanje težine, već, naprotiv, povećanje lakoće, ako se takva riječ može koristiti. Stoga u poslednjih godina suprotna statistika je počela da se povezuje sa indikatorom težine zadatka – proporcijom netačnih odgovora (q j). Ova proporcija se izračunava iz omjera broja netačnih odgovora (Wj- od engleske riječi Wrong - netačno) i broja ispitanika (N):

q j = W j / N

Prirodno se pretpostavlja da je p j + q j = 1. U klasičnoj teoriji testova, dugi niz godina razmatrani su samo empirijski pokazatelji težine. U novim verzijama psiholoških i pedagoških teorija testova, više pažnje je posvećeno prirodi mentalne aktivnosti učenika u procesu izvođenja testnih zadataka. razne forme (4).

Sadržaj testa ne može biti samo lak, srednji ili težak. Ovdje se u potpunosti manifestira dobro poznata ideja o ovisnosti rezultata korištene metode. Jednostavni testovi učenicima daju samo privid znanja jer testiraju minimalno znanje. S tim u vezi, može se primijetiti da fokus federalnog organa upravljanja obrazovanjem na provjeru minimalnog nivoa znanja ne daje i ne može, čak ni po definiciji, dati predstavu o stvarnom nivou znanja, tj. pružaju informacije koje su društvu i državnim organima odavno potrebne. Iskrivljuje rezultate testova i odabir očigledno teških zadataka, zbog čega većina školaraca završava s niskim ocjenama. Fokusiranje na teške zadatke često se smatra sredstvom za povećanje motivacije za učenje. Međutim, ovaj lijek ima različite efekte. Teški zadaci mogu neke ljude natjerati na učenje, dok ih drugi mogu odgurnuti od toga. Takva orijentacija iskrivljuje rezultate i na kraju smanjuje kvalitet pedagoškog mjerenja. Ako se test gradi striktno od zadataka sve veće težine, onda to otvara put ka stvaranju jedne od najzanimljivijih mjernih skala - L. Gutman skale.

Prilikom definisanja testa već je napomenuto da svi testni zadaci, ističem, bez obzira na sadržaj tema, sekcija i akademske discipline, poredani su po rastućoj težini. Raširena, donedavna preporuka da se u test uključi više zadataka prosječne težine opravdana je sa stanovišta utvrđivanja pouzdanosti mjerenja pomoću formula tzv. klasična teorija testa. Metode procjene pouzdanosti testa koje postoje u ovoj teoriji rezultiraju smanjenjem pouzdanosti kada se u test uključe laki i teški zadaci. Istovremeno, zanesenost zadacima samo umjerene težine dovodi do ozbiljne deformacije sadržaja testa: potonji gubi sposobnost da normalno odražava sadržaj discipline koja se proučava, u kojoj je uvijek lako i teško. materijal. Dakle, u potrazi za apstraktno teorijski visokom pouzdanošću, gubi se suštinska valjanost rezultata ispitivanja. Želja za povećanjem valjanosti rezultata testa često je praćena smanjenjem njihove točnosti. Ovaj fenomen je teoretski poznat kao paradoks američkog teoretičara psihometrije F. Lorda

Ako se testira slaba grupa učenika, ispada da teški testovi jednostavno ne rade jer ni jedan učenik ne može tačno odgovoriti na njih. Takvi zadaci se uklanjaju iz dalje obrade podataka. Ne nude se u adaptivnim sistemima upravljanja. Sadržaj testa za slabe učenike značajno će se razlikovati od sadržaja testa za jake učenike. Za ovo drugo, naprotiv, laki zadaci ne funkcionišu, jer svi upućeni subjekti tačno odgovaraju na lake zadatke. Dakle, sadržaj tradicionalnog testa značajno varira u zavisnosti od stepena pripremljenosti onih grupa učenika čije znanje test ima za cilj.

Optimalno preslikavanje sadržaja nastavnog materijala u testne zadatke potrebnog nivoa težine zahtijeva mogućnost odabira odgovarajuće forme. Sadržaj testa izražen je u jednom od četiri glavna oblika zadataka. To su: 1) zadaci sa izborom jednog ili više tačnih odgovora između predloženih; 2) zadaci otvorena forma, gdje ispitanik sam popunjava odgovor, u za to predviđenom prostoru; 3) zadaci za utvrđivanje usklađenosti i 4) zadaci za uspostavljanje ispravnog redosleda radnji.

Književnost

1. Zakharov A.I., Matyushkin A.M. Problemi adaptivni sistemi trening // Kibernetika i problemi treninga. - M.: Progres, 1970.- 389 str.

2. Landa L.N. Algoritamizacija u obuci. M., Prosvjeta, 1966

3. Gulliksen H. Teorija mentalnih testova. N - Y. Wiley. 1950 - 486 str. i još mnogo toga itd.

4. Tatsuoka, K.K. Konstrukcija predmeta i psihometrijski modeli prikladni za konstruirani odgovor. Princeton, NJ, 1993. - 56 pp; Frederiksen, N., Mislevy R. J., Bejar I. J. (Eds). Teorija testova za novu generaciju testova. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, NJ, 404 str. i sl.

U prethodnom članku razmatrano je devet principa za razvoj sadržaja pedagoških testova. Danas nastavljamo sa razmatranjem desetog principa - sve veće težine testnih zadataka.

Ako se pedagoški test ukratko definiše kao sistem zadataka sve veće težine, onda će postati jasno da je težina zadataka najvažniji, da tako kažemo, indikator formiranja testa. Mnogi rukovodioci škola vjeruju da su njihovi nastavnici u stanju da za kratko vrijeme „izvedu“ onoliko „testova“ koliko žele; I sam sam pročitao naredbu za školu, gdje je nastavnicima naređeno da u roku od tri dana predaju “testove” direktoru. U stvari, možete smisliti onoliko zadataka koliko želite u obliku testa (a to još nisu testovi). Ne treba ih uključiti u ovaj test dok se ne sazna mjera težine koja se može empirijski ispitati. Iz ovog zahtjeva postaje jasno da je preliminarno empirijsko testiranje svakog zadatka obavezno prije početka testiranja. Tokom procesa testiranja, mnogi zadaci (obično više od polovine) ne ispunjavaju uslove za njih i stoga nisu uključeni u test. Prvi uslov za testne zadatke: u testu zadaci moraju varirati po stepenu težine, što proizilazi iz prethodno date definicije testa i principa koji se razmatra.

Pažljivi čitalac je vjerovatno već uočio razlike u vokabularu tri osnovna pojma teorije testova, kao da su ovdje „neprimjetno“ uvedena: pedagoški test, zadatak u testnoj formi i testni zadatak. O zahtjevima za prvi od njih već je bilo riječi u članku “Definicija pedagoškog testa” (USH br. 30, avgust 1999.).

Bolje je sada uvesti zahtjeve za drugi koncept, barem ih ukratko navesti, kako se ne bi odvlačili od glavne teme članka. Sljedeći zahtjevi se odnose na zadatke u obrascu za testiranje:

ispravnost sadržaja
logički oblik iskaza;
ispravan oblik;
kratkoća;
imati određeno mjesto za odgovore;
ispravna lokacija elemenata zadatka;
ista pravila za evaluaciju odgovora;
identična uputstva za sve predmete;
adekvatnost uputstava formi i sadržaju zadatka.

Detaljno tumačenje ovih zahtjeva slijedi u narednim člancima, ali sada želim skrenuti pažnju čitatelja na činjenicu da ne postoji zahtjev za poznatu težinu zadatka, dok se takav zahtjev nameće testu i ispitu. test zadatak. Iz razmišljanja o ovom i ranije objavljenom materijalu mogu se izvući dva zaključka. Prvi je da u testu nema mjesta za zadatke nepoznatog stepena težine. A drugo je da ne mogu svi predloženi zadaci u obliku testa postati testni zadaci: to su različiti koncepti. U prvom konceptu, najbitniji zahtjevi su sadržaj i forma. Za testne zadatke, prije svega, postoji zahtjev poznate težine, nešto što očito nije potrebno za zadatke u obliku testa. Zadaci imaju priliku da postanu testovi tek nakon eksperimentalne, ili, strože rečeno, empirijske provjere mjere njihove težine, na tipičnim grupama ispitanika.

Indikator težine testa i zadataka testa je u isto vrijeme smislen i formalan. Značajan pokazatelj, jer u dobrom testu težina može zavisiti samo od sadržaja i od stepena pripremljenosti samih ispitanika, dok kod lošeg testa na rezultate počinje primetno uticati forma zadataka (posebno ako nije adekvatan sadržaju), loša organizacija testiranja, ako postoji mogućnost varanja, curenje informacija. S tim u vezi, zaslužuje posebnu pažnju kontroverzna praksa ciljana priprema za centralizovano testiranje.

Formalna komponenta indikatora težine nastaje kada se testiranje posmatra kao proces konfrontacije između svakog ispitanika i svakog zadatka koji mu se nudi. Korisno je uzeti u obzir nastali ishod kao rezultat takvog sukoba. Uz pojednostavljeno tumačenje svakog slučaja subjektovog sučeljavanja sa sljedećim zadatkom, obično se razmatraju samo dva ishoda: pobjeda subjekta s tačnim rješenjem zadatka, pri čemu dobija jedan bod, ili poraz, za koji mu se daje nula. bodova. Procjena rezultata sučeljavanja zavisi od omjera nivoa znanja ispitanika i stepena težine zadatka, od odabrane jedinice mjerenja znanja i od unaprijed usvojenog pravila (konvencije) - šta smatra se “pobjedom” ispitanika i da li je remi prihvatljiv, ako govorimo jezikom sporta.

Princip povećanja težine koristi se prilikom predstavljanja sadržaja mnogih udžbenika i priručnika, posebno u onim akademskim disciplinama koje su izgrađene na kumulativnom principu, što znači: poznavanje narednih elemenata predmeta eksplicitno zavisi od poznavanja prethodnih obrazovnih elemenata. Ova struktura je svojstvena udžbenicima iz matematike, logike, stranih jezika, statistike, tehničkih i mnogih drugih nauka. U njima se prethodno proučavani koncepti aktivno koriste u narednim temama. Stoga takve discipline trebate proučavati samo od samog početka, i to bez praznina.

Većina autora, posebno stranih, ne pravi razliku između pojmova „teškoće“ i „složenosti“. Mnogi programeri testova su isti. Međutim, postoje radovi u kojima su ovi pojmovi različito definirani. Na primjer, A.N. Zakharov i A.M. Matyushkin primjećuju da se stupanj težine zadatka učenja ne podudara s njegovom složenošću. Stepen složenosti nastavnog materijala karakteriše realno (objektivno) bogatstvo obrazovnog zadatka i oblika njegovog izlaganja, a stepen težine uvek pretpostavlja korelaciju nastavnog materijala koji se savlada sa prethodno stečenim nastavnim materijalom i intelektualne sposobnosti učenika (1).

L.N. Landa objašnjava težinu obrazovnog zadatka činjenicom da učenici često ne znaju operacije koje se moraju izvršiti da bi se pronašlo rješenje. Ako se sistem operacija za rješavanje određene klase problema naziva metodom rješenja, onda je, po njegovom mišljenju, teškoća povezana s nepoznavanjem metode, s neznanjem kako razmišljati u procesu rješavanja, kako i kojim redoslijedom treba postupati u skladu sa uslovima problema (2). Poteškoće koje nastaju objašnjavaju se činjenicom da nastavnik često pokušava dati znanje o sadržaju onoga što se uči, a mnogo manje brine o tome kako misli i rasuđuje (ibid.). Ovo tumačenje se ukršta sa idejom da je složenost zadatka povezana sa brojem operacija koje se moraju završiti da bi se postigao uspeh. Ove definicije težine i složenosti su uglavnom psihološke; korisni su u psihološkoj analizi sadržaja testnih zadataka.

Dugi niz godina tradicionalno mjerilo težine svakog zadatka bio je udio tačnih odgovora u grupi predmeta, predstavljen simbolom pj, gdje indeks j označava broj zadatka od interesa (1, 2 itd. ). Na primjer, ako se tačni odgovori ispitanika na treći zadatak testa ocjenjuju jednim bodom, a netačni - nulom, tada se vrijednost indikatora p3 može naći iz elementarne relacije

gdje R3 znači broj tačnih odgovora na dati zadatak, a N ukupan broj ispitanika u grupi. Opća formula za izračunavanje udjela tačnih odgovora na bilo koji zadatak (j) ima sljedeći oblik:

Indikator pj. se dugo koristila kao mjera težine u takozvanoj klasičnoj teoriji testova (3). Kasnije se shvatila semantička netočnost sadržana u njemu: na kraju krajeva, povećanje vrijednosti pj ne ukazuje na povećanje težine, već, naprotiv, povećanje lakoće, ako se takva riječ može koristiti. Stoga se posljednjih godina suprotna statistika - udio netačnih odgovora (qj) - povezuje sa indikatorom težine zadatka. Ova proporcija se izračunava iz omjera broja netačnih odgovora (Wj- od engleske riječi Wrong - netačno) i broja ispitanika (N):

Prirodno se pretpostavlja da je pj + qj = 1. U klasičnoj teoriji testova, dugi niz godina razmatrani su samo empirijski pokazatelji težine. U novim verzijama psiholoških i pedagoških teorija testova, više pažnje je posvećeno prirodi mentalne aktivnosti učenika u procesu izvođenja testnih zadataka različitih oblika (4).

Prilikom definisanja testa već je napomenuto da su svi testni zadaci, ističem, bez obzira na sadržaj tema, sekcija i nastavnih disciplina, raspoređeni po težini. Raširena, donedavna preporuka da se u test uključi više zadataka prosječne težine opravdana je sa stanovišta utvrđivanja pouzdanosti mjerenja pomoću formula tzv. klasična teorija testa. Metode procjene pouzdanosti testa koje postoje u ovoj teoriji rezultiraju smanjenjem pouzdanosti kada se u test uključe laki i teški zadaci. Istovremeno, zanesenost zadacima samo umjerene težine dovodi do ozbiljne deformacije sadržaja testa: potonji gubi sposobnost da normalno odražava sadržaj discipline koja se proučava, u kojoj je uvijek lako i teško. materijal. Dakle, u potrazi za teorijski visokom pouzdanošću, gubi se sadržajna valjanost rezultata ispitivanja. Želja za povećanjem valjanosti rezultata testa često je praćena smanjenjem njihove točnosti.

Optimalno preslikavanje sadržaja nastavnog materijala u testne zadatke potrebnog nivoa težine zahtijeva mogućnost odabira odgovarajuće forme. Sadržaj testa izražen je u jednom od četiri glavna oblika zadataka. To su: 1) zadaci sa izborom jednog ili više tačnih odgovora između predloženih; 2) zadatke otvorene forme, u kojima ispitanik sam dopunjava odgovor, na za to predviđenom prostoru; 3) zadaci za utvrđivanje usklađenosti i 4) zadaci za uspostavljanje ispravnog redosleda radnji.

Karakteristike testnih zadataka

Prikupljanje i statistička obrada rezultata ispitivanja

Radi praktičnosti obrade podataka testa, rezultati se unose u posebnu tabelu - matricu rezultata testa. Prikazan je rad sa matricom rezultata testiranja praktična lekcija 2 (str. 33).

Na osnovu rezultata aprobacionog testiranja određuju se karakteristike testnih zadataka - težine, diskriminativnosti i valjanosti zadatka.

Težina zadatka u klasičnoj teoriji testa određena je omjerom broja ispitanika koji su završili dati zadatak i ukupan broj predmeta, tj. težina zadatka - ovo je procenat učenika koji su završili zadatak.

Težina zadatka se izračunava pomoću formule

Gdje p j je udio tačnih odgovora na j-ti zadatak; Y j je broj ispitanika koji su ispravno izvršili j-ti zadatak, N je broj ispitanika u grupi, j je broj zadatka. Ili kao procenat, P j je težina j-tog zadatka u procentima:.

Test, dobro izbalansiran po težini, sadrži nekoliko najtežih predmeta sa vrijednošću . Postoje neke od najlakših sa . Ostali zadaci po vrijednostima str zauzimaju srednju poziciju između ekstremnih situacija i uglavnom imaju poteškoća 60 - 70 % u testu zasnovanom na kriterijumu i 40-60 % na normativno orijentisan način.

Diskriminativnost testnog zadatka

Diskriminacija(sposobnost razlikovanja, sposobnost razlikovanja) zadaci su sposobnost zadatka da se subjekti razlikuju po stepenu postignuća, na jake i slabe. Ako zadatak podjednako obavljaju i slabi i jaki ljudi, onda možemo govoriti o niskoj diskriminativnosti zadatka. Ako zadatak obavljaju jaki subjekti, a slabi daju negativan rezultat, onda imamo visoku diskriminativnost.

Visoka diskriminatorna priroda testnih zadataka važna je za normativne testove, čija je glavna svrha rangiranje učenika prema nivou postignuća.

Ako je indeks diskriminativnosti iznad nule ( više od 0,3 smatra se zadovoljavajućim), a još bolje teži 1, to ukazuje da zadatak ima dobar (maksimalni) efekat diferenciranja.

Za procjenu diskriminativnosti zadatka koristit ćemo se metod ekstremne grupe , izračunavanje pomoću formule:

Gdje je indeks diskriminativnosti za j-ti ispitni predmet; (P 1) j – procenat učenika koji su tačno uradili j-ti zadatak u podgrupi od 27% najboljih učenika prema rezultatima testa; (P 0) j – procenat učenika koji su tačno uradili j-ti zadatak u podgrupi od 27% najgori studenti na osnovu rezultata testa.

Indeks diskriminabilnosti varira unutar [-1; 1]. Svoju maksimalnu vrijednost dostiže u slučaju kada svi učenici iz jače podgrupe ispravno urade ovaj zadatak, a niko iz slabe podgrupe ne izvrši ovaj zadatak ispravno. U ovom slučaju, zadatak će imati maksimalni diferencirajući učinak. Indeks diskriminativnosti dostiže nultu vrijednost kada su u obje podgrupe jednake proporcije učenika koji su završili zadatak. Shodno tome, ne postoji nikakav efekat diferencijacije. Vrijednost manja od 0 bit će u situaciji kada slabi učenici ovaj testni zadatak izvode uspješnije od jakih učenika. Naravno, zadaci za koje je indeks diskriminabilnosti jednak ili ispod nule moraju se ukloniti iz testa (tabela 6).

Prebrojavanjem vrednosti biserijska ili tačka-biserijska korelacija takođe procenio valjanost individualni zadaci test. Općenito, zadatak se može smatrati valjanim ako je r pbis blizu 0,5. Procjenom valjanosti stavke procjenjuje se koliko je predmet prikladan. Ako je cilj da se učenici razlikuju po stepenu pripremljenosti, onda valjani zadaci treba jasno odvojiti dobro pripremljene od loše pripremljenih učenika u test grupi. Vrijednosti r pbis bliske nuli ukazuju na nisku sposobnost razlikovanja testnih jedinica. Svi zadaci sa r pbis<0, подлежат удалению из теста, так как на эти задания верно отвечают слабые ученики, а сильные либо ошибаются либо пропускают это задание.

Tabela 6

Posao br.	P j za sve predmete	Grupa	Indeks r dis
P j za slabe	P j za jake
	21,0	6,5	32,0	0,26
	94,0	90,0	97,0	0,065
	64,0	42,0	97,0	0,55
	59,0	68,0	58,0	-0,097
	27,0	16,0	29,0	0,13
	70,0	29,0	94,0	0,65
	30,0	13,0	42,0	0,29
	12,0	9,7	16,0	0,065
	33,0	16,0	52,0	0,35
	73,0	42,0	90,0	0,48

Analiza kvaliteta distraktora u zadacima zatvorene forme

Jedan od najvažnijih zahtjeva za zadatke zatvorene forme je uvjerljivost distraktora – jednaka vjerovatnoća odabira distraktora u slučaju pogrešnog odgovora. Procjena kvaliteta distraktora se zove analiza distraktora.

Analiza distraktora uključuje prebrojavanje udjela ispitanika koji su odabrali svaki distraktor. U idealnom slučaju, svaki distraktor bi trebao biti odabran u jednakom omjeru svih netačnih odgovora. Tabela 7 prikazuje idealnu distribuciju udjela.

Tabela 7

Posao br.	1 odgovor	2 odgovora*	3 odgovor	4 odgovor
j	0,1	0,7	0,1	0,1

Tabela 8 pokazuje da je 70% ispitanika tačno uradilo zadatak (odabralo 2. odgovor). Preostalih 30% koji su dali netačne odgovore ujednačeno su birali odgovore 1, 3, 4, tj. U zadatku su dati ravnovjerovatni distraktori.

Ako se pedagoški test ukratko definiše kao sistem zadataka ravnomerno rastuće težine, onda će postati jasno da je težina zadataka najvažniji, recimo, formativni pokazatelj testa. Mnogi rukovodioci škola vjeruju da su njihovi nastavnici u stanju da za kratko vrijeme „izvedu“ onoliko „testova“ koliko žele. U stvari, možete smisliti dosta zadataka u obliku testa. I to nikako testovi, već samo zadaci. Ne treba ih uključiti u ovaj test dok se ne sazna njihov stepen težine i druge karakteristike. Mjera težine je empirijski testirana. Iz ovog zahtjeva postaje jasno da je preliminarno empirijsko testiranje svakog zadatka obavezno prije početka testiranja. Tokom procesa verifikacije, mnogi zadaci ne ispunjavaju uslove za njih, pa stoga nisu uključeni u test. Prvi uslov za testne zadatke: u testu zadaci moraju varirati po stepenu težine, što proizilazi iz prethodno date definicije testa i principa koji se razmatra.

Bolje je sada uvesti zahtjeve za drugi koncept, barem ih ukratko navesti, kako se ne bi odvlačili od glavne teme članka. Sljedeći zahtjevi se odnose na zadatke u obrascu za testiranje:

kratkoća;
proizvodnost;
ispravan oblik;
ispravnost sadržaja
logički oblik iskaza;
ista pravila za evaluaciju odgovora;
imati određeno mjesto za odgovore;
identična uputstva za sve predmete;
ispravna lokacija elemenata zadatka;
adekvatnost instrukcija formi i sadržaju zadatka

Avanesov V.S. Osnove pedagoške teorije mjerenja // Pedagoška mjerenja, 1, 2004. P. 17.

Indikator težine testa i zadataka testa je u isto vrijeme smislen i formalan. Smisleno, jer u dobrom testu težina može zavisiti samo od težine sadržaja zadataka i od nivoa pripremljenosti samih ispitanika. Dok kod lošeg testa na rezultate počinje primetno da utiče forma zadataka (posebno ako nije adekvatan sadržaju), loša organizacija testiranja, ukoliko postoje mogućnosti za varanje i curenje informacija. S tim u vezi, posebno treba istaći štetnu praksu ciljane pripreme učenika za polaganje jedinstvenog državnog ispita. Ruski ministar obrazovanja 1907. godine I. Tolstoj nazvao je nastavnike koji su bili uključeni u ovu vrstu posla „trenerima“. Ali nastavnici su najmanje krivi. Kriv je neispravan sistem „jajanja“ koji podstiče takve pogrešne prakse. Kao što je kontrola, tako je i obrazovanje.

Formalna komponenta indikatora težine nastaje kada se testiranje posmatra kao proces konfrontacije između subjekta i zadatka koji mu se nudi. Korisno je uzeti u obzir nastali ishod kao rezultat takvog sukoba. Uz pojednostavljeno tumačenje svakog slučaja predstavljanja zadatka, često se, ali ne i nužno, razmatraju dva ishoda: pobjeda subjekta sa tačnim rješenjem zadatka, za koji dobiva jedan bod, ili poraz, za koji je dati nula bodova. Procjena rezultata sučeljavanja zavisi od omjera nivoa znanja ispitanika i stepena težine zadatka, od odabrane jedinice mjerenja znanja i od unaprijed usvojenog pravila (konvencije) - šta smatra se “pobjedom” ispitanika i da li je remi prihvatljiv, ako govorimo jezikom sporta.

Princip povećanja težine koristi se prilikom predstavljanja sadržaja mnogih udžbenika i priručnika, posebno u onim akademskim disciplinama koje su izgrađene na kumulativnom principu, što znači: poznavanje narednih elemenata predmeta eksplicitno zavisi od poznavanja prethodnih obrazovnih elemenata. Ova struktura je svojstvena udžbenicima iz matematike, logike, stranih jezika, statistike, tehničkih i mnogih drugih nauka. U njima se prethodno proučavani koncepti aktivno koriste u narednim temama. Stoga takve discipline trebate proučavati samo od samog početka, i to bez praznina.

Većina autora, posebno stranih, ne pravi razliku između pojmova „teškoće“ i „složenosti“. Mnogi programeri testova su isti. Međutim, postoje radovi u kojima su ovi pojmovi različito definirani. Na primjer, A.N. Zakharov i A.M. Matyushkin primjećuju da se stupanj težine zadatka učenja ne podudara s njegovom složenošću. Stepen složenosti nastavnog materijala karakteriše realno (objektivno) bogatstvo obrazovnog zadatka i oblika njegovog izlaganja, a stepen težine uvek pretpostavlja korelaciju nastavnog materijala koji se savlada sa prethodno stečenim nastavnim materijalom i intelektualne sposobnosti učenika (1).

L.N. Landa je teškoću obrazovnog zadatka objasnila činjenicom da učenici često ne znaju operacije koje se moraju izvršiti da bi se pronašlo rješenje. Ako se sistem operacija za rješavanje određene klase problema naziva metodom rješenja, onda je, po njegovom mišljenju, teškoća povezana s nepoznavanjem metode, s neznanjem kako razmišljati u procesu rješavanja, kako i kojim redoslijedom treba postupati u skladu sa uslovima problema (2). Poteškoće koje nastaju objašnjavaju se činjenicom da nastavnik često pokušava dati znanje o sadržaju onoga što se uči, a mnogo manje brine o tome kako misli i rasuđuje (ibid.). Ovo tumačenje se ukršta sa idejom da je složenost zadatka povezana sa brojem operacija koje se moraju završiti da bi se postigao uspeh. Ove definicije težine i složenosti su uglavnom psihološke; korisni su u psihološkoj analizi sadržaja testnih zadataka.

P3 = R3/N,
gdje R3 znači broj tačnih odgovora na dati zadatak, a N ukupan broj ispitanika u grupi. Opća formula za izračunavanje udjela tačnih odgovora na bilo koji zadatak (j) ima sljedeći oblik:

Pj = Rj/N
Indikator pj. se dugo koristila kao mjera težine u takozvanoj klasičnoj teoriji testova (3). Kasnije se shvatila semantička netočnost sadržana u njemu: na kraju krajeva, povećanje vrijednosti pj ne ukazuje na povećanje težine, već, naprotiv, povećanje lakoće, ako se takva riječ može koristiti. Stoga se posljednjih godina suprotna statistika - udio netačnih odgovora (qj) - povezuje sa indikatorom težine zadatka. Ova proporcija se izračunava iz omjera broja netačnih odgovora (Wj- od engleske riječi Wrong - netačno) i broja ispitanika (N):

Prirodno se pretpostavlja da je pj + qj = 1. U klasičnoj teoriji testova, dugi niz godina razmatrani su samo empirijski pokazatelji težine. U novim verzijama psiholoških i pedagoških teorija testova, više pažnje je posvećeno prirodi mentalne aktivnosti učenika u procesu izvođenja testnih zadataka različitih oblika (4).

Prilikom definisanja testa već je napomenuto da su svi testni zadaci, ističem, bez obzira na sadržaj tema, sekcija i nastavnih disciplina, raspoređeni po težini. Raširena, donedavna preporuka da se u test uključi više zadataka prosječne težine opravdana je sa stanovišta utvrđivanja pouzdanosti mjerenja pomoću formula tzv. klasična teorija testa. Metode procjene pouzdanosti testa koje postoje u ovoj teoriji rezultiraju smanjenjem pouzdanosti kada se u test uključe laki i teški zadaci. Istovremeno, zanesenost zadacima samo umjerene težine dovodi do ozbiljne deformacije sadržaja testa: potonji gubi sposobnost da normalno odražava sadržaj discipline koja se proučava, u kojoj je uvijek lako i teško. materijal. Dakle, u potrazi za apstraktno teorijski visokom pouzdanošću, gubi se suštinska valjanost rezultata ispitivanja. Želja za povećanjem valjanosti rezultata testa često je praćena smanjenjem njihove točnosti. Ovaj fenomen je teoretski poznat kao paradoks američkog teoretičara psihometrije F. Lorda

Optimalno preslikavanje sadržaja nastavnog materijala u testne zadatke potrebnog nivoa težine zahtijeva mogućnost odabira odgovarajuće forme. Sadržaj testa izražen je u jednom od četiri glavna oblika zadataka. To su: 1) zadaci sa izborom jednog ili više tačnih odgovora između predloženih; 2) zadatke otvorene forme, u kojima ispitanik sam dopunjava odgovor, na za to predviđenom prostoru; 3) zadaci za utvrđivanje usklađenosti i 4) zadaci za uspostavljanje ispravnog redosleda radnji.

Književnost

Zakharov A.I., Matjuškin A.M. Problemi adaptivnih sistema učenja // Kibernetika i problemi učenja. - M.: Progres, 1970.- 389 str.
Landa L.N. Algoritamizacija u obuci. M., Prosveta, 1966
Gulliksen H. Theory of Mental Tests. N - Y. Wiley. 1950 - 486 str. i još mnogo toga itd.
Tatsuoka, K.K. Konstrukcija predmeta i psihometrijski modeli prikladni za konstruirani odgovor. Princeton, NJ, 1993. - 56 pp; Frederiksen, N., Mislevy R. J., Bejar I. J. (Eds). Teorija testova za novu generaciju testova. Lawrence Erlbaum Ass. Publ. 1993, Hillsdale, NJ, 404 str. i sl.

Poteškoće. Težina testa je stepen težine u ukupnosti zadataka uključenih u test. Tokom procesa kreiranja testa, mjera težine se redovno provjerava na slučajnom uzorku iz populacije kojoj je test namijenjen. U balansiranom testu, autori obično lako postižu normalnu distribuciju. Dalje usavršavanje testa ide putem zamjene niza zadataka, odgovora na

koji narušavaju normalnu distribuciju. Poteškoća predmeta utiče na pouzdanost i valjanost. Ako je test vrlo težak, tada su učenici češće primorani da pogađaju koji je odgovor tačan, ali što češće pribjegavaju pogađanju, to se distribucija rezultata testa više približava slučajnoj distribuciji. Stoga će podobnost testa za provjeru znanja cjelokupne mase učenika biti manja što je test teži. Isti učinak na pouzdanost, ali iz drugog razloga, ima i lak test u kojem učenici rijetko pogađaju, njihovi odgovori su dosljedni, ali među njima nema razlike.

Efikasnost. Efikasnost pedagoškog testa određena je kreativnim pristupom sastavljača razvoju sistema zadataka koji odgovaraju specifičnim ciljevima testiranja.

Do danas u pedagoškoj zajednici ne postoji jedinstvo u klasifikaciji testova. V. S. Avanesov, A. N. Mayorov, M. B. Chelyshkova, T. D. Makarova vide različite znakove razgraničenja. Međutim, u skladu sa metodologijom izrade testa, svi autori jednoglasno identifikuju: kriterijume za utvrđivanje činjenice praga za savladavanje nastavnog materijala; normativni, koji obezbjeđuje rangiranje učenika prema stepenu savladanosti gradiva u odnosu na normu. Na osnovu profesionalnih karakteristika možete definisati: standardizovane i nestandardizovane testove.

Sumirajući istraživanja naučnika, iz postojeće raznovrsnosti tipologija testova, izdvojićemo pre svega one koje se mogu povezati sa tipovima kontrole: preventivna, aktuelna, konačna. To su, shodno tome, instalacijski, formativni i završni testovi. Instalacijski test otkriva početni nivo pripremljenosti školaraca, sadrži i lake i teške zadatke. Mjerenjem osnovnog nivoa učenika, nastavnik može pratiti razvoj svakog djeteta i uvesti elemente individualizacije u obrazovni proces. Formativni test utvrđuje napredak postignut u učenju. U ovu vrstu testova uključujemo osnovne i dijagnostičke testove. Prvi uključuju reproduktivne zadatke i izvode se na nivou formiranja pojma. Drugi sadrže zadatke od reproduktivnih do kreativnih i otkrivaju nivo savladanosti teme ili dijela programa. Završni test, koji se češće naziva Test školskih postignuća, mora ispuniti sve zahtjeve standardiziranog testa zasnovanog na dokazima.

Analizirajući raznovrsnost klasifikacija testnih zadataka predstavljenih u literaturi i upoređujući ih sa regulatornim dokumentima, preporučljivo je predložiti klasifikaciju prema vrstama i vrstama zadataka: tipovi - zatvoreni (zadaci sa izborom tačnog odgovora), otvoreni (zadaci sa slobodno konstruisanim odgovorom); vrste - sa izborom jednog tačnog odgovora, sa izborom više tačnih odgovora, za uspostavljanje podudarnosti, za uspostavljanje tačnog niza, za sabiranje sa kratkim odgovorom, za sabiranje sa detaljnim odgovorom.

Jedan od pravaca modernizacije obrazovanja je i uvođenje Jedinstvenog državnog ispita (JED). Iako u pedagoškoj zajednici ne postoji jedinstveno gledište, sve veći broj nastavnika i administratora na različitim nivoima prepoznaje da je Jedinstveni državni ispit pouzdaniji alat za ocjenjivanje obrazovnih postignuća učenika. Rezultati testova sveruskog masovnog testiranja postavljaju prosječne statističke standarde obrazovnih postignuća, prema kojima se subjekti obrazovnog procesa mogu samoidentificirati u jednom kontrolnom i mjernom prostoru. Analizu uspjeha i nedostataka zahtijevaju obrazovne institucije i sistemi upravljanja na svim hijerarhijskim nivoima za korekciju obrazovnog procesa. Budući da je ispit iz matematike obavezan za sve maturante, rezultati Jedinstvenog državnog ispita mogu se smatrati informacijskom osnovom za organizovanje višestepenog praćenja. Posebno ističemo da je uvedeni sistem nezavisnog ocjenjivanja, koji se provodi u okviru Jedinstvenog državnog ispita, moćno obrazovno sredstvo. Otuda i obrazovna funkcija praćenja, koja se manifestuje indirektno.

Jedan od važnih zadataka obuke je brza i pouzdana procjena znanja osobe. Pokušavamo da razvijemo sistem indikatora kvaliteta znanja koji bi identifikovao uslove za povećanje postignuća učenika, kao i nivo ciljeva i zadataka pedagoške kontrole.

Razvili smo pristup tehnologiji konstruisanja ispitnih brojila u kojem smo identifikovali četiri faze: pretraživanje, modeliranje, formiranje, evaluacija.

Faza pretrage. Izuzetno je važno da evaluacijske aktivnosti nastavnika budu adekvatne, pravedne i objektivne. S tim u vezi, organizovali smo potragu za pouzdanim i efikasnim tipovima zadataka testiranja, metodama ispitivanja korišćenjem tehničkih sredstava i personalnih računara (PC). Korišćenje računara omogućava vam da pređete na praćenje znanja tokom dužeg vremenskog perioda.

U ovoj fazi se utvrđuje stanje znanja učenika pomoću test merača. Testiranje je jedan od tehnološki najnaprednijih oblika automatiziranog upravljanja s kontroliranim parametrima kvalitete. Selektivni metod pri konstruisanju testnih zadataka omogućava brzu asimilaciju svih vrsta pojava, bolje razumevanje njihovih opštih i karakterističnih kvaliteta i lakšu klasifikaciju specifičnih pojava i vrsta znanja.

Dakle, testiranje, obavljajući kontrolnu funkciju u dijagnostici obrazovnog procesa, istovremeno se koristi i kao sredstvo za dijagnostiku učenja učenika. Dijagnostika se smatra tačnim određivanjem rezultata procesa učenja, dok se obuka smatra stepenom (stepenom) ostvarenja zacrtanog cilja koji je postignut u trenutku postavljanja dijagnoze” (I.P. Podlasy).

U ovoj fazi identifikuju se glavni problemi pri korišćenju testova: kvalitet i validnost sadržaja testnih zadataka, pouzdanost rezultata testa, nedostaci obrade rezultata prema klasičnoj teoriji testova, nedostatak upotrebe savremenih testova. teorija obrade ispitnih materijala pomoću PC-a. Nedovoljan broj tematskih testova za kontinuirano praćenje znanja učenika negativno utiče na učenje, sprečavajući njegovu individualizaciju u kontekstu masovnog obrazovnog procesa. Postavljeni zadaci moraju biti riješeni u okviru tekućeg i završnog testiranja učenika.

Faza modeliranja. U drugoj fazi razvijaju se algoritam ciklusa obuke i koncept kontrole testa. Ciklus učenja mora osigurati dosljednu orijentaciju učenja prema predviđenim ciljevima. Zahvaljujući ovoj strukturi, obrazovni proces dobija „blokovski“ karakter. Blok - didaktički inženjering znanja, koji vam omogućava da formalizirate kompresiju obrazovnih informacija koristeći dostignuća teorija smislene generalizacije (V.V. Davydov i njegovi sljedbenici), proširenje didaktičkih jedinica (P.M. Erdniev), koncept formiranja sistematskog znanja (L.L. Zorina) .