Reviewing and Changing Answers on Computerized Fixed-Item Vocabulary Tests

Abstract

Results obtained from computerized vocabulary tests were compared under conditions in which item review was permitted and not permitted. Comparisons between the review and no-review conditions yielded no statistically significant differences in number correct scores, ability estimates, or measurement error, but examinees in both conditions strongly desired review opportunities. Comparisons of answers before and after review within the review condition showed that only a small percentage of answers was changed (3.63%), that more answers were changed from wrong to right than from right to wrong (by a ratio of 2.25 to 1), that a large proportion of examinees (45%) changed answers to at least some questions, and that most examinees who changed answers improved their performance by doing so (by a ratio of 2.44 to 1). The results revealed that performance gains after review were greater for examinees of higher ability and that review was desired more by examinees with higher test anxiety. The major drawback to allowing review was a 35% increase in testing time.Researchers have studied answer review and change behavior on paper-and-pencil tests for more than 70

Effect of Immediate Feedback and Revision on Psychometric Properties of Open‐ended Sentence‐completion Items

“…Arguments against the use of item review on computer-adaptive tests (CATs) have focused mostly on increases in testing time, possible reductions in measurement precision, complications in item administration algorithms, and reduced test score validity resulting from answer-response strategies that yield inflated ability estimates (Wainer, 1993). In general, examinees strongly favor answer review, presumably because it provides a less stressful testing experience (Vispoel, 2000).…”

Felső tagozatos diákok papír-ceruza és számítógép alapú teszteredményeinek összehasonlító vizsgálata szövegértés, induktív gondolkodás és problémamegoldás terén

“…Higgins A tesztmegoldás, a teszttel folytatott interakció vizsgálata során az előző feladatokra történő visszalépés lehetőségét (flexibilitást) is vizsgálták a számítógépes tesztelés tekintetében (Bodmann és Robinson, 2004;Revuelta, Ximénez és Olea, 2003;Vispoel, 1998Vispoel, , 2000. A nemzetközi kutatások eredményei alapján, amennyiben a feladatmegoldás során nem kötelező a válaszadás, biztosított a korábbi feladatra történő visszalépés és válasz megváltoztatásának lehetősége, akkor a tesztkörnyezet flexibilitásának nincs jelentős hatása a diákok online tesztpontszámaira (Bodmann és Robinson, 2004;Vispoel, 2000). Ezért Vispoel (2000) alapján meg kell engednünk a visszalépést, változtatás és kihagyást, mert ezáltal nőhet a tesztpontszámok validitása, hiszen javíthatják az elütéseket, a félreolvasás következtében megadott helytelen válaszokat is, valamint a diákok preferálják a visszalépés lehetőségét (Tóth és Hódi, 2011;Vispoel, 2000).…”

“…A nemzetközi kutatások eredményei alapján, amennyiben a feladatmegoldás során nem kötelező a válaszadás, biztosított a korábbi feladatra történő visszalépés és válasz megváltoztatásának lehetősége, akkor a tesztkörnyezet flexibilitásának nincs jelentős hatása a diákok online tesztpontszámaira (Bodmann és Robinson, 2004;Vispoel, 2000). Ezért Vispoel (2000) alapján meg kell engednünk a visszalépést, változtatás és kihagyást, mert ezáltal nőhet a tesztpontszámok validitása, hiszen javíthatják az elütéseket, a félreolvasás következtében megadott helytelen válaszokat is, valamint a diákok preferálják a visszalépés lehetőségét (Tóth és Hódi, 2011;Vispoel, 2000). A visszalépés, válasz megváltoztatásának/kihagyásának további előnye, hogy hasznos információkat gyűjthetünk a diákok tevékenységéről (online környezetben).…”

Áttérés a technológia alapú mérés-értékelésre:

“…Ezt a hozzáállást képviseli Pommerich (2004) is, aki azt találta, hogy a lehetősége annak, hogy a tanuló kihagyhassa a feladatot, visszamenjen az adott feladatra, megnézze, módosíthassa, fontos paramétere a tesztelésnek. Vispoel (2000) eredményei ugyan nem igazolták iránymutatását: a tesztelt személyek 45%-a ugyan kihasználta a lehetőséget, de ez csak az esetek 4%-ban eredményezett helyes javítást. Vispoel vizsgálta az item javítás lehetőségének a kapcsolatát a teszt szorongással (test anxiety) és rugalmassággal (test flexibility) is, de nem mutatott ki egyértelmű kapcsolatot.…”

“…Ezt jól mutatja, hogy a tesztben való mozgás az elsős, másodikosokat tekintve ritka, nem térnek vissza korábbi feladatokra, nem ellenőrzik, módosítják, gondolják végig újra a megoldásaikat, hanem egyszer végig mennek rajta, ami feltehetőleg a papír alapú stratégiáikkal ellentétes, és kevésbé eredményes. Csak egyetemistákra igazolta ennek ellenkezőjét Vispoel (2000), nem ismerünk fiatalabbakra vonatkozó ilyen irányú kutatásokat.…”