Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika

Abstract

V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.