Calibrating the Difficulty of an Assessment Tool: The Blooming of a Statistics Examination

Abstract

Bloom's taxonomy is proposed as a tool by which to assess the level of complexity of assessment tasks in statistics. Guidelines are provided for how to locate tasks at each level of the taxonomy, along with descriptions and examples of suggested test questions. Through the "Blooming" of an examination -that is, locating its constituent parts on Bloom's taxonomy -the difficulty level of an examination paper in statistics can be pseudo-objectively assessed, via both its Bloom's Index and the proportion of marks allocated to higher order cognitive skills. One suggested application of the approach is in assessing the impact on student learning due to course transformations implemented incrementally over time. Assessment tools, in particular examination papers, can be compared for difficulty and student performance. A case study is provided in which examinations from an introductory course are Bloomed post-hoc and compared to student performances.

Kompleksitas dan Determinasi Luaran Pembelajaran pada Buku Teks Kurikulum 2013 Kelas 4 Sekolah Dasar Tema 2

“…Dalam proses pembelajaran, domain kognitif pada umumnya lebih ditonjolkan dalam pengujian luaran pembelajaran siswa dibandingkan domain yang lain (Jamali, 2019). Hasil pembelajaran yang dilakukan oleh siswa umumnya dinilai melalui kemampuannya dalam mencerna informasi yang direpresentasikan dalam taksonomi Bloom (Dunham et al, 2015). Meskipun taksonomi kognitif dianggap sebagai aspek penting dalam penilaian luaran pengajaran, namun banyak pendidik yang mengalami kesulitan dalam mengimplementasikannya (Dunham et al, 2015).…”

“…Hasil pembelajaran yang dilakukan oleh siswa umumnya dinilai melalui kemampuannya dalam mencerna informasi yang direpresentasikan dalam taksonomi Bloom (Dunham et al, 2015). Meskipun taksonomi kognitif dianggap sebagai aspek penting dalam penilaian luaran pengajaran, namun banyak pendidik yang mengalami kesulitan dalam mengimplementasikannya (Dunham et al, 2015). Hal ini menjadi salah satu faktor penyebab ketidakselarasan proses pendidikan dengan target luaran pembelajaran yang telah ditentukan dalam kurikulum pendidikan.…”

“…Salah satu faktor penting dalam penilaian kemampuan siswa adalah tingkat kompleksitas soal. Suatu soal mungkin dapat mengandung lebih dari satu level kognitif sehingga untuk dapat menyajikan jawaban yang tepat siswa harus mampu mengidentifikasi "petunjuk" yang tersirat dalam level kognitif yang lebih rendah (Dunham et al, 2015). Dengan demikian, siswa perlu berfikir lebih keras dan terstruktur untuk memberikan jawaban yang sesuai.…”

“…Hal ini ditunjukkan dengan dominasi pertanyaan dengan kategori C5. Hal ini dikarenakan kelompok kognitif level tiga atau lebih tinggi disebut sebagai kelompok kemampuan kognitif tingkat tinggi (Dunham et al, 2015).…”

How Hard Will this Task Be? Developments in Analyzing and Predicting Question Difficulty in the Bebras Challenge

“…The level of mastery is determined by the use of cognitive skills. Dunham, Yapa and Yu (2015) describe a way to use Bloom's taxonomy (Bloom, Engelbart, Furst, Hill and Krathwohl, 1956) for designing assessments in statistics education with varying difficulty levels. They focus on the depth of the thought process to solve problems, and they make explicit how to align assessment tasks on the taxonomy's scale.…”