Assessment of first-year post-graduate residents: Usefulness of multiple tools

Abstract

The strong correlations between 360-degree evaluation and small-scale OSCE+DOPS+IM-ITE(®)-composited scores suggested that both methods were measuring the same quality. Our results showed that the small-scale OSCE, when associated with both the DOPS and IM-ITE(®), could be an important assessment method for PGY(1) residents.

Persepsi Dosen tentang Kemampulaksanaan Evaluasi 360° dan OSCE sebagai Alat Penilaian Keterampilan Komunikasi

“…Evaluasi 360° merupakan alat penilaian keterampilan klinis peserta didik yang diberikan oleh beberapa penilai dengan menggunakan kuesioner. [6][7][8][9][10] The Accreditation Council for Graduate Medical Education (ACGME) menyatakan evaluasi 360° adalah metode yang valid, realiable, feasible untuk menilai keterampilan komunikasi mahasiswa. [6][7][8][9][10] Kemampulaksanaan (feasibility) adalah memungkinkan atau layak untuk dilaksanakan/diterapkan.…”

“…Setelah penilaian selesai dibutuhkan waktu untuk menganalisis nilai mahasiswa tersebut. [6][7][8][9][10] Persepsi informan mengenai waktu yang dibutuhkan untuk melaksanakan evaluasi 360° Ada informan yang beranggapan bahwa biaya untuk melaksanakan evaluasi 360° ini ekonomis karena biaya hanya untuk konsumsi dan penggandaan form penilaian dan ATK, sedangkan biaya penguji dari pendidikan dan penguji dari lahan sudah termasuk dengan biaya praktik. Informan lain mengemukakan bahwa alat, bahan habis pakai, dan perlengkapan tidak butuhkan biaya karena yang digunakan adalah yang ada di lahan praktek karena penilaian dilakukan pada saat melakuakan praktek pada saat mahasiswa memberikan asuhan kepada pasien langsung, pasien riil, situasi riil.…”

“…Sarana prasarana dalam melaksanakan evaluasi 360 sebagai alat penilaian keterampilan komunikasi memerlukan form penilaian dan ATK. [6][7][8][9][10] Dalam penelitian ini sarana prasarana yang dibutuhkan dalam melaksanakan evaluasi 360°, informan beranggapan bahwa sarana prasarana yang dibutuhkan untuk melaksanakan evaluasi 360° minim, karena yang disiapkan hanya ATK, konsumsi dan form penilaian karena alat, bahan habis pakai, perlengkapan, dan pasien dari lahan, sesuai dengan situasi dan keadaan lahan jadi tidak perlu setting tempat, setting alat, dan tidak membutuhkan staf pendukung karena situasinya riil dan pasiennya riil.…”

“…Setelah penilaian selesai dibutuhkan waktu untuk menganalisis nilai mahasiswa tersebut. [6][7][8][9][10] Persepsi informan mengenai waktu yang dibutuhkan untuk melaksanakan evaluasi 360° independen/tidak terbatas, karena penilaian dilakukan langsung kepada pasien sebenarnya dan situasi nyata pada saat mahasiswa melakukan praktek, jadi lama pemberian asuhan tidak sama antara pasien yang satu dengan pasien yang lain karena setiap pasien berbeda kasus dan kebutuhan. Pada penilaian evaluasi 360° komprehensif dari mulai anamnesa pemeriksaan fisik sampai konseling.…”

Self- and rater-assessed effectiveness of “thinking-aloud” and “regular” morning report to intensify young physicians’ clinical skills

“…The objective structured clinical examination (OSCE) setting was similar to that used in our previous studies and was conducted at the beginning (1 st month) and at the end (3 rd month) of the follow-up period for comparison of the effects of the 3-month MR-based clinical skills training between senior (PGY 1 residents) and junior (intern and clerk) attendees of the regular and TA MRs. 12,13 The MR-assessed OSCE consisted of six stations [history taking (HT), physical examination (PE), DD, laboratory and images (data) ordering and interpretation, problem solving/decision making, and skills of dealing with controversial/professional issues] that evaluated the seven clinical skills being taught in MRs. A faculty rater graded each medical student and resident according to a set of 10e12 predetermined items presented in the form of a checklist. The attendees' summary scores of individual station and average rater-assessed scores of six MRbased OSCE stations were converted into percentage values for final analysis.…”