Objek bayangan memiliki intensitas dan bentuk yang beragam, yang dapat menimbulkan masalah dalam sistem visi kendaraan otonom. Bayangan yang ditimbulkan dari pohon, bangunan, d an objek la in di sekitar jalan dapat mempengaruhi kinerja sistem pengenalan dan pelacakan target. Maka itu, diperlukan suatu model pendeteksian bayangan untuk mengetahui lokasi ba yangan agar dapat digunakan pada penelitian terkat eliminasi bayangan. Penelitian ini bertujuan untuk mengetahui tingkat akurasi model dengan variasi dataset yang kami berikan dan mendefinisikan masing-masing label objek non-shadow dan shadow merupakan metode yang digunakan untuk membedakan antara bayangan dan objeknya yang mirip. Pelatihan model dilakukan dengan fine-tuning Faster R-CNN pada kerangka kerja Pytorch menggunakan arsitektur ResNet50 sebagai rancangan dasar. Implementasi model untuk dapat mendeteksi bayangan diterapkan pada video perjalanan kendaraan otonom . Hasil penelitian menunjukkan bahwa dari kelima model yang dibuat, model P5 berhasil mendeteksi bayangan dengan rata-rata akurasi F1-score sebesar 46%.