Implementation of Verification and Matching E-KTP with Faster R-CNN and ORB

Abstract

needs a solid validation that has verification and matching uploaded images. To solve this problem, this paper implementing a detection model using Faster R-CNN and a matching method using ORB (Oriented FAST and Rotated BRIEF) and KNN-BFM (K-Nearest Neighbor Brute Force Matcher). The goal of the implementations is to reach both an 80% mark of accuracy and prove matching using ORB only can be a replaced OCR technique. The implementation accuracy results in the detection model reach mAP (Mean Average Precision) of 94%. But, the matching process only achieves an accuracy of 43,46%. The matching process using only image feature matching underperforms the previous OCR technique but improves processing time from 4510ms to 60m). Image matching accuracy has proven to increase by using a high-quality dan high quantity dataset, extracting features on the important area of EKTP card images.

PENERAPAN MEMBACA TULISAN DI DALAM GAMBAR MENGGUNAKAN METODE OCR BERBASIS WEBSITE (STUDI KASUS: e-KTP)

“…Teknologi OCR memiliki banyak aplikasi dalam pemrosesan dokumen. Proses ekstraksi karakter tersebut dapat dilakukan dengan metode Optical Character Recognition menggunakan pustaka Tesseract (Effendi et al, 2019;Hudaya et al, 2021;K Ibnutama & Suryanata, 2020). Perangkat lunak yang dirancang berhasil mengekstrak semua data diri yang ada pada e-KTP.…”

“…Salah satu penyebab pertukaran data manual ini masih terjadi adalah karena kurangnya sosialisasi terkait metode ekstraksi data pada e-KTP. Masih banyak masyarakat yang tidak tahu bahwa data pada e-KTP bisa dibaca oleh alat khusus (e-KTPreader) (Hudaya et al, 2021). Penyebab lainnya yang juga turut menghalangi penerapan otomatisasi pertukaran data e-KTP adalah mahalnya harga e-KTP reader yang beredar di pasaran terlepas dari fungsinya yang sederhana.…”

“…Banyak dokumen memiliki gambar latar belakang dan gambar latar belakang meningkatkan keamanan atau dampak visual dokumen (Basiroh & Lestari, 2020;K Ibnutama & Suryanata, 2020;Mursari & Wibowo, 2021). Proses ekstraksi karakter tersebut dapat dilakukan dengan metode Optical Character Recognition menggunakan pustaka Tesseract (Effendi et al, 2019;Hudaya et al, 2021;K Ibnutama & Suryanata, 2020). Perangkat lunak pembaca e-KTP dengan metode optical character recognition (OCR) berbasis web.…”