Melinjo tersebar luas di Indonesia. Buah melinjo mengalami perubahan warna dari mentah hingga sangat matang. Proses pemilihan hasil panen baik oleh petani, masyarakat, dan pelaku usaha UMKM buah melinjo pada umumnya memilih melinjo sebagai bahan dasar suatu produk masih dilakukan secara manual menggunakan penglihatan manusia normal sehingga memiliki kelemahan antara lain waktu yang dibutuhkan relatif lama dan menghasilkan produk beragam karena tingkat kelelahan manusia. Perkembangan teknologi ilmu pengetahuan dan teknologi pengolahan citra digital bisa diterapkan untuk memilih buah dari hasil panen secara otomatis dengan bantuan aplikasi pengolah citra. Tujuan penelitian ini adalah membangun sebuah sistem untuk mengklasifikasi tingkat kematangan buah melinjo dengan menggunakan metode Algoritma Self Organizing Map dan ekstraksi fitur RGB (Red, Green, Blue) dan HSV (Hue, Saturation, Value) dengan bantuan aplikasi pengolah citra MATLAB. Deteksi tingkat kematangan buah melinjo memiliki 4 tingkat kematangan yaitu mentah, setengah matang, matang, dan sangat matang. Penelitian ini menggunakan 200 citra, 80% data training dan 20% data testing. Berdasarkan hasil pengujian diperoleh tingkat accuracy 97,5% kemudian specificity 99,16% dan sensitifity 97,5%.