Image processing based package volume detection with Kinect

Abstract

Özetçe -Bu çalışmada Kinect sensörü kullanılarak MATLAB ortamında görüntü işleme tabanlı bir koli ölçüm sistemi geliştirilmiştir. . Derinlik görüntüsünden ölçümü yapılacak koliyi içeren ön plan görüntüsü arka plan çıkarımı yöntemiyle elde edilmiştir. Bağımlı bileşenleri etiketleme metodu kullanılarak tespit edilen nesnelerden ölçüm platformu üzerinde en yüksek sayıda beyaz piksele sahip bileşen koli olarak varsayılmış ve kolinin oryantasyonu ve merkez noktası tespit edilmiştir. Koliyi çevreleyen doğruların tespiti için Hough Dönüşümü uygulanmıştır. Tespit edilen doğruların kesişim noktaları kolinin köşe noktaları olarak kabul edilmiştir. Elde edilen köşe noktalarının gerçek dünya koordinatlar ise Kinect' in kalibrasyon matrisi kullanılarak hesaplanmıştır. Koli genişliği ve uzunluğu tespit edilen köşe noktalarının gerçek dünya koordinatlarındaki uzaklıkları hesaplanarak bulunmuştur. Kolinin yüksekliği ölçüm alanındaki zemin derinliği ile koli üst yüzeyinin ortalama derinlik değeri arasındaki fark alınarak hesaplanmıştır. Geliştirilen algoritmanın en çok 1 cm hata ile ölçüm yapabildiği görülmüştür. Anahtar Kelimeler -Kinect hacim hesaplama, Hough dönüşümü, kamera kalibrasyonuAbstract -In this study, an image processing based package volume detection scheme that utilizes Kinect depth sensor was developed in Matlab environment. Background subtraction method was used to obtain the foreground image that contains the package to be measured from the Kinect depth image. Connected components labeling method was used to segment the foreground image. Out of the components determined by connected components labeling, the one that has the maximum pixel area overlapping with the measuring plate was assumed to be the package of interest. Package orientation angle and center point were then determined. Hough transform was applied to the package image to obtain the lines that passes through package edges. The package corners were obtained by finding the four intersection points of the detected lines. Real world coordinates of the package corners were calculated using the Kinect's intrinsic matrix. Package width and length were determined by finding the distance between the corners in the real world coordinate system. Finally, the package height was determined by differencing plate depth and average depth value of points on the package surface. It was observed that the algorithm performed successfully and the measurement error was within 1cm under presence of various disturbance effects.

Bottle counting system for a re-cycling facility based on processing of depth images

“…have developed an image processing based volume measurement system using Kinect sensor. The authors proved that the developed system has higher measurement accuracy than traditional point laser based systems [4]. Atıf et.…”