Match or No Match: Keypoint Filtering based on Matching Probability

Papadaki, Alexandra; Hänsch, Ronny

doi:10.1109/cvprw50498.2020.00515

Cited by 5 publications

(4 citation statements)

References 30 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Papadaki and Hansch [22] introduced an algorithm that predicts the probability that each point will be successfully matched and filters the detected keypoints before attempting to match. Key.Net [23] proposed a hybrid method to detect key points by combining manual and learned CNN filters in a shallow multi-scale architecture.…”

Section: Other Methodsmentioning

confidence: 99%

Self-Supervised Keypoint Detection Based on Multi-Layer Random Forest Regressor

Kim

Jeong

2021

IEEE Access

View full text Add to dashboard Cite

This paper proposes a keypoint regressor (KeyReg), which consists of multi-layer random forest (MRF) regressor and single random forest (SRF) classifier modules. To increase the keypoints' repeatability, the MRF regressor is applied to multi-scale images in a shared rules manner, and keypoints predicted at each scale are given a confidence score through the SRF for reliability measurement. Each candidate point is detected as the final keypoint through a non-maxima suppression process based on a confidence score. The MRF structure of KeyReg is designed to maintain a coarse-to-fine structure by varying the number of nodes per layer. In addition, the accuracy of the matching can be improved by removing less confidential keypoints through the continuous SRF classifier. KeyReg is the first approach to apply an MRF to the keypoint regression and is designed to run on a CPU rather than a GPU compared to DNN-based approaches. KeyReg training was conducted using COCO, and positive and negative examples were automatically obtained under a self-supervised learning method between the original image and a warped image. The proposed KeyReg showed superior performance in terms of repeatability, the accuracy of the homography, mean matching accuracy (MMA), and localization errors on HPatches dataset compared to state-of-the-art methods.

show abstract

Section: Other Methodsmentioning

confidence: 99%

Self-Supervised Keypoint Detection Based on Multi-Layer Random Forest Regressor

Kim

Jeong

2021

IEEE Access

View full text Add to dashboard Cite

show abstract

“…In the literature, there are many works where authors use various methods to get rid of keypoints and their descriptors that do not carry useful information. [8][9][10] employ filtration to address the issue of repetitive patterns when different keypoints possess quite similar descriptors due to periodicity or object similarity within the image. Very close descriptors corresponding to different keypoints can lead to mismatches during the descriptor matching process.…”

Section: Related Workmentioning

confidence: 99%

“…In the subsequent stage, some confusion index is computed for all remaining keypoints, based on which a decision is made whether to retain or delete the point. [10] train Random Forest to classify descriptors into matchable/non-matchable in tasks where images of building facades act as data. Such images usually contain repetitive patterns in the architecture of buildings and plants.…”

Section: Related Workmentioning

confidence: 99%

Fast keypoint filtering for feature-based identity documents classification on complex background

Valishina,

Gayer,

Skoryukina

et al. 2024

Sixteenth International Conference on Machine Vision (ICMV 2023)

View full text Add to dashboard Cite

The initial steps of many computer vision algorithms are local feature extraction and matching. However, in the problem of recognizing objects in images with complex backgrounds, this approach has a weak point since keypoints may be found not only in the object of interest, but also in the background. This leads to redundant calculations and can cause mismatches. In this paper, we propose a keypoints filtering method applicable to the problem of classification and localization of ID documents in the wild. Using a light-weight deep learning model, keypoints are divided into "document" and "background" classes, after which the keypoints of the background are removed. Experimental results show that adding the proposed filtering step gives an average speedup of 3.14% on the entire MIDV-500 dataset and 14.77% on MIDV-2020. At the same time, the acceleration on target images with complex backgrounds reaches 81%.

show abstract

“…Issues to be considered are also the exploitation of more sophisticated key point detectors, based on machine and deep learning, to avoid matches that are resulting in highly noisy sparse 3D point clouds. This also concerns the underwater imagery being aected by caustics where a solution could be a way to learn the detectors to avoid caustics' pixels similar to [Papadaki 2020]. However, this would not improve the MVS step.…”

Section: Future Workmentioning

confidence: 99%

Image-based bathymetry mapping for shallow waters

Αγραφιώτης¹

View full text Add to dashboard Cite

Η ακριβής βαθυμετρία και χαρτογράφηση του πυθμένα είναι σημαντική για πλήθος δραστηριοτήτων. Μέσω τεχνικών φωτογραμμετρίας, όρασης υπολογιστών και τηλεπισκόπησης, οι εικόνες μπορούν να παρέχουν μία χαμηλού κόστους εναλλακτική σε σχέση με τα συστήματα SONAR και LiDAR, παρέχοντας παράλληλα και την άκρως σημαντική εικονιστική πληροφορία. Ωστόσο, παρά το χαμηλό τους κόστος, επηρεάζονται άμεσα από τις οπτικές ιδιότητες του νερού και τις συνθήκες φωτισμού. Στα ρηχά νερά, η διάθλαση είναι ο κύριος παράγοντας που επηρεάζει αρνητικά τη γεωμετρία και τη ραδιομετρία των εικόνων, είτε αυτές λαμβάνονται εκτός του νερού, είτε εντός αυτού, και συνεπώς των 3Δ ανακατασκευών που παράγονται από αυτές. Στόχος της διατριβής είναι η ανάπτυξη νέων μεθόδων για τη βελτίωση της ακρίβειας και της δυνατότητας γενίκευσης των τεχνικών φωτογραμμετρίας, όρασης υπολογιστών και τηλεπισκόπησης που έχουν στόχο την 3Δ ανακατασκευή του πυθμένα ρηχών περιοχών, τόσο σε μικρής όσο και σε μεγάλης κλίμακας αποτυπώσεις. Για τη διόρθωση των γεωμετρικών επιδράσεων της διάθλασης, αναπτύχθηκε μία πρωτότυπη μέθοδος που εκμεταλλεύεται τεχνικές μηχανικής μάθησης ώστε να προβλέπει το σωστό βάθος των 3Δ νεφών σημείων που έχουν προκύψει από τεχνικές SfM-MVS, γνωρίζοντας μόνο το φαινόμενο βάθος. Η μέθοδος αυτή αποδεικνύεται εξαιρετικά ακριβής και ικανή να γενικεύει σε διαφορετικές περιοχές και συνθήκες λήψης δεδομένων. Επιπλέον, μία δεύτερη μέθοδος παρουσιάζεται, επεκτείνοντας μία state-of-the-art μέθοδο με στόχο τη διόρθωση των γεωμετρικών επιδράσεων της διάθλασης στις αρχικές εικόνες. Η επέκταση αυτή πενταπλασιάζει τη βυθομετρική ακρίβεια της state-of-the-art μεθόδου και τη μετατρέπει από επαναληπτική σε άμεση, επεκτείνοντας τα επιχειρησιακά της βάθη από τα 7.5 στα 15 μέτρα τουλάχιστον. Μέσω αυτής, παραδίδονται σωστότερες ορθοεικόνες και πιο λεπτομερείς υφές. Αποτελέσματα από πειράματα σε πραγματικά και συνθετικά δεδομένα αποδεικνύουν ότι η ακρίβεια των μεθόδων αυτών είναι εντός των αυστηρών πλαισίων του Διεθνούς Οργανισμού Υδρογραφίας και πως υπερτερούν άλλων state-of-the-art μεθόδων με τις οποίες συγκρίνονται εκτενώς. Για την αντιμετώπιση των ραδιομετρικών επιδράσεων της διάθλασης και συγκεκριμένα του φαινομένου των caustics, μία νέα μέθοδος προτείνεται, η οποία σε αντίθεση με τις μεθόδους που παρουσιάζονται στη βιβλιογραφία, δεν περιορίζεται από τη μορφή του ανάγλυφου του πυθμένα. Η μέθοδος εκμεταλλεύεται τεχνικές βαθιάς μηχανικής μάθησης και τη γεωμετρία της 3Δ σκηνής μέσω των χαρτών βάθους και διορθώνει το φαινόμενο στην εικόνα, αντικαθιστώντας μόνο τα «προβληματικά» εικονοστοιχεία με τιμές από τα αντίστοιχα της συνταυτισμένης εικόνας. Έτσι, διορθώνεται η εικόνα μόνο με πραγματική πληροφορία. Ύστερα από πειράματα σε πραγματικά δεδομένα, αποδεικνύεται ότι οδηγεί σε αύξηση των συνταυτίσεων μεταξύ των εικόνων και σε ένα πιο πλήρες 3Δ νέφος. Επιπλέον, παρουσιάζεται το πρώτο σύνολο εικόνων με caustics το οποίο είναι διαθέσιμο στην επιστημονική κοινότητα μαζί με αληθή δεδομένα εικόνων και ταξινόμησης. Όλες οι μέθοδοι που αναπτύχθηκαν στη διατριβή, δεν περιορίζονται από τα συστήματα και τους αισθητήρες λήψης καθώς τα πειράματα που διεξήχθησαν απέδειξαν ότι λειτουργούν κάτω από πλήθος συνθηκών και δεδομένων.

show abstract

Match or No Match: Keypoint Filtering based on Matching Probability

Cited by 5 publications

References 30 publications

Self-Supervised Keypoint Detection Based on Multi-Layer Random Forest Regressor

Self-Supervised Keypoint Detection Based on Multi-Layer Random Forest Regressor

Fast keypoint filtering for feature-based identity documents classification on complex background

Image-based bathymetry mapping for shallow waters

Contact Info

Product

Resources

About