Extracting vanishing points across multiple views

Abstract

KurzfassungDie Erkenntnis, dass wir Linien, von denen wir wissen, dass sie tatsächlich im Raum parallel sind, als Linien wahrnehmen, die scheinbar zu einem gemeinsamen Fluchtpunkt konvergieren, hat zu Techniken geführt, mit denen Künstler einen glaubwürdigen Eindruck von Perspektive vermitteln können. Dies führte später auch zu Ansätzen, mit denen die zugrundeliegende Geometrie von Bildern -oder in der Tat auch von Gemälden mit korrekter Perspektive -extrahiert werden kann. In dieser Arbeit beschäftigen wir uns mit der Extraktion von Fluchtpunkten mit dem Ziel, die Rekonstruktion urbaner Szenen zu vereinfachen. Im Gegensatz zu den meisten Methoden zur Extraktion von Fluchtpunkten, extrahiert die unsere eine Konstellation von Fluchtpunktenüber mehrere Ansichten hinweg, anstatt nur in einem einzigen Bild. Durch das Verwenden eines starken Orthogonalitätskriteriums in jeder Ansicht, einer optimalen Berechnung von Segmentschnittpunkten und einem neuartigen Dreibein-Ausrichtungsverfahren, erlaubt unser Ansatz die Extraktion von Ergebnissen, die eine nahe Approximation der dominanten drei paarweise orthogonalen Orientierungen typischer urbaner Szenen darstellen. Dementsprechend kann unser Ansatz als wesentliche Verfeinerung der Methode von Sinha et al. bezeichnet werden.

Discovery of Sets of Mutually Orthogonal Vanishing Points in Videos

“…Efficient search [26,8], direct clustering [29,17], multi-line RANSAC [4,34], EM procedures [1,15,27,12,35], or MCMC inference [28] are among the methods employed directly on the accumulator space. If a discretization is enforced on the accumalator space, the solutions are found by voting schemes [21,24,20,23] or inference over graphical models [30,2].…”

“…Input: Most works start from lines [6,9], or line segments [3,21,26,11,29,12,34,2]. Some approaches employ continuous image gradients or texture [27,25,23] and thresholded edges images [30].…”

“…Line-VP consistency and VP refinement: The consistency between an estimated VP and the image lines is usually measured using line endpoint distances in the image, used by us and [29,12,4,2,17], the angular differences in the image [26,8], with explicit probabilistic modeling of the line end point errors [35], or with angles between normals of interpretation planes in the Gaussian sphere [21,24,20]. We sample MOVP candidates on the Gaussian sphere because testing for orthogonality directly translates to vector cross products, but revert to image-space fitting errors for refinement to avoid distorted errors and to attenuate dependance on (potentially) noisy internal camera calibration.…”

“…Accumulator space: The intersections of imaged lines are computed in the (unbounded) image space [26,27,29,9,2,35] or on a (bounded) Gaussian unit sphere, as introduced in [3] and used in [21,24,20,1,15,11,12,4,22,28].…”

“…Many such applications, working on video sequences or image sets, require VP estimates in every frame and links across views or frames. If this is needed, the camera pose for each frame is usually assumed to be known [1,12], facilitating the VP association across images, or the VP detection and tracking tasks are separated (greedy assignment [9] and particle filters [23,25] are used). However, the pose knowledge is often not available, requires odometry or external motion measurements.…”