Application of Deep Neural Networks in the Problem of Obtaining Depth Maps from Two-Dimensional Images

Abstract

Цель исследования. исследование подходов к генерации карт глубины для проверки и обучения глубоких нейронных сетей. Рассматривается проблема получения информации о расстоянии от камеры до объекта сцены по 2D-изображению при помощи глубоких нейронных сетей без использования стереокамеры. Методы. Генерация 3D-сцен для обучения и оценки нейронной сети осуществлялась при помощи приложения 3D-компьютерной графики Blender. Для оценки точности обучения было использовано среднеквадратическое отклонение (СКО). Машинное обучение было реализовано при помощи библиотеки Keras, а оптимизация-с использованием подхода AdaGrad. Результаты. Представлена архитектура глубокой нейронной сети, которая на вход получает три последовательности 2D-изображений из видеопотока 3D-сцены и выдает на выходе предсказанную карту глубины для рассматриваемой 3D-сцены. Описан способ создания обучающих наборов данных, содержащих информацию о глубине карты с использованием программного обеспечения Blender. Рассматривается проблема переобучения, заключающаяся в следующем: созданные модели работают на специально сгенерированных наборах данных, но все еще не могут предсказать правильную карту глубины для случайных изображений. Представлены результаты тестирования актуальных способов создания карт глубины с использованием глубоких нейронных сетей. Заключение. Основной проблемой предложенного метода является переобучение, которое может быть выражено в прогнозировании некого среднего значения для разных изображений или предсказании одного и того же выхода для разных входов. Для решения данной проблемы могут быть использованы уже обученные сети или обучающие и вариационные выборки, содержащие 2D-изображения различных сцен.