A Fast Smart-Cropping Method and Dataset for Video Retargeting

Abstract

In this paper a method that re-targets a video to a different aspect ratio using cropping is presented. We argue that cropping methods are more suitable for video aspect ratio transformation when the minimization of semantic distortions is a prerequisite. For our method, we utilize visual saliency to find the image regions of attention, and we employ a filteringthrough-clustering technique to select the main region of focus. We additionally introduce the first publicly available benchmark dataset for video cropping, annotated by 6 human subjects. Experimental evaluation on the introduced dataset shows the competitiveness of our method.

AI and data driven media analysis of TV content for optimised digital content marketing

“…The "Content Wizard" functionalities as presented in this paper have been integrated as an extension to the social media management tool Levuro Engage 19 . They are also available as standalone Web services and embeddable Web interfaces.…”

Алгоритм Изменения Соотношения Сторон Видео

“…Альтернативно, карту значимости можно определять с помощью методов машинного обучения, применяемых или к каждому кадру независимо [12,13] или к совокупности нескольких подряд идущих кадров в видео [14,15], что позволяет дополнить карту значимости информацией о движении объектов [16]. Предполагается, что движущиеся объекты привлекают больше внимания, и поэтому знания о движении объектов могут улучшить точность карт значимости при работе с видео.…”

“…Во-вторых, можно интерполировать выбранные положения области обрезки для каждого кадра гладкой кривой [18,11]. В-третьих, можно применять рекурсивные фильтры для стабилизации движения области обрезки [12,14,15]. Несмотря на то, что использование фильтров позволяет анализировать видео последовательно, потенциально в режиме реального времени, в [14,15] из видео сперва извлекаются сцены, и затем каждая сцена обрабатываются независимо.…”

“…В-третьих, можно применять рекурсивные фильтры для стабилизации движения области обрезки [12,14,15]. Несмотря на то, что использование фильтров позволяет анализировать видео последовательно, потенциально в режиме реального времени, в [14,15] из видео сперва извлекаются сцены, и затем каждая сцена обрабатываются независимо. В предлагаемом нами алгоритме кадры обрабатываются последовательно с использованием метода моментов для корректирования положения окна обрезки (подробнее в разделе 2.3).…”

“…Алгоритм Multimedia [14] основан на алгоритме из [15]. Исходя из этой статьи, алгоритм Multimedia [14] должен обнаруживать смены сцены, но на проверяемых видео это не происходило.…”