A heuristic algorithm for video scene detection using shot cluster sequence analysis

Mohanta, Partha Pratim; Saha, Souvik; Chanda, Bhabatosh

doi:10.1145/1924559.1924621

Cited by 5 publications

(8 citation statements)

References 22 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Shots in a scene usually follow a quasiperiodic repetition. A heuristic approach based on the quasi-periodic pattern of the shots [3] is presented to detect the scenes in a video. Various Graph based schemes are also reported in [4,5].…”

Section: Introductionmentioning

confidence: 99%

“…These frames placed in chronological order forms the storyboard and also act as bookmark/table of content (ToC) enabling random access to the desired unit. Our main contribution in this work are two folds: first, we have modified algorithm presented in [3] for scene detection; second, is to map the classical MST algorithm in a novel way to divide the key-frames of a scene into visually homogeneous groups and also to extract representative frame from each of these groups. The present endeavor is a continuation of our earlier work on shot segmentation [2], key-frame extraction [8] and scene segmentation [3].…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Static Summarization of Video Scenes Based on Minimal Spanning Tree

Mohanta

Chowdhury

Roy

et al. 2013

Lecture Notes in Computer Science

View full text Add to dashboard Cite

Abstract. The common practice for providing a static summarized view of a video is to create a storyboard. Storyboard is the chronological arrangement of the representative frames. Shot level storyboard suffers from redundancy as in a scene constituting shots normally repeat. Also the size of such storyboard is a constraint for many application. In this work we have considered scene as the more meaningful unit. We propose a state-based scene segmentation algorithm and also a minimal spanning tree based novel method to select the representative frames for the scenes. Storyboard consisting of scene level representative frames are much more compact than shot level storyboard. Moreover, scene being the semantic unit, flow of semantic content of the video data is well preserved. Experimental result confirms the claim.

show abstract

Section: Introductionmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

Static Summarization of Video Scenes Based on Minimal Spanning Tree

Mohanta

Chowdhury

Roy

et al. 2013

Lecture Notes in Computer Science

View full text Add to dashboard Cite

show abstract

“…Dentre as técnicas automáticas atuais de segmentação de vídeo em cenas, destacam-se àquelas que fazem uso de características visuais (Mohanta et al, 2010;Liu et al, 2013;Trojahn e Goularte, 2013). Isso ocorre pois a parte visual é capaz de capturar boa parte da semântica latente.…”

Section: Motivaçãounclassified

“…A parte visual de vídeos tem sido utilizada em diversos trabalhos de detecção de cenas em vídeos (Mohanta et al, 2010). Esse fato pode ser explicado pela capacidade da parte visual de transmitir uma grande parte da semântica latente presente em um vídeo, comprovada em vários trabalhos (Fabro e Böszörmenyi, 2013;Coimbra, 2011;Iurgel et al, 2001).…”

Section: Segmentação Em Cenas Com Descritores Visuaisunclassified

“…Visando superar essa limitação, uma das abordagens que se destaca é o uso de descritores visuais (Mohanta et al, 2010). A literatura apresenta trabalhos que utilizam diferentes descritores visuais como SIFT (Lowe, 1999(Lowe, , 2004, SURF (Bay et al, 2006(Bay et al, , 2008 e MSER (Maximally Stable Extremal Regions) (Matas et al, 2002).…”

Section: Segmentação Em Cenas Com Descritores Visuaisunclassified

See 1 more Smart Citation

Detecção de cenas em segmentos semanticamente complexos

Lopes¹

View full text Add to dashboard Cite

Dedico esse trabalho a meus pais e à minha noiva, que sempre me apoiaram e ajudaram em todos os momentos. AgradecimentosAgradeço em primeiro lugar a Deus, por ter me iluminado durante todo o desenvolvimento do trabalho, dando a paciência e a inspiração necessária para sua realização.Agradeço também, a meu orientador, pelos infindáveis conselhos e por sua orientação sempre tão pertinente.Agradeço aos professores das matérias realizadas no mestrado, que certamente contribuíram beneficamente para a realização dessa pesquisa.Agradeço aos colegas e amigos do laboratório de pesquisa, que sempre me apoiaram e me deram forças nos momentos de desânimo.Agradeço ao CNPq pelo auxílio financeiro, processo n°134245/2011-3. Agradeço à FAPESP pelo auxílio financeiro, processo n°2011/05238-0, Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). "As opiniões, hipóteses e conclusões ou recomendações expressas neste material são de responsabilidade do(s) autor(es) e não necessariamente refletem a visão da FAPESP". Resumo Diversas áreas da Computação (Personalização e Adaptação de Conteúdo, Recuperação de Informação, entre outras) se beneficiam da segmentação de vídeo em unidades menores de informação. A literatura apresenta diversos métodos e técnicas cujo objetivo é identificar essas unidades. Uma limitação é que tais técnicas não tratam o problema da detecção de cenas em segmentos semanticamente complexos, definidos como trechos de vídeo que apresentam mais de um assunto ou tema, e cuja semân-tica latente dificilmente pode ser determinada utilizando-se somente uma única mídia. Esses segmentos são muito relevantes, pois estão presentes em diversos domínios de vídeo, tais como filmes, noticiários e mesmo comerciais.A presente Dissertação de Mestrado propõe uma técnica de segmentação de vídeo capaz de identificar cenas em segmentos semanticamente complexos. Para isso utiliza a semântica latente alcançada com o uso de Bag of Visual Words para agrupar os segmentos de um vídeo. O agrupamento é baseado em multimodalidade, analisando-se características visuais e sonoras de cada vídeo e combinando-se os resultados por meio da estratégia fusão tardia. O presente trabalho demonstra a viabilidade técnica em reconhecer cenas em segmentos semanticamente complexos. The literature reports lots of techniques and methods, whose goal is to identify these units. One of these techniques' limitations is that they don't handle scene detection in semantically complex segments, which are defined as video snippets that present more than one subject or theme, whose latent semantics can hardly be determined using only one media. Those segments are very relevant, since they are present in multiple video domains as movies, news and even television commercials. This Master's dissertation proposes a video scene segmentation technique able to detect scenes in semantically complex segments. In order to achieve this goal it uses latent semantics extracted by the Bag of Visual Words to group a video segments. This grouping process is based on multimodalit...

show abstract

MAC-REALM: A Video Content Feature Extraction and Modelling Framework

Parmar

Angelides

2015

The Computer Journal

View full text Add to dashboard Cite

This paper discusses MAC-REALM, a framework for extraction of syntactic and semantic content features and content modelling with either little or no user interaction. The framework integrates a four filter-plane strategy: a pre-processing plane that filters redundant data, a syntactic feature extraction plane that filters syntactic features, a semantic relationships analysis and linkage plane that filters the spatial and temporal relationships of content features, and finally a content modelling plane where the syntactic and semantic content features are integrated into a content model. Each of the four planes is split into three layers: the content layer, where the content to be processed is stored, the application layer, where the content is converted into content descriptions, and the MPEG-7 layer, where content descriptions are serialized. Using MPEG-7 standards to produce the content model will provide wideranging interoperability, while facilitating granular multi-content type searches. MAC-REALM aims at 'bridging' the semantic gap, by integrating the syntactic and semantic content features from extraction through to modelling.

show abstract

A heuristic algorithm for video scene detection using shot cluster sequence analysis

Cited by 5 publications

References 22 publications

Static Summarization of Video Scenes Based on Minimal Spanning Tree

Static Summarization of Video Scenes Based on Minimal Spanning Tree

Detecção de cenas em segmentos semanticamente complexos

MAC-REALM: A Video Content Feature Extraction and Modelling Framework

Contact Info

Product

Resources

About