Differential Edit Distance: A Metric for Scene Segmentation Evaluation

Abstract

Abstract-In this work a novel approach to evaluating video temporal decomposition algorithms is presented. The evaluation measures typically used to this end are non-linear combinations of Precision-Recall or Coverage-Overflow, which are not metrics and additionally possess undesirable properties, such as nonsymmetricity. To alleviate these drawbacks we introduce a novel uni-dimensional measure that is proven to be metric and satisfies a number of qualitative prerequisites that previous measures do not. This measure is named Differential Edit Distance (DED), since it can be seen as a variation of the well-known edit distance. After defining DED, we further introduce an algorithm that computes it in less than cubic time. Finally, DED is extensively compared with state of the art measures, namely the harmonic means (F-Score) of Precision-Recall and CoverageOverflow. The experiments include comparisons of qualitative properties, the time required for optimizing the parameters of scene segmentation algorithms with the help of these measures, and a user study gauging the agreement of these measures with the users' assessment of the segmentation results. The results confirm that the proposed measure is a uni-dimensional metric that is effective in evaluating scene segmentation techniques and in helping to optimize their parameters.

Recognizing and Presenting the Storytelling Video Structure With Deep Multimodal Networks

“…These measures are nevertheless known to have some drawbacks, which may affect the evaluation. As also noted in [37], F co is not symmetric, leading to unusual phenomena in which an early or late positioning of the story boundary, of the same amount of shots, may lead to strongly different results. Moreover, the relation of Overflow with the previous and next stories creates unreasonable dependencies between an error and the length of a story observed many shots before it.…”

Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo

“…Além do rigor excessivo da medida original ao avaliar algumas situações, Sidiropoulos et al (2012) demonstraram que o F PR não é simétrico em erros de identificação de fronteiras, ou seja, uma fronteira erroneamente predita a n tomadas além da correta, pode ser avaliada de maneira diferente do que se tivesse sido predita a n tomadas antes da correta. Este comportamento é indesejável para a avaliação de segmentação temporal de vídeo em cenas.…”

“…O conjunto de medidas CO, apesar de ter sido projetado especificamente para avaliar predições de segmentação de vídeo em cenas, apresenta algumas deficiências. Conforme apontado por Sidiropoulos et al (2012) e por Baraldi, Grana e Cucchiara (2015a), o F CO , assim como o F PR , não é simétrico em erros de identificação de fronteiras, podendo produzir resultados bastante diferentes para erros com o mesmo comprimento. O fato do valor da coverage ser computado exclusivamente sobre a maior cena para a qual há sobreposição também pode levar a avaliações imprecisas, já que ele não penaliza qualquer outra cena sendo coberta simultaneamente.…”

Um método de segmentação de vídeo em cenas baseado em aprendizagem profunda

“…A segmentação em quadros é um problema trivial dado que um vídeo, em última análise, é uma sequência de quadros Blanken et al (2007) (Seção 2.1). Por sua vez, a segmentação em tomadas (Seção 2.1) é considerada um problema essencialmente resolvido (FABRO; BÖSZÖRMENYI, 2013), com técnicas robustas e de alta eficácia na maioria dos casos (SMEATON;OVER;DOHERTY, 2010;SIDIROPOULOS et al, 2012). A segmentação em cenas é uma área de pesquisa ativa com diversos desafios, desde a dificuldade de se definir apropriadamente o conceito subjetivo de "cena" (FABRO; BÖSZÖRMENYI, 2013), até o como se obter o contexto ou assunto de um dado vídeo, consequência da chamada lacuna semântica (do inglês semantic gap) (SMEULDERS et al, 2000;PROTASOV et al, 2018).…”

“…Além das previamente mencionadas, outras métricas são reportadas na literatura para a segmentação em cenas. Por exemplo, Sidiropoulos et al (2012) definem uma métrica chamada de Differential Edit Distance (DED), baseada na distância de edição diferencial, no qual é calculado o número de operações para que uma dada segmentação obtida se assemelhe a segmentação desejada. Vinciarelli e Favre (2007), por sua vez, definem uma métrica chamada de purity, baseada no cálculo do tempo de intersecção entre a segmentação confiável e a detectada.…”