Multimedia Big Data Analytics

Abstract

With the proliferation of online services and mobile technologies, the world has stepped into a multimedia big data era. A vast amount of research work has been done in the multimedia area, targeting different aspects of big data analytics, such as the capture, storage, indexing, mining, and retrieval of multimedia big data. However, very few research work provides a complete survey of the whole pine-line of the multimedia big data analytics, including the management and analysis of the large amount of data, the challenges and opportunities, and the promising research directions. To serve this purpose, we present this survey, which conducts a comprehensive overview of the state-of-the-art research work on multimedia big data analytics. It also aims to bridge the gap between multimedia challenges and big data solutions by providing the current big data frameworks, their applications in multimedia analyses, the strengths and limitations of the existing methods, and the potential future directions in multimedia big data analytics. To the best of our knowledge, this is the first survey that targets the most recent multimedia management techniques for very large-scale data and also provides the research studies and technologies advancing the multimedia analyses in this big data era.

Recuperação de Informação Multimídia em Big Data Utilizando OpenCV Python

“…Nos últimos anos houve um aumento na quantidade de conteúdo multimídia disponível para acesso [Lu et al, 2011;Pouyanfar et al, 2018]. Isso, em parte, pode ser explicado pela proliferação de dispositivos de baixo custo para capturá-los e codificá-los.…”

“…Atualmente, as pessoas podem ter acesso a conteúdos usando diferentes tipos de dispositivos e meios (notebooks, celulares, Personal Digital Assistants, WiFi, 3G e 4G, entre outros). Toda essa evolução criou ambientes heterogêneos [Bouyakoub e Belkhir, 2008;Baraldi et al, 2017;Pouyanfar et al, 2018], surgindo com isso desafios no tratamento dos dados, já que, geralmente, quando um dispositivo acessa um conteúdo multimídia para o qual não foi projetado, a experiência do usuário é insatisfatória.…”

“…Tal problema vem sendo tratado por importantes áreas da Computação, como Recuperação de Informação [Baeza-Yates e Ribeiro-Neto, 2008], Recuperação de Informação Multimídia [Blanken et al, 2010] Recomendação e Personalização e Adaptação Multimídia [Lu et al, 2011;Pouyanfar et al, 2018] e, mais recentemente, por Ciência de Dados e Multimedia Big Data Analisys [Pouyanfar et al, 2018]. Um fator comum é que os sistemas desenvolvidos nessas áreas necessitam que dados (features) sejam extraídos para representar o conteúdo de modo mais compacto e, também, servirem de alicerce para os serviços das áreas supracitadas.…”

“…Isso é feito por meio de extratores de características bem conhecidos (como SIFT para imagens e MFCC para áudio), utilizando medidas de dissimilaridade [Blanken et al, 2010] entre os vetores de características resultantes para aferir pertinência, desigualdade e outras operações sobre os objetos/dados. Os métodos mais recentes, multimodais, empregam conceitos mais complexos, onde tanto a dissimilaridade obtida analisando-se os dados (features) brutos quanto a semântica latente entre os objetos analisados contribuem para o resultado final, melhorando a eficácia das tarefas e serviços [Pouyanfar et al, 2018]. Entre tais conceitos destacam-se a Fusão de Modalidades e os Dicionários de Palavras Multimodais (Bag of Multimodal Words), que vêm auxiliando a obter melhores resultados em diversas áreas relacionadas a Recuperação de Informação Multimídia (RIM) [Del Fabro e Boszormenyi, 2013;Pouyanfar et al, 2018].…”

“…Os métodos mais recentes, multimodais, empregam conceitos mais complexos, onde tanto a dissimilaridade obtida analisando-se os dados (features) brutos quanto a semântica latente entre os objetos analisados contribuem para o resultado final, melhorando a eficácia das tarefas e serviços [Pouyanfar et al, 2018]. Entre tais conceitos destacam-se a Fusão de Modalidades e os Dicionários de Palavras Multimodais (Bag of Multimodal Words), que vêm auxiliando a obter melhores resultados em diversas áreas relacionadas a Recuperação de Informação Multimídia (RIM) [Del Fabro e Boszormenyi, 2013;Pouyanfar et al, 2018].…”