Fusão de informação multimodal por detecção de correlação para tarefas de análise de vídeo

Abstract

Devo agradecer, principalmente, aos meus pais, Ester e Orlando, pelo apoio e incentivo durante toda a minha trajetória pessoal, profissional e acadêmica. Sem o seu amor e apoio eu não teria suportado alguns infortúnios que marcaram meu caminho. Mesmo estando fisicamente só, eu nunca me senti sozinho. Agradeço também à minha esposa Aline pelo apoio, compreensão e parceria durante o período de intersecção entre o início da nossa relação e os anos finais do curso de doutorado (em especial nos momentos finais). Você tornou tudo menos difícil e mais feliz.O percurso do doutorado é longo e nesse tempo muitos colaboraram nos mais variados aspectos para que eu pudesse alcançar o fim. Agradeço, inicialmente, ao meu amigo Ricardo Marcacini por ter me ajudado a escolher e ingressar no Instituto de Ciências Matemáticas e de Computação (ICMC) da Universidade de São Paulo (USP). Agradeço também aos meus companheiros de trabalho na Universidade Federal de Mato Grosso do Sul (UFMS) que cuidaram com muita competência nosso tão querido curso durante o período no qual estive afastado. Um agradecimento especial aos professores Ivone Yugoshi, Juliano Yugoshi, Ronaldo Fiorilo e Maxwell Santos, com os quais pude contar em muitas ocasiões nos últimos anos.Agradeço à Ivone e ao Juliano pela amizade, apoio e companheirismo durante a minha estadia na cidade de São Carlos, tendo me apoiado em momentos difíceis. É acalentador saber que posso contar com vocês em qualquer ocasião.Eu agradeço a todos os integrantes do Laboratório Intermídia com os quais compartilhei, diariamente, esses longos anos de duração do doutorado. Em especial, agradeço aos amigos

Explorando uma abordagem de Fusão Multimodal para auxílio a Gestão de Desastres: um estudo de caso com tweets e dados contextuais

“…A abordagem de Fusão Prévia possui a objetivo de combinar os vetores de características das informações midiáticas, ou seja, executar um processo de fusão ao nível de características (KISHI, 2020). Inclusive, a vantagem da aplicação desta estratégia em bases de dados heterogêneas é que as análises posteriores serão feitas em cima de um vetor de característica único, além de possibilitar a exploração da correlação entre as informações captadas na etapa inicial no processo de Fusão Multimodal (ATREY et al, 2010).…”

“…A abordagem de Fusão Tardia segundo Alqhtani, Luo e Regan (2015) possui a tarefa de processar os recursos primários pelas suas respectivas unidades de tomada de decisão e posteriormente encaminhar os resultados combinados para a unidade de análise de dados. Inclusive, esta estratégia de Fusão Multimodal é comumente conhecida na literatura como fusão ao nível de decisão (KISHI, 2020).…”

Operadores de fusão prévia para segmentação temporal de vídeo em cenas

“…Estudos como os de Wang et al (2017) e Pereira Jr., Ferraz e Gonzaga (2018) contornaram isso ao fundir esses vetores com operações matemáticas como Soma e Gram (PARK et al, 2018). Contudo, a fusão de vetores de características de diversos descritores em um espaço heterogêneo e a falta de qualquer correlação intermodal ainda deixou espaço para melhorias de eficácia nas tarefas de análise multimídia (JHUO et al, 2014;KISHI;GOULARTE, 2019).…”

“…Outros trabalhos tentaram melhorar a expressividade da fusão ao modelar diferentes maneiras de mapear a semântica contida nos dados entre modalidades enquanto simultaneamente se movia o espaço heterogêneo para um espaço comum multimodal usando representações BoF (VEMBU et al, 2013;JHUO et al, 2014;KISHI;GOULARTE, 2019). Vembu et al (2013) mapearam correlações entre características de médio nível ao se calcular a similaridade com medidas alternativas como TF-IDF baseado em NPMI (do Inglês, Normalized Pointwise Mutual Information).…”