The data deluge: Challenges and opportunities of unlimited data in statistical signal processing

Abstract

Recently, there has been a dramatic increase of the amount of audio, video, and images created and shared on the internet by users around the world. M uch of this content is publicly available and free of cost. When viewed through the lens of pattern classification, this content can be seen as a virtually unlimited supply of training data for various statistical modeling and labeling tasks such as speech recognition and computer vision. In order to effectively exploit this data resource, significant research challenges must be addressed. In this paper, we present three significant challenges that must be solved to harness the potential of this "data deluge". We then describe recent work in spoken language processing and image processing that has begun to address these challenges in order to tackle large-scale classification tasks. By bringing together the work of these two communities, we hope to stimulate the cross-pollination of ideas and methods among different signal processing communities.

Applications of Artificial Intelligence Models in Educational Analytics and Decision Making: A Systematic Review

“…It is worth mentioning that there is currently a significant increase in the amount of data that is generated every day, as well as the temporal accumulation of information, which encourages the use of new analysis methods that are already used in other areas of knowledge [51,52]. In education, the process would not be different, whether by government research or by data generated by teaching platforms and learning environments.…”

Compressed Sensing: An approach to real time DTMF signaling system

“…The big challenge is to shrink the data deluge [1] gap, ensuring there are no major bottlenecks of slowing networks and maintaining a quality of service that is consistent with the user expectations. Compressed Sensing [2], [3], [4], [5] is an emerging field based on the revelation that a small number of linear projections of a sparse or an approximately sparse signal contains enough information for its reconstruction and processing.…”

Modelo de avaliação de conjuntos de dados cientí­ficos por meio da dimensão de veracidade dos dados.

“…Diversas agências de pesquisas estão financiando projetos que buscam promover a gestão, o acesso e a descoberta de conhecimento a partir de tais dados. O cenário formado por amplos conjuntos de dados em larga escala, normalmente gerados e consumidos em tempo real é conhecido como "dilúvio de dados" (em inglês, Data Deluge) (SELTZER;ZHANG, 2009;MATTMANN, 2013).…”

“…A legitimidade e a transparência serão desenvolvidas por meio de um perfil de aplicação que irá atuar na descrição de um conjunto de dados científico, enquanto que a adequabilidade será obtida por meio da avaliação do conjunto de dados pela comunidade científica. Science é uma resposta a um fenômeno chamado "dilúvio de dados" (SELTZER;ZHANG, 2009), no qual os dados são o elemento central e o principal recurso de pesquisa.Todos esses conceitos expressam a realidade atual, onde a quantidade de dados é superior ao limite de análise e extração de conhecimento pelos seres humanos ou pelas máquinas.Na e-Science "as expectativas em torno de um mundo rico em dados são imensas e incluem desde descobertas de novas drogas, passando por um melhor entendimento sobre as mudanças climáticas, até metodologias mais apuradas para examinar a história e a cultura" (BORGMAN, 2010, pg. 2, tradução nossa).As práticas científicas da e-Science trazem na sua essência a mudança no modus ope-randi de fazer, compartilhar, divulgar, acessar, usar, reusar e reproduzir dados de pesquisa com possibilidades de compartilhamento, interatividade, convergência e colaboração entre pesquisadores(OLIVEIRA, 2016).…”