A review of rapid serial visual presentation-based brain–computer interfaces

Abstract

Rapid serial visual presentation (RSVP) combined with the detection of event-related brain responses facilitates the selection of relevant information contained in a stream of images presented rapidly to a human. Event related potentials (ERPs) measured non-invasively with electroencephalography (EEG) can be associated with infrequent targets amongst a stream of images. Human-machine symbiosis may be augmented by enabling human interaction with a computer, without overt movement, and/or enable optimization of image/information sorting processes involving humans. Features of the human visual system impact on the success of the RSVP paradigm, but pre-attentive processing supports the identification of target information post presentation of the information by assessing the co-occurrence or time-locked EEG potentials. This paper presents a comprehensive review and evaluation of the limited, but significant, literature on research in RSVP-based brain-computer interfaces (BCIs). Applications that use RSVP-based BCIs are categorized based on display mode and protocol design, whilst a range of factors influencing ERP evocation and detection are analyzed. Guidelines for using the RSVP-based BCI paradigms are recommended, with a view to further standardizing methods and enhancing the inter-relatability of experimental design to support future research and the use of RSVP-based BCIs in practice.

Spatial filtering pipeline evaluation of cortically coupled computer vision system for rapid serial visual presentation

“…Using modern signal processing and machine learning techniques, RSVP can be coupled with single-trial ERP detection to enable image search BCI applications [6,7]. Single-trial ERPs detection for an RSVP paradigm presents the following challenges: Challenge 1.…”

Interface cérebro-computador para classificação de banco de imagens de acervos museológicos

“…As transformadas de wavelet, aplicadas neste estudo, não foram observadas em Lees et al (2018), apesar de ser um método de geração de características, aliado a uma regressão de aprendizado de máquina, com níveis superiores de precisão e F1. Este nível de resultado obtido com wavelet "daubechies" de ordem "32", com precisão média de 97% (e pontuação média de F1 de 80%), comparado aos resultados em Lees et al (2018), que varia de 60% à 91%, apresenta um algoritmo alternativo com resultados de classificação mais altos.…”

“…Este nível de resultado obtido com wavelet "daubechies" de ordem "32", com precisão média de 97% (e pontuação média de F1 de 80%), comparado aos resultados em Lees et al (2018), que varia de 60% à 91%, apresenta um algoritmo alternativo com resultados de classificação mais altos. Deve-se notar que em Lees et al (2018), um único estudo (WEIDEN; KHOSLA; KEEGAN, 2012) apresentou um nível de precisão de 97%, mas é baseado em clipes de imagens em movimento e pode ser considerado um tipo diferente de teste de RSVP.…”

“…74 Nesses casos, uma orientação seria, não apenas reportar os resultados de acertos positivos, precisão ou curvas ROC, mas também informações sobre os outros dados da matriz de confusão ou métricas que consideram todos os seus campos. Lees et al (2018) apresenta uma tabela de comparação de vários trabalhos sobre RSVP e a aplicação de aprendizado de máquina, similar a Bechelli (2016a), com vários algoritmos e variações diferentes. Os únicos campos apresentados são ROC e precisão (LEES et al, 2018) e estes, claramente, não estão bem documentados para comparar os melhores métodos.…”

“…Lees et al (2018) apresenta uma tabela de comparação de vários trabalhos sobre RSVP e a aplicação de aprendizado de máquina, similar a Bechelli (2016a), com vários algoritmos e variações diferentes. Os únicos campos apresentados são ROC e precisão (LEES et al, 2018) e estes, claramente, não estão bem documentados para comparar os melhores métodos. As informações sobre os dados balanceados ou desbalanceados devem ser um requisito, como uma camada adicional de comparação, aos trabalhos apresentados e também considerados para determinar a aplicação de métricas adicionais.…”