Towards prediction of Sense of Presence in immersive audiovisual communications

Abstract

Tremendous progress has been made in audiovisual technologies in the last decades. Consequently, new technologies quality measures evolve and trend to be more user-centric. This is the reason why the Quality of Experience (QoE) assessment is presently meaningful and challenging, especially for users typical experiences during multimedia content consumption. Such an evaluation is the aim of this paper. More specifically, the Sense of Presence (SoP) was explored in place of QoE as it is a factor influencing the QoE. This paper presents the conducted subjective test investigating typical and practical user experiences. This latter consists of presenting one-minute video stimuli to twenty subjects, on three different devices (iPhone, iPad and UHD screen). Annotated subjective scores were collected and physiological signals (EEG, ECG, and Respiration) were recorded during the conducted subjective test. The resulting multimodal dataset, aiming an alternative evaluation of human experience while consuming multimedia, is publicly available.

Extraction and investigation of biosignal features for visual discomfort evaluation

“…In the first part, using physiological signals, features were extracted and compared with subjective evaluations of the sense of presence level (SoP). Physiological signals used in this research were acquired by Perrin et al (2016). During this experiment a group of 20 volunteers consumed three different levels of audiovisual stimuli, while their physiological signals were measured.…”

Investigation of Quality of Experience Using ECG Features during Consumption of Audiovisual Content

“…Tyrimui naudotas Perrin et al (2016) duomenų rinkinys, kuris sudarytas atlikus trijų matavimo sesijų eksperimentą. Kiekvienai sesijai naudoti skirtingi prietaisai, kuriais vartotojams buvo pateikiama vaizdo ir garso medžiaga.…”

“…Tyrimo subjektai pagal 9 balų skalę nuo 1 (žemas kriterijus) iki 9 (aukštas kriterijus) įvertino QoE atsakydami į šešis klausimus. Perrin et al (2016) atlikta subjektyvių rezultatų analizė parodė, kad kiekvienas tirtas prietaisas skirtingai paveikė QoE lygį. Panašūs rezultatai gauti ir kitų autorių tyrimuose (Moon, Lee 2015;Galloso et al 2015).…”

“…Objektyviam QoE įvertinimo patobulinimui pasiūlytas fiziologinių signalų rinkinys, susidedantis iš elektroencefalogramos (EEG), elektrokardiogramos, kvėpavimo signalų ir subjektyvių matavimų (Perrin et al 2016). Autoriai QoE įvertinti naudoja skirtingos raiškos ir garso kokybės audiovizualinį turinį.…”

“…Signalų rinkinys yra viešai prieinamas. Kadangi pateikti duomenys yra įvertinti subjektyviai, galima ieškoti panašumo tarp subjektyvių ir objektyvių QoE matavimų.Straipsnyje pateikiami tyrimų rezultatai, gauti analizuojant Perrin et al (2016) pateiktus ECG signalus. Tyrimų metu pavyko kiekybiškai įvertinti ryšį tarp QoE naudojant skirtingus įrenginius (mobilųjį telefoną, planšetinį kompiuterį, ultraaukštos raiškos televizorių) ir širdies ritmo, gauto iš ECG signalo.…”