Towards a new ITU-T recommendation for subjective methods evaluating gaming QoE

The use of the term immersion to describe a multitude of varying experiences in the absence of a definitional consensus has obfuscated and diluted the term. The non-exhaustive literature review presented in this paper indicates that immersion is a psychological concept as opposed to being a property of the system or technology that facilitates an experience. An adaptable definition of immersion is synthesized based on the findings from the literature review: a state of deep mental involvement in which the individual may experience disassociation from the awareness of the physical world due to a shift in their attentional state. This definition is used to contrast and differentiate interchangeably used terms such as presence from immersion and outline the implications for conducting immersion research on audiovisual experiences. A new methodology for quantifying immersion is proposed and avenues for future work are briefly discussed.

show abstract

“…Physiological measures can be used to complement subjective assessment to assess emotional states, fatigue, etc. [90].…”

Section: Experimental Paradigmmentioning

confidence: 99%

Defining Immersion: Literature Review and Implications for Research on Audiovisual Experiences

Agrawal

Simon²,

Bech³

et al. 2020

J. Audio Eng. Soc.

110

View full text Add to dashboard Cite

show abstract

“…As the work rouse interest of the standardization body, they proposed a first structure of the targeted recommendation in September 2014 including information about the experimental setup to be used in the subjective evaluation, thoughts on questionnaires for quantifying user perception throughout the evaluation, and about the usefulness of performance measurements as well as physiological response measurements [189]. The draft was not only discussed at the ITU-T meeting but also among experts of the COST action IC-1003 Qualinet ("European Network on Quality of Experience in Multimedia Systems and Services") which resulted in a publication in 2015 [190]. The valuable comments were also presented to the ITU-T SG12 by Möller et al in [191].…”

Section: Standardization Activitiesmentioning

confidence: 99%

“…The draft was not only discussed at the ITU-T meeting but also among experts of the COST action IC-1003 Qualinet ("European Network on Quality of Experience in Multimedia Systems and Services") which resulted in a publication in 2015 [190]. The valuable comments were also presented to the ITU-T SG12 by Möller et al in [191]. Experts stated that the selection of the measurement tool should be decided based on the aim of the research, in particular by considering the effort caused by the rating task of participants.…”

Section: Standardization Activitiesmentioning

confidence: 99%

Assessing the Quality of Experience of Cloud Gaming Services

Schmidt¹

2023

T-Labs Series in Telecommunication Services

View full text Add to dashboard Cite

Die Videospielebranche hat den größten Unterhaltungssektor unserer Zeit geschaffen, der schnell wächst und das Leben vieler Generationen weltweit beeinflusst. Besonders hochkomplexe Spiele erfordern jedoch, dass Spieler über leistungsstarke Hardware verfügen. So wurde in den letzten Jahren ein neues Konzept namens Cloud Gaming entwickelt, mit dem Nutzer diese Spiele, die auf einem Cloud-Server ausgeführt werden, fernsteuern können. Während der Ansatz verschiedene Vorteile mit sich bringt, stellt die zusätzliche Netzwerkverbindung und Videoverarbeitung viele neue technische Herausforderungen für Netzbetreiber und Dienstanbieter. Um diese Hindernisse zu überwinden und die Zufriedenheit ihrer Kunden zu gewährleisten, haben Unternehmen ein starkes Interesse daran, das Nutzungserleben (Quality of Experience, QoE) der Spieler zu untersuchen und vorherzusagen. Traditionelle QoE-Evaluierungen von Multimediadiensten verwenden kontrollierte subjektive Experimente, bei denen die Teilnehmer gebeten werden, ihre Meinung zu präsentierten Stimuli, z. B. einer Netzwerkbedingung, unter Verwendung validierter Fragebögen nachträglich zu äußern. Um diesen Beurteilungsprozess zu beschreiben, schlagen Möller und Kollegen (2013) eine Taxonomie der Qualitätsaspekte von Cloud-Gaming-Systemen vor. Die Anwendbarkeit etablierter Bewertungsmethoden zur Messung des hochgradig mehrdimensionalen Konstrukts der Gaming-QoE ist jedoch sehr begrenzt. Da sich das Gebiet der Gaming-QoE noch in der Anfangsphase befindet, fehlen validierte Bewertungsmethoden, die speziell für Cloud-Gaming-Dienste entwickelt wurden. Ziel der vorgestellten Forschung ist es daher, eine umfassende, zuverlässige und validierte Bewertungsmethode für die Gaming-QoE für Cloud-Gaming-Dienste zu entwickeln und zu evaluieren. Die Methode ermöglicht die Gestaltung subjektiver Tests zur Erstellung von Datensätzen für Qualitätsvorhersagemodelle und ermöglicht ein detailliertes Verständnis der Beziehungen zwischen einer Vielzahl von Qualitätsaspekten. Als erster Schritt in Richtung eines einheitlichen Evaluierungsansatzes wurden verfügbare Fragebögen auf kompakte Weise zusammengefasst. Da kein Messinstrument zur Bewertung der Interaktionsqualität identifiziert wurde, wurde ein neuer Fragebogen, die Gaming Input Quality Scale (GIPS), entwickelt. Darüber hinaus wurde für dessen Erstellung ein neues Framework zur Bewertung der Gaming-QoE mithilfe eines Crowdsourcing-Ansatzes entworfen. Zuletzt wurde die Evaluierungsmethode basierend auf einem großen Datensatz, der dominante Netzwerk-und Codierungsbedingungen umfasst, unter Verwendung der Strukturgleichungsmodellierung untersucht. Die Forschung ergab, dass das Crowdsourcing-Framework vergleichbare Ergebnisse wie Laborstudien liefern kann. Zudem wurde gezeigt, dass die entwickelte Evaluierungsmethode zuverlässige und gültige Benutzerbewertungen liefert und gleichzeitig ein Testdesign ermöglicht, das zur Entwicklung von Qualitätsvorhersagemodellen geeignet ist. Zusammenfassend sind die Hauptbeiträge der Arbeit (1) eine empirische Validieru...

show abstract

“…Previous studies have shown the link between network performance and game play duration [11]. Further studies have shown that player experience and skill are important QoE influence factors which may clearly impact a player's tolerance to performance degradations [43,59]. Hence, experienced players could be treated differently to novice or unexperienced players by the responsible mechanism.…”

Section: Use Case: Online and Cloud Gamingmentioning

confidence: 99%

Context Monitoring for Improved System Performance and QoE

Metzger

Hoßfeld

Skorin‐Kapov

et al. 2018

Lecture Notes in Computer Science

Self Cite

View full text Add to dashboard Cite

Whereas some application domains show a certain consensus on the role of system factors, human factors, and context factors, QoE management of multimedia systems and services is still faced with the challenge of identifying the key QoE influence factors. In this chapter, we focus on the potential of enhancing QoE management mechanisms by exploiting valuable context information.To get a good grip on the basics we first discuss a general framework for context monitoring and define context information, including technical, usage, social, economic, temporal, and physical factors. We then iterate the opportunities and challenges in involving context in QoE monitoring solutions, as context may be, e.g., hard to ascertain or very situational.

show abstract

Towards a new ITU-T recommendation for subjective methods evaluating gaming QoE

Cited by 12 publications

References 15 publications

Defining Immersion: Literature Review and Implications for Research on Audiovisual Experiences

Defining Immersion: Literature Review and Implications for Research on Audiovisual Experiences

Assessing the Quality of Experience of Cloud Gaming Services

Context Monitoring for Improved System Performance and QoE

Contact Info

Product

Resources

About