About the imperfection of objective quality metrics on high-definition video content

Wulf, Steffen; Zölzer, Udo

doi:10.1109/mmsp.2013.6659319

Cited by 3 publications

(3 citation statements)

References 18 publications

(32 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Observing the quantile plot (figures on the right) for the three metrics, the PSNR model is the least accurate of the three because PSNR samples are deviated from the linear distribution. Nonetheless, PSNR has been criticized throughout its history for not serving well as a QoE metric [16] [17]. Yet, the exponential model is not entirely inaccurate, as the observation of residuals reveals.…”

Section: Subjective Results and Objective Metrics Correlationmentioning

confidence: 99%

Adaptive Streaming: A subjective catalog to assess the performance of objective QoE metrics

Álvarez

Pozueco

Cabrero

et al. 2014

NPA

View full text Add to dashboard Cite

Scalable streaming has emerged as a feasible solution to resolve users' heterogeneity problems. Scalable Video Streaming (SVC) is the technology that has served as the definitive impulse for the growth of streaming adaptive systems. Systems need to incorporate user's Quality of Experience (QoE) in the layer switching algorithms. This paper characterizes the relation between human decisions and objective metrics that could be mapped into systems. We have performed extensive subjective experiments to corroborate the preference towards adaptive systems when compared to traditional non-adaptive systems. The resulting subjective scores are correlated with most relevant Full Reference (FR) objective metrics. We obtain an exponential relationship between human decisions and the same decisions expressed as a difference of objective metrics. A strong correlation with subjective scores validates objective metrics to be used as aid in the adaptive decision taking algorithms to improve overall systems performance. Results show that, among the evaluated objective metrics, PSNR is the metric that provide worse results in terms of reproducing the human decisions.

show abstract

Section: Subjective Results and Objective Metrics Correlationmentioning

confidence: 99%

Adaptive Streaming: A subjective catalog to assess the performance of objective QoE metrics

Álvarez

Pozueco

Cabrero

et al. 2014

NPA

View full text Add to dashboard Cite

show abstract

“…The second inexactness deals with the requirement for temporal and color alignment of the reference and test sequence which was not present in the first versions of PSNR and may be considered as non-normative preprocessing steps [12]. However, the alignment has an important impact on the final result: When temporal mismatch occurs, PSNR without temporal alignment underestimates the quality because it uses the wrong reference for calculation [13]. PSNR with temporal alignment often overestimates the quality as effects such as stalling, skipping, or reduced frame rate are ignored.…”

Section: Introductionmentioning

confidence: 99%

Framework for reproducible objective video quality research with case study on PSNR implementations

Aldahdooh

Masala

Wallendael

et al. 2018

Digital Signal Processing

View full text Add to dashboard Cite

Reproducibility is an important and recurrent issue in objective video quality research because the presented algorithms are complex, depend on specific implementations in software packages or their parameters need to be trained on a particular, sometimes unpublished, dataset. Textual descriptions often lack the required detail and even for the simple Peak Signal to Noise Ratio (PSNR) several mutations exist for images and videos, in particular considering the choice of the peak value and the temporal pooling. This work presents results achieved through the analysis of objective video quality measures evaluated on a reproducible large scale database containing about 60,000 HEVC coded video sequences. We focus on PSNR, one of the most widespread measures, considering its two most common definitions. The sometimes largely different results achieved by applying the two definitions highlight the importance of the strict reproducibility of the research in video quality evaluation in particular. Reproducibility is also often a question of computational power and PSNR is a computationally inexpensive algorithm running faster than

show abstract

“…De estas métricas, VQM_VFD fue la que mejor resultado consiguió, obteniendo una correlación en torno a 0,81, pese a no estar entrenada específicamente para este tipo de esquema de codificación. En [Wulf and Zolzer, 2013] también se pone de manifiesto las ventajas que supone el nuevo método de calibración VFD en comparación con otras métricas de calidad de vídeo, aplicadas a varias bases de datos de secuencias de vídeo.…”

Section: Métricas De Referencia Completaunclassified

Contribución a los modelos de estimación de la calidad percibida en servicios de vídeo sobre Internet mediante parámetros objetivos

Salmerón¹

View full text Add to dashboard Cite

En los últimos años el consumo de servicios de vídeo se ha incrementado de forma notable y se espera que dicha tendencia continúe en los próximos años. Los servicios de streaming de vídeo Over-The-Top (OTT), en los que se centra esta tesis, constituyen uno de los principales motores de dicho crecimiento. A diferencia de los servicios Internet Protocol Television (IPTV), que utilizan una red controlada en la que se pueden implementar mecanismos de Quality of Service (QoS), los servicios de streaming de vídeo OTT se prestan sobre Internet, por lo que llevan asociados interesantes desafíos desde un punto de vista técnico. Uno de los mayores desafíos técnicos a los que se enfrentan los servicios de streaming de vídeo OTT es mantener un nivel de Quality of Experience (QoE) que satisfaga a sus usuarios, por lo que es necesario contar con técnicas y herramientas que permitan monitorizar la calidad percibida por los usuarios de estos servicios.El streaming de vídeo OTT supone un cambio de filosofía en comparación con otras técnicas de streaming más tradicionales como RTP/RTSP. Los servicios de vídeo OTT suelen seguir el paradigma Dynamic Adaptive Streaming over HTTP (DASH), que se basa en sustituir los servidores de streaming tradicionales por servidores web que ponen a disposición de los clientes los contenidos de vídeo codificados en varias versiones con distinto nivel de calidad. Cada una de estas versiones o representaciones está dividida en pequeños fragmentos o segmentos que los clientes pueden solicitar mediante el protocolo HTTP. Los clientes pueden solicitar diferentes niveles de calidad en función de los parámetros que consideren más adecuados (ancho de banda de la red, resolución de pantalla, tipo de códec, etc.), lo que les permite adaptarse a condiciones cambiantes del entorno. Como se puede ver, el paradigma DASH ha trasladado el control de la sesión del servidor al cliente y ha sustituido los servidores de streaming por servidores web que simplemente sirven los segmentos de vídeo que los clientes solicitan. Además se esta simplificación de los servidores de streaming, existen otras ventajas asociadas a DASH, como son la utilización de Content Delivery Network (CDN), la compatibilidad con NATs y firewalls, etc.En esta tesis doctoral se lleva a cabo la propuesta de un conjunto de modelos cuyo objetivo es estimar la calidad percibida por los usuarios de los servicios de vídeo ix x basados en DASH. Más concretamente, partiendo de la definición del servicio como un conjunto de componentes de servicio, se desarrollan modelos parciales que estiman la calidad percibida asociada a cada uno de estos componentes: calidad de vídeo, calidad de audio, degradaciones asociadas a la transmisión, etc. Cada una de estas estimaciones de calidad percibida se combinan en un modelo global que estima la calidad percibida total del servicio.

show abstract

About the imperfection of objective quality metrics on high-definition video content

Cited by 3 publications

References 18 publications

Adaptive Streaming: A subjective catalog to assess the performance of objective QoE metrics

Adaptive Streaming: A subjective catalog to assess the performance of objective QoE metrics

Framework for reproducible objective video quality research with case study on PSNR implementations

Contribución a los modelos de estimación de la calidad percibida en servicios de vídeo sobre Internet mediante parámetros objetivos

Contact Info

Product

Resources

About