Year: 2012
Type: dissertation
Abstract: This work presents original algorithms for the measurement of artefacts impairing the quality of digital video sequences.The intended use of these algorithms is the control of the restoration processes performed on the video in advanced monitors for costumer applications.The problem of the artefact measurement at this stage of the processing chain differs from the assessment of quality performed in other applications.Quality assessment aimed to the improvement of the encoding operation, for example, can be done using the original sequence for comparison, and based on the pixel-by-pixel differences with it.Quality measurements in intermediate stages of the transmission chain of the video, where the sequence is available in compressed form, can employ useful information contained in the bitstream, such as the frequency distribution of the frame content, the bitrate, the quantisation step and the error rate, all factors related to the global quality.In the proposed application, i. e. at the monitor, the measurements of the frame degradation must instead take place on the decoded numerical values of the pixels of the sole altered sequence.In addition, these measurement should require a low computational cost, so that they can be used in real time.In the first part of this work some of the existing methods for Quality Assessment are briefly overviewed and classified based on the chosen approach to the problems.In this overview three main classes of methods are identified, namely the methods based on the measurement of specific frame and video artefacts, the methods measuring the discrepancies between some statistical properties of the pixel distribution or the sequence parameters and ideal models, and the methods processing highly generic measures with trained classifiers.The first strategy is deemed the most promising in the intended application, due to the good achieved results with relatively little computation and the possibility to avoid a long and complex training phase.The proposed algorithms are therefore based on the measurement of specific video artefacts.A second part of the work is devoted to the identification of the main potential degradation factors in one of the most recent encoding standard, namely H264.The main aspects of frame degradation, namely blockiness in smooth areas and texture, edge degradation, and blurriness, are identified, and their relationship to the encoding options is briefly examined.Based on this brief inspection, two of the most common artefacts of the transmitted video, namely blurriness and blockiness, are chosen for measurements estimating the picture quality degradation.The devised algorithms integrate measures of the inter-pixel relationships determined by the artefacts with models of human vision to quantify their subjective appearance.For the blurriness measurement two methods are proposed, the first acting selectively on object edges, the second uniformly on the frame surface.In the measurement of the edge blurriness the hierarchical role of each edge is estimated, distinguishing between the marginal edges of the detail and the edges of the main objects of the frame.The former have reduced contrast and short length compared to the edges of the surrounding shapes, and have little effect on the overall blurriness impression.Conversely, the state of the latter is the main responsible of the frame quality aspect.The edge blurriness Riassunto espositivoQuesto lavoro presenta algoritmi originali per la misura di artefatti che causano un degrado della qualità di sequenze video digitali.L'uso previsto per questi algoritmi è il controllo dei processi di restauro compiuti sul video in monitor avanzati di uso domestico.Il problema della misura di artefatti a questo stadio della catena di elaborazione si differenzia dalla stima di qualità compiuta in altre applicazioni.La stima di qualità volta al miglioramento dell'operazione di codifica, per esempio, può fare uso della sequenza originale per confronto, ed essere basato sulle differenze rispetto ad essa, calcolate pixel per pixel.Misure di qualità compiute in stadi intermedi della catena di trasmissione del video, dove la sequenza è disponibile in forma compressa, possono sfruttare utili informazioni contenute nel flusso di bit compresso, come la distribuzione in frequenza del contenuto del fotogramma, il tasso di compressione, l'intervallo di quantizzazione ed il tasso di errore, tutti fattori legati alla qualità globale del video.Nell'applicazione prevista, cioè al monitor, la misura del degrado dei fotogrammi deve invece avvenire usando solo i valori decodificati dei pixel della sequenza corrotta.Inoltre questa misura dovrebbe richiedere un basso costo computazionale, per poter avvenire in tempo reale.Nella prima parte di questo lavoro alcuni dei metodi esistenti per la stima di qualità sono brevemente esaminati e classificati in base al modo in cui affrontano il problema.I metodi sono divisi in tre categorie principali, cioè i metodi fondati sulla misura di specifici artefatti del fotogramma video, i metodi che misurano l'allontanamento di alcune proprietà statistiche della distribuzione dei pixel o dei parametri della sequenza da particolari modelli ideali, ed i metodi che fanno un'elaborazione di misure molto generiche con classificatori addestrati.La prima strategia è ritenuta la più promettente nell'applicazione considerata, per i buoni risultati ottenuti con una complessità di calcolo relativamente ridotta e la possibilità di evitare una lunga e complessa fase di addestramento.Gli algoritmi proposti si fondano perciò sulla misura di specifici artefatti del video.Una seconda parte del lavoro è dedicata all'identificazione dei principali fattori di degrado insiti nella codifica secondo uno dei più recenti standard, H264.Sono identificati i principali aspetti del degrado del fotogramma, cioè la blocchettatura in aree piane e tessitura, degrado dei bordi, e sfocatura, ed è brevemente esaminato il loro rapporto con le impostazioni di codifica.Sulla base di questo breve esame, due degli artefatti più comuni nel video trasmesso, cioè la sfocatura e la blocchettatura, sono scelti come oggetto di misure per stimare il degrado della qualità dell'immagine.Gli algoritmi progettati integrano misure delle relazioni fra pixel causate dagli artefatti con modelli della percezione umana che determinano la visibilità di tali artefatti.Per la misura di sfocatura sono presentati due metodi, il primo applicato selettivamente ai bordi degli oggetti, il secondo uniformemente sulla superficie del fotogramma.Nella misura della sfocatura dei bordi è stimato il ruolo gerarchico di ciascun bordo, distinguendo tra bordi secondari del dettaglio e bordi degli oggetti principali dell'immagine.I primi hanno contrasto ridotto e sono corti rispetto ai bordi degli oggetti nei dintorni, e hanno poco effetto The Doctoral study resulting in the present work was financially supported by Philips Consumer Electronics, Eindhoven, The Netherlands.The firm also provided the video sequence "Barcelona", fundamental in most of the experiments, technical support in the use of the video encoder x264, and the programs it commonly used to upscale the video frames to screen size, employed in this work in the study of the blurring artefact.Besides senior employees of the firm followed the research activity and gave periodic feedback and suggestions for future development.In particular, the author wishes to thank Jeroen Stessen, video quality expert at BGTV Philips Lifestyle, for giving his valuable technical opinions and constructive critic judgements on the ongoing research.
Author: Leonardo Abate
Language: English
Subfield: Computer Vision and Pattern Recognition
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W1569048828