Αλγόριθμοι ανίχνευσης έκτοπων παρατηρήσεων (outliers) στην ανθεκτική (robust) εκτίμηση συνδιακύμανσης και παλινδρόμησης

Abstract

Η παρούσα διδακτορική διατριβή ασχολείται με την ανάπτυξη νέων ανθεκτικών εκτιμητών για τον εντοπισμό έκτοπων παρατηρήσεων και τον προσδιορισμό ανθεκτικού πίνακα συνδιακύμανσης καθώς και με μοντέλα παλινδρόμησης και γενικά σε σύνολα δεδομένων των οποίων οι μεταβλητές αποκλίνουν από τις ιδανικές συνθήκες κανονικότητας. Ο βασικός στόχος της διατριβής είναι η παρουσίαση των πλεονεκτημάτων της τεχνικής του μαθηματικού προγραμματισμού μέσω του οποίου είναι εφικτός ο προσδιορισμός νέων τύπων ανθεκτικών εκτιμητών θέσης, πίνακα συνδιακύμανσης και παλινδρόμησης. Η σύγκριση των διάφορων νέων ανθεκτικών εκτιμητών με τους γνωστούς κλασικούς εκτιμητές από την βιβλιογραφία της ανθεκτικής στατιστικής υποδεικνύει τη χρησιμότητα των νέων εκτιμητών αλλά και την αναγκαιότητα εισαγωγής του μαθηματικού προγραμματισμού ως μια πολύ χρήσιμη τεχνική στην ανθεκτική στατιστική.Το πιο σημαντικό τμήμα της εργασίας αποτελείται από τα διάφορα προτεινόμενα πρότυπα μαθηματικού προγραμματισμού τα οποία συντελούν στην ανάπτυξη νέων ανθεκτικών εκτιμητών θέσης και παλινδρόμησης. Monte Carlo μελέτη προσομοίωσης και γνωστά πρότυπα συγκριτικής αξιολόγησης (benchmark examples) της ανθεκτικής βιβλιογραφίας οδηγούν στο συμπέρασμα πως οι νέοι εκτιμητές βελτιώνουν τόσο την ανθεκτικότητα όσο και την αποτελεσματικότητα.Στο Κεφάλαιο 2 αρχικά περιγράφεται ο ανθεκτικός εκτιμητής του LTAD. Στην συνέχεια μία νέα ανθεκτική διαδικασία (με χρήση προτύπου μαθηματικού προγραμματισμού) προτείνεται για την εκτίμηση μέτρου θέσης. Η ανθεκτικότητα και η αποτελεσματικότητα της νέας διαδικασίας φαίνεται μέσω παραδειγμάτων και προσομοιώσεων Monte Carlo.Το Κεφάλαιο 3 περιλαμβάνει μια επισκόπηση των ανθεκτικών εκτιμητών για τον προσδιορισμό έκτοπων και πίνακα συνδιακύμανσης πολυμεταβλητών δεδομένων, καθώς και τους αλγόριθμους υπολογισμού των εκτιμητών αυτών. Στη συνέχεια του κεφαλαίου αυτού παρουσιάζεται ο νέος εκτιμητής LTED (ο οποίος είναι μια αλγοριθμική προσέγγιση του LTAD για πολυμεταβλητά δεδομένα). Μελέτη προσομοίωσης πραγματοποιείται για τη σύγκριση της αποτελεσματικότητας του νέου εκτιμητή με διάφορους γνωστούς εκτιμητές.Το Κεφάλαιο 4 είναι αφιερωμένο στους ανθεκτικούς εκτιμητές υψηλού σημείου κατάρρευσης. Περιγράφονται κάποιοι από τους πιο γνωστούς ανθεκτικούς εκτιμητές υψηλού σημείου κατάρρευσης. Στην κατηγορία αυτή ανήκει και ο εκτιμητής Penalized Trimmed Squares (PTS) για τον οποίο αναφέρονται οι καλές ιδιότητές του οι οποίες προέρχονται από την αναλυτική λύση η οποία επιτυγχάνεται από το μικτό ακέραιο τετραγωνικό προγραμματισμό. Για την καλυτέρευση του προτείνεται μια νέα διαδικασία η οποία χρησιμοποιεί την λύση του LTED για την αναγνώριση των leverage σημείων. Μελέτη προσομοίωσης πραγματοποιείται για τη σύγκριση της αποτελεσματικότητας του νέου PTS-L σε σύγκριση με το κλασικό PTS.Στο Κεφάλαιο 5 εισάγεται ένας νέος εκτιμητής ανθεκτικής παλινδρόμησης, ως απόρροια του εκτιμητή LTAD και προσαρμογή του στην ανθεκτική παλινδρόμηση, με την χρήση γραμμικού προγραμματισμού. Μελέτη προσομοίωσης πραγματοποιείται για τη σύγκριση της αποτελεσματικότητας και ανθεκτικότητας του νέου εκτιμητή με διάφορους γνωστούς εκτιμητές.Τέλος, στο Κεφάλαιο 6 διατυπώνονται τα συμπεράσματα της ερευνητικής μελέτης καθώς και μελλοντικές προτάσεις για επέκταση της υπάρχουσας μελέτης.