Workload propagation - overload in bursty servers

Abstract

Internet servers are developing into complex but central components in the information infrastructure and are accessed by an ever-increasing and diversified user population. As such, they are susceptible to unpredicted and transient overloads, making highly available, yet cost-effective service a critical challenge. System responsiveness during overload periods is at least as important as system behavior under average, steady state load. Using measurements from a 3-tier e-commerce server, we show how normal and overload conditions propagate through the system hierarchy, i.e., from the front-end server to the back-end database, focusing on CPU, memory, and I/O performance. We find that overload conditions at lower system levels occur not only when the number of users in the system increases, but also during rapid changes in the nature of the work requested by the current users. These observation advocate the development of system mechanisms at the lower levels that can detect overload and self-adapt their configuration parameters in order to ensure high service availability and graceful performance degradation. We illustrate the effectiveness of a scheduling mechanism at the disk and provide a proof of concept that such self-adaptive scheduling mechanisms at the lower levels are a step toward faster system recovery under conditions of transient overload, and can thus complement admission control at the front end.

Profit-aware Admission Control for Overload Protection in E-commerce Web Sites

“…Normally, the bottleneck of an E-commerce Web site lies in its database server [7], [14]. This is also true in all our experiments, in which the resource bottleneck is either CPU or memory of the database machine.…”

Profit-aware overload protection in E-commerce Web sites

“…Normally, the bottleneck of an E-commerce Web site lies in its database server (Elnikety et al, 2004;Zhang et al, 2005). This is also true in all our experiments, in which the resource bottleneck is either CPU or memory of the database machine.…”

Αποδοτικοί Αλγόριθμοι Εξισορρόπησης Φορτίου Στο Διαδίκτυο Με Βάση Το Περιεχόμενο Των Αιτήσεων Και Της Κατάστασης Των Εξυπηρετητών

“…Θα ήθελα στο σημείο αυτό να αναφερθώ επιπρόσθετα σε κάποιες μετρικές πέραν από τις προαναφερθέντες (πλην των ορισμένων), οι οποίες χρησιμοποιούνται για την αξιολόγηση των αλγορίθμων κατανομής φορτίου που χρησιμοποιούνται από τη βιβλιογραφία και δεν αξιολογήθηκαν από τα πειράματά μου: -Μετρική ρυθμού άφιξης των αιτήσεων στον εξυπηρετητή[134,53,132] -Ποσοστό απώλειας μέσου Throughput (χρησιμοποιήθηκε από εμένα ως κέρδος throughput σε ορισμένα σενάρια)[138] -Μέσου χρόνου απόκρισης των I/O (Ι/Ο read-write access time) στους εξυπηρετητές[138,101] ή μεγέθους απάντησης των αιτήσεων[101,107,28]. -Μέσου χρόνου καθυστέρησης (average slowdown): Το ποσοστό του πραγματικού χρόνου απόκρισης προς τον ιδανικό μέγιστο χρόνο απόκρισης, εάν το σύστημα εξυπηρετούσε άμεσα την αίτηση (δηλαδή ο χρόνος εξυπηρέτησης 1 μόνο αιτήσεως από το σύστημα)[125,107,28,22].H πειραματικές μέθοδοι αξιολόγησης των αλγορίθμων κατανομής φορτίου που χρησιμοποιούνται στη βιβλιογραφία περιλαμβάνουν συνήθως πραγματικά σενάρια 4/5 εξυπηρετητών και διάφορα εργαλεία μέτρησης των παραπάνω μετρικών με σημαντικότερα τα εργαλεία ανοιχτού κώδικα Httperf και openWebLoad[121,93,123,122].…”