On the Impact of Synchronizing Clocks and Processes on Benchmarking MPI Collectives

Hunold, Sascha; Carpen-Amarie, Alexandra

doi:10.1145/2802658.2802662

Cited by 11 publications

(13 citation statements)

References 11 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Our objective is to utilize the SKaMPI framework for benchmarking OpenSHMEM communication. However, considering studies of potential clock drift [9], we know that both barrier and window-based process synchronization suffer from drift and the processes might lose their synchronization as the measurement progresses. SKaMPI's window-based clock synchronization can measure operations very accurately, but the logical global clocks drift quickly, so only a small number of MPI operations can be measured precisely.…”

Section: Measuring Openshmem Communication Routinesmentioning

confidence: 99%

“…SKaMPI's window-based clock synchronization can measure operations very accurately, but the logical global clocks drift quickly, so only a small number of MPI operations can be measured precisely. The hierarchical algorithm presented in [9] has a smaller clock drift, but the processes still skew during the measurement. As a consequence, we cannot rely on this synchronization only to perform our measurements, and whenever possible, we need to design measurement strategies that rely on more precise measurements than just a synchronization followed by a call to the measured routine.…”

Section: Measuring Openshmem Communication Routinesmentioning

confidence: 99%

See 1 more Smart Citation

SKaMPI-OpenSHMEM: Measuring OpenSHMEM Communication Routines

Coti¹,

Malony²

2022

Preprint

View full text Add to dashboard Cite

Benchmarking is an important challenge in HPC, in particular, to be able to tune the basic blocks of the software environment used by applications. The communication library and distributed runtime environment are among the most critical ones. In particular, many of the routines provided by communication libraries can be adjusted using parameters such as buffer sizes and communication algorithm. As a consequence, being able to measure accurately the time taken by these routines is crucial in order to optimize them and achieve the best performance. For instance, the SKaMPI library was designed to measure the time taken by MPI routines, relying on MPI's two-sided communication model to measure one-sided and two-sided peer-to-peer communication and collective routines. In this paper, we discuss the benchmarking challenges specific to OpenSHMEM's communication model, mainly to avoid inter-call pipelining and overlapping when measuring the time taken by its routines. We extend SKaMPI for OpenSHMEM for this purpose and demonstrate measurement algorithms that address Open-SHMEM's communication model in practice. Scaling experiments are run on the Summit platform to compare different benchmarking approaches on the SKaMPI benchmark operations. These show the advantages of our techniques for more accurate performance characterization.

show abstract

Section: Measuring Openshmem Communication Routinesmentioning

confidence: 99%

Section: Measuring Openshmem Communication Routinesmentioning

confidence: 99%

SKaMPI-OpenSHMEM: Measuring OpenSHMEM Communication Routines

Coti¹,

Malony²

2022

Preprint

View full text Add to dashboard Cite

show abstract

“…The synchronization of the clocks does not produce a significant computation nor communication overhead since the clocks are synchronized once when MPI_Init is called, for the rest of the application's execution time. The effects of time drift among synchronized clocks and techniques used to keep clocks in sync are studied in [27] and [28] which are taken into account by the MPI implementation use for our proposed strategy. The timestamps for the toc are obtained with an MPI call to MPI_Wtime by each p i , which returns a number of seconds (not clock ticks) that represent elapsed wall-clock time, with a precision of 1 millionth of a second 3 .…”

Section: Toc-w: Timestamp-based Ordering For Concurrent Writingmentioning

confidence: 99%

A Hybrid MPI-OpenMP Strategy to Speedup the Compression of Big Next-Generation Sequencing Datasets

Vargas-Perez

Saeed

2017

IEEE Trans. Parallel Distrib. Syst.

View full text Add to dashboard Cite

DNA sequencing has moved into the realm of Big Data due to the rapid development of high-throughput, low cost Next-Generation Sequencing (NGS) technologies. Sequential data compression solutions that once were sufficient to efficiently store and distribute this information are now falling behind. In this paper we introduce phyNGSC, a hybrid MPI-OpenMP strategy to speedup the compression of big NGS data by combining the features of both distributed and shared memory architectures. Our algorithm balances work-load among processes and threads, alleviates memory latency by exploiting locality, and accelerates I/O by reducing excessive read/write operations and inter-node message exchange. To make the algorithm scalable, we introduce a novel timestamp-based file structure that allows us to write the compressed data in a distributed and non-deterministic fashion while retaining the capability of reconstructing the dataset with its original order. Our experimental results show that phyNGSC achieved compression times for big NGS datasets that were 45% to 98% faster than NGS-specific sequential compressors with throughputs of up to 3GB/s. Our theoretical analysis and experimental results suggest strong scalability with some datasets yielding super-linear speedups and constant efficiency. We were able to compress 1 terabyte of data in under 8 minutes compared to more than 5 hours taken by NGS-specific compression algorithms running sequentially. Compared to other parallel solutions, phyNGSC achieved up to 6x speedups while maintaining a higher compression ratio.

show abstract

“…idle time), as communication time. We should note that although the MPI_Barrier is commonly utilized for process synchronization [Hunold and Carpen-Amarie, 2015], its synchronization quality depends on the system and alternative synchronization methods can provide better measurement quality. Each process measures its local communication time for each iteration and reports the 3rd quantile of the times measured across all iterations.…”

Section: Benchmarkingmentioning

confidence: 99%

“…Στην πράξη, η χρήση πληροφορίας από το υποκείμενο σύστημα βελτιώνει την ακρίβεια των αναλυτικών μοντέλων και καθιστά τα ημι-εμπειρικά μοντέλα κατάλληλα για πιο περίπλοκες αποφάσεις σχετικά με το συγκεκριμένο σύστημα. Τα εμπειρικά μοντέλα [Hunold and Carpen-Amarie, 2015], η ποιότητα του συγχρονισμού που προσφέρει εξαρτάται από το σύστημα. Εναλλακτικές προσεγγίσεις για το συγχρονισμό μπορούν να αποδώσουν καλύτερη ποιότητα μετρήσεων.…”

Section: Appendix Bunclassified

Communication performance prediction on large - scale systems

Παπαδοπούλου¹

View full text Add to dashboard Cite

Οδεύοντας προς την εποχή των υπερυπολογιστικών συστημάτων με επιδόσεις της τάξης των ExaFlops, οι υπερυπολογιστές θα αποτελούνται από εκατοντάδες εκατομμύρια πυρήνες και διάφορα σύνθετα ετερογενή επεξεργαστικά στοιχεία. Ωστόσο, ήδη σήμερα, οι χρήστες αποτυγχάνουν να αξιοποιήσουν την υπάρχουσα υπολογιστική ισχύ των συστημάτων μεγάλης κλίμακας, όπως συμβαίνει με μεγάλες κατηγορίες παράλληλων εφαρμογών μεγάλης κλίμακας, η επίδοση των οποίων περιορίζεται από φάσεις επικοινωνίας που δεν κλιμακώνουν. Η δυνατότητα πρόβλεψης του χρόνου επικοινωνίας των παράλληλων εφαρμογών μπορεί να βοηθήσει τους χρήστες, τους μεταγλωττιστές, τα συστήματα χρόνου εκτέλεσης και τους χρονοδρομολογητές στη λήψη αποφάσεων για βέλτιστη χρήση πόρων, βελτιστοποιήσεις επιδόσεων, εξοικονόμηση ενέργειας και ελαστικότητα σε σφάλματα. Η παρούσα διατριβή παρουσιάζει μια μεθοδολογία για την μοντελοποίηση της επικοινωνίας των παράλληλων εφαρμογών μεγάλης κλίμακας με στόχο την πρόβλεψη. Ο χρόνος επικοινωνίας εξαρτάται από ένα πολύπλοκο σύνολο παραμέτρων, σχετικών με την εφαρμογή, την αρχιτεκτονική του συστήματος, τις ρυθμίσεις χρόνου εκτέλεσης και τις συνθήκες εκτέλεσης. Για την ενσωμάτωση αυτής της πολυπλοκότητας σε ένα μοντέλο πρόβλεψης, ακολουθούμε μια προσέγγιση εμπειρικής μοντελοποίησης. Ορίζουμε χαρακτηριστικά που μπορούν να εξαχθούν από την εφαρμογή, την απεικόνιση των διεργασιών στο σύστημα και το σχήμα κατανομής των υπολογιστικών πόρων, πριν από την εκτέλεση, αναπτύσσουμε ένα πρόγραμμα μετρήσεων αναφοράς για τη σάρωση του χώρου των παραμέτρων, και αναπτύσσουμε μοντέλα πρόβλεψης για τον χρόνο επικοινωνίας σε τρία υπολογιστικά συστήματα μεγάλης κλίμακας, τα συστήματα Vilje, Piz Daint και ARIS, χρησιμοποιώντας διαφορετικά υποσύνολα των χαρακτηριστικών μας, μεθόδους στατιστικής και μηχανικής μάθησης και διάφορα σύνολα εκπαίδευσης. Συγκρίνουμε την πρόβλεψη των μοντέλων μας σε διάφορα σχήματα επικοινωνίας και εφαρμογές, για πολλαπλά μεγέθη προβλημάτων, πολλαπλές εκτελέσεις και διαφορετικές ρυθμίσεις του χρόνου εκτέλεσης, που κυμαίνονται από μερικές δεκάδες έως μερικές χιλιάδες πυρήνες. Η μεθοδολογία μας είναι επιτυχής στην πρόβλεψη του χρόνου επικοινωνίας σε όλα τα σχήματα επικοινωνίας που εξετάζουμε, σε όλα τα συστήματα, και παρουσιάζει υψηλή ακρίβεια πρόβλεψης και καλή προσαρμογή. Τα μοντέλα που προτείνονται αποδίδουν προβλέψεις ακριβώς πριν από την εκτέλεση μίας παράλληλης εφαρμογής και, όπως καταδεικνύουμε σε αυτή τη διατριβή, η υψηλή ακρίβεια τους τα καθιστά κατάλληλα για λήψη αποφάσεων με επίγνωση της επικοινωνίας, προς την κατεύθυνση της βελτιστοποίησης της χρήσης των υπολογιστικών πόρων σε συστήματα μεγάλης κλίμακας.

show abstract

On the Impact of Synchronizing Clocks and Processes on Benchmarking MPI Collectives

Cited by 11 publications

References 11 publications

SKaMPI-OpenSHMEM: Measuring OpenSHMEM Communication Routines

SKaMPI-OpenSHMEM: Measuring OpenSHMEM Communication Routines

A Hybrid MPI-OpenMP Strategy to Speedup the Compression of Big Next-Generation Sequencing Datasets

Communication performance prediction on large - scale systems

Contact Info

Product

Resources

About