Argo: Architecture-aware graph partitioning

Zheng, Angen; Labrinidis, Alexandros; Chrysanthis, Panos K.; Lange, Jack

doi:10.1109/bigdata.2016.7840614

Cited by 10 publications

(1 citation statement)

References 28 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Most of these approaches parallelize the execution of algorithms by dividing graphs into partitions [115,133] and assigning vertices to workers (i.e., machines) following the "think like a vertex" programming paradigm introduced with Pregel [93]. However, recent studies [60,28] point out that the so-far proposed frameworks [1,112,89,121] fail to handle the unprecedented scale of real-world graphs as a result of ineffective, if not right out poor, memory usage [60].…”

Section: Memory-optimized Distributed Graph Processingmentioning

confidence: 99%

Τεχνικές Επεξεργασίας Κατανεμημένων Γράφων Και Ρευμάτων Γράφων

Λιάκος¹

View full text Add to dashboard Cite

Κάτω από τα περισσότερα σύνθετα συστήματα που διαδραματίζουν έναν κομβικό ρόλο στην καθημερινή μας ζωή κρύβονται περίπλοκα δίκτυα. Τέτοια δίκτυα πραγματικού κόσμου μοντελοποιούνται συχνά με τη χρήση γράφων. Ο μεγάλος όγκος των γράφων που παράγονται στο σημερινό διασυνδεδεμένο κόσμο επιτρέπει την πραγματοποίηση πολυάριθμων συναρπαστικών εφαρμογών αλλά και εγείρει σημαντικές προκλήσεις. Αναλογιστείτε για παράδειγμα το γράφο φιλίας ενός ιστοχώρου κοινωνικής δικτύωσης και τα ευρήματα στα οποία μπορούμε να φτάσουμε αν εκτελέσουμε αλγορίθμους δικτύων, όπως η ανίχνευση κοινοτήτων, στο γράφο αυτό. Εντούτοις, ο όγκος τον οποίο αγγίζουν τα δίκτυα πραγματικού κόσμου συχνά καθιστούν την εκτέλεση ακόμη και θεμελιωδών αλγορίθμων γράφων αδύνατη όταν ακολουθούνται παραδοσιακές προσεγγίσεις. Στην παρούσα διατριβή εστιάζουμε σε δύο κατευθύνσεις που επιτρέπουν τον χειρισμό δικτύων μεγάλης κλίμακας και συγκεκριμένα την κατανεμημένη επεξεργασία γράφων και τους αλγορίθμους ρευμάτων γράφων. Σε αυτό το πλαίσιο αρχικά συνεισφέρουμε όσον αφορά στη χρήση μνήμης των κατανεμημένων συστημάτων επεξεργασίας γράφων, επεκτείνοντας τις υπάρχουσες δομές ενός τέτοιου σύγχρονου συστήματος με συμπαγείς αναπαραστάσεις. Έπειτα, επικεντρωνόμαστε στο πρόβλημα της ανίχνευσης κοινοτήτων και προτείνουμε α) έναν τοπικό αλγόριθμο που αποκαλύπτει τη δομή κοινοτήτων γύρω από έναν κόμβο κι ο οποίος δύναται εύκολα να εκτελεστεί σε κατανεμημένο περιβάλλον και β) έναν αλγόριθμο ρευμάτων γράφων ο οποίος υπερκερά σημαντικά προσεγγίσεις τεχνολογίας αιχμής που χρησιμοποιούν ολόκληρο το γράφο, τόσο σε χρόνο εκτέλεσης όσο και σε χρήση μνήμης. Επιπρόσθετα, προτείνουμε μια τεχνική δειγματοληψίας που επιτρέπει την ανάκτηση του ενδιαφέροντος κομματιού ενός ρεύματος κοινωνικής δραστηριότητας που η εξ ολοκλήρου διαχείρισή του είναι αδύνατη εξαιτίας του όγκου του. Τέλος, εκμεταλλευόμαστε τα διαθέσιμα δεδομένα ενός δημοφιλούς ιστοχώρου κοινωνικής δικτύωσης ώστε να αξιολογήσουμε εμπειρικά ένα ευρέως διαδεδομένο μοντέλο διαμόρφωσης γνώμης, χρησιμοποιώντας έναν κατανεμημένο αλγόριθμο.

show abstract