A distributed proximal gradient descent method for tensor completion

Papastergiou, Thomas; Megalooikonomou, Vasileios

doi:10.1109/bigdata.2017.8258152

Cited by 11 publications

(8 citation statements)

References 21 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…For calculating the CP decomposition, we exploit the well-known Alternating Least Squares (ALS) method [30] when we deal with a full-value problem, and the two Proximal methods proposed in [31] when we deal with missing value problems. The methods proposed in [31]-Gen-ProxSGD (nondistributed) and StrProxSGD (distributed, suitable for big data)-tackle the optimization problem in (2) by solving local minimization problems rather than solving the entire problem at once.…”

Section: Complexitymentioning

confidence: 99%

“…In this experiment, we computed the accuracy and the AUC of the proposed method against state-of-the-art MIL algorithms. We report results for each of the algorithms employing the features extracted by Kandemir et al [4], and features extracted by the proposed method computing the PARAFAC decomposition from full values using the ALS algorithm [30] and from 10% randomly selected observed values using the StrProxSGD algorithm [31]. We should note here that the features extracted by Kandemir et al [4] are applicationspecific in contrast to our extracted features that are problem-independent and can be obtained directly from any raw multidimensional data with the same procedure.…”

Section: Breast Cancer Diagnosis From Histopathology Imagesmentioning

confidence: 99%

“…Let us note here that the extraction of the hand-crafted features in [4] cannot be currently reproduced for data with missing values because the code for the feature extraction is not provided. Thus, for the missing values experiment, we compare only with the features extracted by StrProxSGD [31].…”

Section: Breast Cancer Diagnosis From Histopathology Imagesmentioning

confidence: 99%

See 2 more Smart Citations

Tensor Decomposition for Multiple‐Instance Classification of High‐Order Medical Data

2018

View full text Add to dashboard Cite

Multidimensional data that occur in a variety of applications in clinical diagnostics and health care can naturally be represented by multidimensional arrays (i.e., tensors). Tensor decompositions offer valuable and powerful tools for latent concept discovery that can handle effectively missing values and noise. We propose a seamless, application-independent feature extraction and multiple-instance (MI) classification method, which represents the raw multidimensional, possibly incomplete, data by means of learning a high-order dictionary. The effectiveness of the proposed method is demonstrated in two application scenarios: (i) prediction of frailty in older people using multisensor recordings and (ii) breast cancer classification based on histopathology images. The proposed method outperforms or is comparable to the state-of-the-art multiple-instance learning classifiers highlighting its potential for computer-assisted diagnosis and health care support.

show abstract

Section: Complexitymentioning

confidence: 99%

Section: Breast Cancer Diagnosis From Histopathology Imagesmentioning

confidence: 99%

See 1 more Smart Citation

Tensor Decomposition for Multiple‐Instance Classification of High‐Order Medical Data

2018

View full text Add to dashboard Cite

show abstract

“…Works that employ Stochastic Gradient Descent (SGD) on shared memory and distributed systems for sparse tensor factorization and completion include [19], [20], [21], [22]. In [19], the authors describe a TC approach which uses the CPD model and employs a proximal SGD algorithm, that can be implemented in a distributed environment.…”

Section: Introductionmentioning

confidence: 99%

Accelerated Stochastic Gradient for Nonnegative Tensor Completion and Parallel Implementation

Siaminou¹,

Papagiannakos²,

Kolomvakis³

et al. 2021

Preprint

View full text Add to dashboard Cite

We consider the problem of nonnegative tensor completion. We adopt the alternating optimization framework and solve each nonnegative matrix completion problem via a stochastic variation of the accelerated gradient algorithm. We experimentally test the effectiveness and the efficiency of our algorithm using both real-world and synthetic data. We develop a shared-memory implementation of our algorithm using the multithreaded API OpenMP, which attains significant speedup. We believe that our approach is a very competitive candidate for the solution of very large nonnegative tensor completion problems.

show abstract

“…Αναφέρουμε και συγκρίνουμε τα αποτελέσματα, για κάθε έναν από τους αλγορίθμους, χρησιμοποιώντας τόσο τα χαρακτηριστικά που εξήγαγαν, για το συγκεκριμένο σύνολο δεδομένων, οι Kandemir κ.α [50],. όσο και τα χαρακτηριστικά που εξάγουμε με την προτεινόμενη μέθοδο, υπολογίζοντας την αποδόμηση CP τόσο από πλήρες τιμές μέσω του ALS όσο και από 10% τυχαία παρατηρούμενες τιμές με τον αλγόριθμο StrProxSGD[130]. Ο βαθμός της τανυστικής αποδόμησης CP επιλέχθηκε πειραματικά να είναι 𝑅 = 120.Πίνακας 2: Η…”

unclassified

Κατανεμημένη Τανυστική Αποδόμηση Στη Μηχανική Μάθηση Για Πλήρως Ή Μερικώς Παρατηρούμενα Πολυδιάστατα Δεδομένα Μεγάλου Όγκου

Papastergiou¹

View full text Add to dashboard Cite

Στην παρούσα διδακτορική διατριβή προτείνουμε έναν βασικό αλγόριθμο, τον GenProxSGD, για τον υπολογισμό μιας CANDECOM/PARAFAC (CP) αποδόμησης από μερικώς παρατηρούμενα δεδομένα, ο οποίος βασίζεται στον τελεστή εγγύτητας και αντιμετωπίζει το πρόβλημα βελτιστοποίησης λύνοντας τοπικά προβλήματα βελτιστοποίησης, με την έννοια ότι σε κάθε επανάληψη υπολογίζεται ένα σημείο το οποίο να είναι σε εγγύτητα με το προηγούμενο σημείο, αλλά να οδηγεί προς το ελάχιστο της αντικειμενικής συνάρτησης. Επιπλέον, προτείνουμε δύο κατανεμημένους αλγορίθμους, τους ParallelProxSGD και StrProxSGD, που βασίζονται στον τελεστή εγγύτητας και στην παραπάνω ιδέα, για τον υπολογισμό μιας CP αποδόμησης από μερικώς παρατηρούμενα δεδομένα. Οι αλγόριθμοι αυτοί είναι κατάλληλοι και αξιολογήθηκαν σε δεδομένα μεγάλου όγκου. Δείξαμε πειραματικά ότι οι αλγόριθμοι αυτοί έχουν πολύ καλές ιδιότητες κλιμάκωσης ως προς διάφορες παραμέτρους (διαστατικότητα, βαθμός αποδόμησης, επιτάχυνση (speed-up) κ.τ.λ.). Στη συνέχεια, προτείνουμε έναν αλγόριθμο κατηγοριοποίησης για Μάθηση Πολλαπλών Στιγμιότυπων, τον TensMIL. Στον TensMIL προτείνουμε μια νέα αναπαράσταση των δεδομένων με τανυστές 3ης τάξης, και μια μέθοδο για τον υπολογισμό χαρακτηριστικών με CP αποδόμηση σε επίπεδο στιγμιότυπων, τόσο από πλήρως όσο και από μερικώς παρατηρούμενα δεδομένα. Ο TensMIL αναπτύσσεται σε δύο φάσεις. Στην πρώτη φάση, μια μη γραμμική παλινδρόμηση υπολογίζει την απόκριση των στιγμιότυπων, ενώ στη δεύτερη φάση υπολογίζονται οι κατανομές των αποκρίσεων ανά αντικείμενο και εκπαιδεύεται ένας QDA ταξινομητής. Με τη βοήθεια του TensMIL, επιλύσαμε δύο προβλήματα με εντελώς διαφορετική φύση μεταξύ τους: την κατηγοριοποίηση ιστοπαθολογικών εικόνων καρκίνου του μαστού σε κακοήθεις και καλοήθεις, καθώς και την εκτίμηση της ευθραυστότητας (frailty) ηλικιωμένων ατόμων από πολυδιάστατα σήματα παρακολούθησης, που περιλαμβάνουν επιταχυνσιόμετρα, καρδιογράφημα και παρακολούθηση της αναπνευστικής λειτουργίας. Και στις δύο περιπτώσεις, αξιολογήσαμε τον αλγόριθμο τόσο από πλήρως όσο και από μερικώς (10% των δεδομένων) παρατηρούμενα δεδομένα με συγκρίσιμα αποτελέσματα σε σχέση με αλγορίθμους αιχμής. Στη συνέχεια, επεκτείναμε και βελτιώσαμε τον αλγόριθμο TensMIL, προσθέτοντας περιορισμούς μη αρνητικότητας στην αποδόμηση CP καθώς και μια φάση επιλογής στιγμιότυπων, βασισμένη στα διαστήματα εμπιστοσύνης των αποκρίσεων της μη γραμμικής παλινδρόμησης. Ο νέος αυτός αλγόριθμος, TensMIL2, αξιολογήθηκε στην κατηγοριοποίηση φυσικών εικόνων άγριων ζώων, ένα σύνολο αναφοράς στη βιβλιογραφία της Μάθησης Πολλαπλών Στιγμιότυπων. Κατά τη πειραματική διαδικασία, συμπεράναμε ότι ο TensMIL2 έχει καλύτερη απόδοση από αλγόριθμους Μάθησης Πολλαπλών Στιγμιότυπων αιχμής καθώς και καλύτερη απόδοση από αλγόριθμους Μάθησης Πολλαπλών Στιγμιότυπων που βασίζονται στη βαθιά μηχανική μάθηση (deep learning). Η αξιολόγηση του TensMIL2 έγινε τόσο από πλήρως όσο και από μερικώς (10% των δεδομένων) παρατηρούμενα δεδομένα. Η πειραματική διαδικασία έδειξε, ότι στις περισσότερες των περιπτώσεων ο TensMIL2, όταν εφαρμόστηκε σε μερικώς παρατηρούμενα δεδομένα (10% παρατηρούμενες τιμές), είχε καλύτερη ή συγκρίσιμη απόδοση, σε σχέση με τους αλγορίθμους αιχμής όταν εφαρμοζόταν σε πλήρη δεδομένα. Επιπλέον, προτείνουμε μια τεχνική επιλογής στιγμιότυπων για αλγόριθμους Μάθησης Πολλαπλών Στιγμιότυπων που βασίζεται στο μέτρο της εντροπίας καθώς και μια τεχνική που βασίζεται στην ποιότητα της συσταδοποίησης, τις οποίες ενσωματώσαμε στον αλγόριθμο JC2MIL, ο οποίος δεν διέθετε κάποια διαδικασία επιλογής στιγμιότυπων. Τέλος, προτείνουμε και μια νέα διαδικασία εξαγωγής στιγμιότυπων και χαρακτηριστικών πολλαπλής κλίμακας, μέσω της αποδόμησης CP. Η αξιολόγηση όλων των προτεινόμενων τεχνικών έγινε χρησιμοποιώντας ως αλγόριθμο αναφοράς τον JC2MIL. Η πειραματική διαδικασία έδειξε ότι στις περισσότερες των περιπτώσεων, οι προτεινόμενες τεχνικές επιλογής στιγμιότυπων βελτίωσαν την απόδοση του JC2MIL.

show abstract

A distributed proximal gradient descent method for tensor completion

Cited by 11 publications

References 21 publications

Tensor Decomposition for Multiple‐Instance Classification of High‐Order Medical Data

Tensor Decomposition for Multiple‐Instance Classification of High‐Order Medical Data

Accelerated Stochastic Gradient for Nonnegative Tensor Completion and Parallel Implementation

Κατανεμημένη Τανυστική Αποδόμηση Στη Μηχανική Μάθηση Για Πλήρως Ή Μερικώς Παρατηρούμενα Πολυδιάστατα Δεδομένα Μεγάλου Όγκου

Contact Info

Product

Resources

About