Multi-Objective Evolutionary Optimization Algorithms for Machine Learning: A Recent Survey

Alexandropoulos, Stamatios-Aggelos N.; Aridas, Christos K.; Kotsiantis, Sotiris; Vrahatis, Michael N.

doi:10.1007/978-3-030-12767-1_4

Cited by 34 publications

(13 citation statements)

References 102 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Models were trained using a random 80% sample of the annotated dataset, with the remaining 20% used to form a validation dataset (Alexandropoulos et al, 2019). Training performance was then measured against the validation set to monitor for overfitting.…”

Section: Model Validation and Performance Curvementioning

confidence: 99%

See 1 more Smart Citation

Automating the Analysis of Fish Abundance Using Object Detection: Optimizing Animal Ecology With Deep Learning

et al. 2020

View full text Add to dashboard Cite

Aquatic ecologists routinely count animals to provide critical information for conservation and management. Increased accessibility to underwater recording equipment such as action cameras and unmanned underwater devices has allowed footage to be captured efficiently and safely, without the logistical difficulties manual data collection often presents. It has, however, led to immense volumes of data being collected that require manual processing and thus significant time, labor, and money. The use of deep learning to automate image processing has substantial benefits but has rarely been adopted within the field of aquatic ecology. To test its efficacy and utility, we compared the accuracy and speed of deep learning techniques against human counterparts for quantifying fish abundance in underwater images and video footage. We collected footage of fish assemblages in seagrass meadows in Queensland, Australia. We produced three models using an object detection framework to detect the target species, an ecologically important fish, luderick (Girella tricuspidata). Our models were trained on three randomized 80:20 ratios of training:validation datasets from a total of 6,080 annotations. The computer accurately determined abundance from videos with high performance using unseen footage from the same estuary as the training data (F1 = 92.4%, mAP50 = 92.5%) and from novel footage collected from a different estuary (F1 = 92.3%, mAP50 = 93.4%). The computer's performance in determining abundance was 7.1% better than human marine experts and 13.4% better than citizen scientists in single image test datasets, and 1.5 and 7.8% higher in video datasets, respectively. We show that deep learning can be a more accurate tool than humans at determining abundance and that results are consistent and transferable across survey locations. Deep learning methods provide a faster, cheaper, and more accurate alternative to manual data analysis methods currently used to monitor and assess animal abundance and have much to offer the field of aquatic ecology.

show abstract

Section: Model Validation and Performance Curvementioning

confidence: 99%

“…The 80/20 validation test is an established method in machine learning to assess the expected performance of the final model (Alexandropoulos et al, 2019). However, using deep learning to answer ecological questions requires another testing procedure to accurately reflect the usability of the model when analyzing new data.…”

Section: Model Performancementioning

confidence: 99%

Automating the Analysis of Fish Abundance Using Object Detection: Optimizing Animal Ecology With Deep Learning

et al. 2020

View full text Add to dashboard Cite

show abstract

“…There are many issues in the real-world applications today that require finding similar samples. Usually, we can solve such a problem by finding the nearest neighbor to an item in some dimensional space [39]. This solution looks easy, but when the dataset is massive and the instances are too interfered and complicated, the time required for processing is increasing linearly with the number of instances and the complexity of the classes inside the dataset.…”

Section: B Locality Sensitive Hashing (Lsh)mentioning

confidence: 99%

An Imbalanced Big Data Mining Framework for Improving Optimization Algorithms Performance

et al. 2019

View full text Add to dashboard Cite

Big data is an important factor almost in all nowadays technologies, such as, social media, smart cities, and internet of things. Most of standard classifiers tends to be trapped in local optima problem when dealing with such massive datasets. Hence, investigating new techniques for dealing with such massive data sets is required. This paper presents a novel imbalanced big data mining framework for improving optimization algorithms performance by eliminating the local optima problem consists of three main stages. Firstly, the preprocessing stage, which uses the LSH-SMOTE algorithm for solving the class imbalance problem, then it uses the LSH algorithm for hashing the data set instances into buckets. Secondly, the bucket search stage, which uses the GWO for training bidirectional recurrent neural network BRNN and searching for the global optimum in each bucket. Lastly, the final tournament winner stage, which uses the GWO+BRNN for finding the global optimum of the whole data set among all global optimums from all buckets. Our proposed framework LSHGWOBRNN has been tested over 9 data sets one of them is big data set in terms of AUC, MSE, against seven well-known machine-learning algorithms (Naive Bayes, Random Tree, Decision Table , and AdaBoostM1, WOA+MLP, GWO+MLP, and WOA+BRNN), then, we tested our algorithm over four well-known data sets against GWO+MLP, ACO+MLP, GA+MLP, PSO+MLP, PBIL+MLP, and ES+MLP in terms of classification accuracy and MSE. Our experimental results have proved that our proposed framework LSHGWOBRNN has provided high local optima avoidance, and higher accuracy, less complexity and overhead.INDEX TERMS Grey wolf optimizer, neural network, big data mining, deep learning, imbalanced data sets, optimization.

show abstract

“…Στο Κεφάλαιο 7, παρουσιάζονται πρόσφατες εξελικτικές προσεγγίσεις πολλαπλών αντικειµένων για τέσσερις ϐασικές διεργασίες της Εξόρυξης ∆εδοµένων και Μηχανικής Μάθησης [8], και συγκεκριµένα, αφορούν : (α) την προεπεξεργασία των δεδοµένων, (ϐ) το πρόβληµα της ταξινόµησης, (γ) το πρόβληµα της οµαδοποίησης δεδοµένων και (δ) τους κανόνες συσχέτισης. Μέσα από αυτό το κεφάλαιο σκιαγραφούνται ϐασικές τοµές µεταξύ των επιστηµονικών πεδίων της Βελτιστοποίησης, της Υπολογιστικής Νοηµοσύνης και της Μηχανικής Μάθησης.…”

Section: σύνοψηunclassified

“…-objective evolutionary optimization) ϐοηθάει τους αλγορίθµους Μηχανικής Μάθησης να ϐελτιστοποιούν τις υπερ-παραµέτρους (hyper-parameters) τους, συνήθως κάτω από αντικρουόµενες αντικειµενικές συνιστώσες και συµβάλλει στην επιλογή του καλύτερου µοντέλου για το δοθέν πρόβληµα. Στην παρούσα έρευνα[8], εξετάζονται πρόσφατες εξελικτικές προσεγγίσεις πολλαπλών αντικειµένων για τέσσερις ϐασικές διεργασίες της Εξόρυξης ∆εδοµένων και Μηχανικής Μάθησης, και συγκεκριµένα, αφορούν : (α) την προεπεξεργασία των δεδοµένων (data preprocessing), (ϐ) το πρόβληµα της ταξινόµησης (classification), (γ) την εργασία της οµαδοποίησης (clustering) δεδοµένων και (δ) τους κανόνες συσχέτισης (association rules). Ο χώρος αναζήτησης των λύσεων µπορεί να είναι µεγάλος, οπότε και η διαστασιµότητα του προβλήµατος αυξάνεται µε παρόµοιο τρόπο.…”

unclassified

Ανάπτυξη Και Θεμελίωση Νέων Μεθόδων Υπολογιστικών Μαθηματικών Στην Υπολογιστική Νοημοσύνη

Alexandropoulos¹

View full text Add to dashboard Cite

Δύο πολύ σημαντικά επιστημονικά πεδία, αυτά της Υπολογιστικής Νοημοσύνης και των Υπολογιστικών Μαθηματικών, ενδείκνυνται για την αποτελεσματική και αποδοτική αντιμετώπιση σύνθετων προβλημάτων του πραγματικού κόσμου. Ένα ευρύ φάσμα μεθόδων και τεχνικών, έχει αναπτυχθεί με βάση τα δύο προαναφερθέντα επιστημονικά πεδία, συγκεντρώνοντας την προσοχή της επιστημονικής κοινότητας. Αυτό που παρατηρείται συχνά είναι αλγόριθμοι και τεχνικές, που είναι προσαρμοσμένες σε ένα συγκεκριμένο πρόβλημα, δίχως να είναι σε θέση να ανταποκριθούν το ίδιο καλά σε άλλα, παρόμοια προβλήματα. Η "συνεργασία" των δύο παραπάνω επιστημονικών τομέων δύναται να παράσχει αλγορίθμους με μαθηματική θεμελίωση για την αξιόπιστη αντιμετώπιση μιας πληθώρας συγγενικών προβλημάτων. Οι αλγόριθμοι και τα μοντέλα που συναντώνται στον τομέα της Υπολογιστικής Νοημοσύνης και έχουν τις βάσεις τους σε μεθόδους των Υπολογιστικών Μαθηματικών (Αριθμητικής Επίλυσης Συνήθων Διαφορικών Εξισώσεων), αποτελούν ένα σημαντικό μέρος αυτής της διατριβής. Η Υπολογιστική Νοημοσύνη, σαν νέος επιστημονικός κλάδος, περιγράφει υπολογιστικές μεθόδους που εμπνέονται από φυσικά και βιολογικά συστήματα και δύναται να συνδυάσει επιστημονικούς τομείς, όπως τα Υπολογιστικά Μαθηματικά και την Επιστήμη των Υπολογιστών, με αρκετές επεκτάσεις και εφαρμογές σχεδόν σε όλους τους τομείς των θετικών επιστημών και όχι μόνο. Πολλές και διαφορετικές εφαρμογές που άπτονται σε αρκετούς τομείς της έρευνας και της τεχνολογίας εμφανίζονται ή μπορούν να αντιμετωπιστούν ως προβλήματα Βελτιστοποίησης. Αρκετές μέθοδοι της Υπολογιστικής Νοημοσύνης αναφέρονται σε μια ειδική κλάση μεθόδων βελτιστοποίησης που περιλαμβάνει τη μελέτη και τη θεμελίωση υπολογιστικών μεθόδων, οι οποίες αντιμετωπίζουν αποτελεσματικά, δύσκολα προβλήματα του φυσικού κόσμου. Οι μέθοδοι αυτοί είναι πολύ σημαντικές, καθώς προσεγγίζουν προβλήματα Βελτιστοποίησης χωρίς περιορισμούς, κάτι που συναντάται συχνότερα στα περισσότερα προβλήματα της τεχνολογίας. Ακόμα, λόγω του εύρους των εφαρμογών, και κυρίως της ανάπτυξης νέων τεχνολογιών, έχουν αναπτυχθεί προβλήματα που επιζητούν λύση και άπτονται σε διαφορετικά είδη Βελτιστοποίησης, όπως η πολυ-αντικειμενική ή Βελτιστοποίηση με περιορισμούς. Για τον χειρισμό αυτών των δύσκολων προβλημάτων, χρησιμοποιούνται μέθοδοι της Υπολογιστικής Νοημοσύνης και συγκεκριμένα, τεχνικές και αλγόριθμοι που ανήκουν στον τομέα της Μηχανικής Μάθησης και των Τεχνητών Νευρωνικών Δικτύων. Στα πλαίσια της παραπάνω συνεργατικής αντιμετώπισης, είναι απαραίτητη η μελέτη των προαπαιτούμενων αυτών των αλγορίθμων. Έτσι, πριν την εφαρμογή αυτών των τεχνικών, είναι αναγκαία η προεργασία και προετοιμασία του διαθέσιμου συνόλου δεδομένων, προκειμένου να δημιουργηθούν αξιόπιστα μοντέλα, με καλή απόδοση και καλή ικανότητα γενίκευσης. Κατόπιν, αυτές οι μέθοδοι μπορούν να εφαρμοστούν και να αντιμετωπίσουν προβλήματα που άπτονται σε αρκετούς τομείς της επιστήμης, όπως η μηχανική, η φυσική, η βιολογία, τα μαθηματικά, η ιατρική, η επιστήμη των υπολογιστών, η βιομηχανία, η μουσική, η οικονομία, η κρυπτογραφία κ.ά. Στη σύγχρονη βιβλιογραφία, παρουσιάζεται ένα τεράστιο πλήθος αλγορίθμων και τεχνικών που άπτονται στις παραπάνω κατευθύνσεις. Παρόλα αυτά, η πλειοψηφία τους αφορά ένα συγκεκριμένο πλαίσιο, το οποίο είναι προσαρμοσμένο στις ανάγκες του εκάστοτε προβλήματος. Συνήθως περιορίζονται σε στατιστικά μοντέλα και σε παραμέτρους που πληρούν ένα συγκεκριμένο πρόβλημα, αποκλείοντας, έτσι, την επιτυχή εφαρμογή σε οποιοδήποτε άλλο πρόβλημα, ή ακόμα και στο ίδιο πρόβλημα με διαφορετικές ανάγκες. Μια αξιόπιστη λύση σε αυτό το μείζον ζήτημα παρέχεται μέσω της ανάπτυξης αλγορίθμων με μαθηματική θεμελίωση και μαθηματική απόδειξη. Ένας αλγόριθμος με ισχυρό μαθηματικό υπόβαθρο μπορεί να χρησιμοποιηθεί σε περισσότερες εφαρμογές με μεγαλύτερη επιτυχία. Προς αυτή την κατεύθυνση στηρίζεται ο πυρήνας της διδακτορικής διατριβής, δηλαδή στη μαθηματική θεμελίωση αλγοριθμικών τεχνικών, οι οποίες θα απευθύνονται σε μια πλειάδα προβλημάτων, καλύπτοντας, έτσι, υπαρκτά κενά στην επιστημονική βιβλιογραφία ως προς την Υπολογιστική Νοημοσύνη και τα Υπολογιστικά Μαθηματικά. Πιστεύουμε και προσδοκούμε ότι τα αποτελέσματα της διατριβής θα συνεισφέρουν στη δημιουργία αξιόπιστων μεθόδων, οι οποίες, μεταξύ άλλων, θα δώσουν τη δυνατότητα σε επιστήμονες άλλων περιοχών ως προς την αξιόπιστη αντιμετώπιση μεγάλης κλίμακας και πολυπλοκότητας προβλημάτων, τα οποία, συχνά, εμφανίζονται σε πολλούς επιστημονικούς, οικονομικούς, βιομηχανικούς και εμπορικούς τομείς με προφανή οφέλη. Συγκεκριμένα, η διδακτορική διατριβή ξεκινά με μια σύντομη εισαγωγή στο Κεφάλαιο 1, στην οποία ο αναγνώστης συναντά τις βασικές πτυχές της Υπολογιστικής Νοημοσύνης, των Υπολογιστικών Μαθηματικών, καθώς και σημαντικά σημεία της Βελτιστοποίησης και Μηχανικής Μάθησης. Στο Κεφάλαιο 2, παρουσιάζονται πολύ σημαντικά ζητήματα της Μαθηματικής Βελτιστοποίησης και αναλυτικότερα, αποτελέσματα που σχετίζονται με το γνωστό θεώρημα "No free lunch theorems for optimization" αλλά και την πιθανή ύπαρξη "Free lunches". Στο επόμενο κεφάλαιο, ο αναγνώστης συναντά την ανάπτυξη μιας νέας οικογένειας μεθόδων Βελτιστοποίησης, όπως αυτή εμπνεύστηκε από τις δυναμικές τροχιές ανίχνευσης των Snymam-Fatti και τις μεθόδους Runge-Kutta για την αριθμητική επίλυση συνήθων διαφορικών εξισώσεων. Επίσης, ο αγνώστης μπορεί να μελετήσει το προτεινόμενο θεώρημα μέσω του οποίου τεκμηριώνεται αυτή η οικογένεια, όπως και τη σχετική απόδειξη. Το Κεφάλαιο 4 καταπιάνεται με πτυχές της Μηχανικής Μάθησης, και συγκεκριμένα με τα προαπαιτούμενα των αλγορίθμων (προεπεξεργασία των δεδομένων), ώστε αργότερα να μπορούν αυτοί να εφαρμοστούν αποτελεσματικά σε διάφορα προβλήματα, όπως αυτό της ελαχιστοποίησης, της ταξινόμησης κ.ά. Στο κεφάλαιο που ακολουθεί, παρουσιάζεται μια νέα, υβριδική μέθοδος για την αντιμετώπιση του προβλήματος αναγνώρισης ακραίων τιμών σε ένα σύνολο δεδομένων, όπως και οι σχετικές συγκρίσεις αυτής της μεθόδου με γνωστές και ευρέως χρησιμοποιούμενες μεθόδους αυτής της κατηγορίας. Στο Κεφάλαιο 6, αναπτύσσεται μια συνεργατική μέθοδος για την προσέγγιση του προβλήματος ταξινόμησης σε ποικίλα σύνολα δεδομένων, μαζί με τα αντίστοιχα αποτελέσματα και τις συγκρίσεις που διεξήχθησαν. Ακόμα, στο Κεφάλαιο 7, αναλύονται βασικά ζητήματα της πολυ-αντικειμενικής Βελτιστοποίησης, χαρτογραφούνται οι περιοχές εφαρμογής της, όπως και οι αλγόριθμοι Υπολογιστικής Νοημοσύνης, οι οποίοι χρησιμοποιούνται για την προσέγγιση τέτοιων προβλημάτων. Η διδακτορική διατριβή ολοκληρώνεται με το Κεφάλαιο 8, στο οποίο ο αναγνώστης συναντά μια σύνοψη, χρήσιμα συμπεράσματα, όπως και μελλονικές ερευνητικές προσπάθειες.

show abstract

Multi-Objective Evolutionary Optimization Algorithms for Machine Learning: A Recent Survey

Cited by 34 publications

References 102 publications

Automating the Analysis of Fish Abundance Using Object Detection: Optimizing Animal Ecology With Deep Learning

Automating the Analysis of Fish Abundance Using Object Detection: Optimizing Animal Ecology With Deep Learning

An Imbalanced Big Data Mining Framework for Improving Optimization Algorithms Performance

Ανάπτυξη Και Θεμελίωση Νέων Μεθόδων Υπολογιστικών Μαθηματικών Στην Υπολογιστική Νοημοσύνη

Contact Info

Product

Resources

About