Tagging and classifying facial images in cloud environments based on KNN using MapReduce

Kai, Sun; Kang, Hoon; Park, Ho-Hyun

doi:10.1016/j.ijleo.2015.07.080

Cited by 23 publications

(12 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…When focused on pure classification, the MapReduce process can be greatly simplified because it is not necessary to provide the k nearest neighbors themselves, but rather their classes. In [27], an iterative Hadoop MapReduce process (iHMR-kNN) was presented for kNN based image classification. This approach iteratively performs MapReduce for every single test instance, with the consequent time consumption of Hadoop-based systems for iterations.…”

Section: A C C E P T E D Mmentioning

confidence: 99%

“…Two main approaches have been presented so far, and they are both focused on using the Map phase to split the training data in m disjoint parts. The former was presented in [27], and it proposes iteratively repeating a MapReduce process (without an explicitly defined reduce function) for each…”

Section: Accepted Manuscriptmentioning

confidence: 99%

“…• As in [28] and [27], a MapReduce process will split the training dataset, as it is usually the biggest dataset, into m tasks. In contradistinction to kNN-join approaches that need m 2 tasks, we reduce the complexity of kNN to m tasks without requiring any preprocessing in advanced.…”

Section: Knn-is: An Iterative Spark-based Design Of the Knn Classifiementioning

confidence: 99%

See 2 more Smart Citations

kNN-IS: An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data

Maillo

Ramírez

Triguero

et al. 2017

Knowledge-Based Systems

256

126

View full text Add to dashboard Cite

A note on versions:The version presented here may differ from the published version or from the version of record. If you wish to cite this item you are advised to consult the publisher's version. Please see the repository url above for details on accessing the published version and note that access may require a subscription. This is a PDF file of an unedited manuscript that has been accepted for publication. As a service to our customers we are providing this early version of the manuscript. The manuscript will undergo copyediting, typesetting, and review of the resulting proof before it is published in its final form. Please note that during the production process errors may be discovered which could affect the content, and all legal disclaimers that apply to the journal pertain.ACCEPTED MANUSCRIPT A C C E P T E D M A N U S C R I P T AbstractThe k-Nearest Neighbors classifier is a simple yet effective widely renowned method in data mining. The actual application of this model in the big data domain is not feasible due to time and memory restrictions. Several distributed alternatives based on MapReduce have been proposed to enable this method to handle large-scale data. However, their performance can be further improved with new designs that fit with newly arising technologies.In this work we provide a new solution to perform an exact k-nearest neighbor classification based on Spark. We take advantage of its in-memory operations to classify big amounts of unseen cases against a big training dataset. The map phase computes the k-nearest neighbors in different training data splits. Afterwards, multiple reducers process the definitive neighbors from the list obtained in the map phase. The key point of this proposal lies on the management of the test set, keeping it in memory when possible. Otherwise, it is split into a minimum number of pieces, applying a MapReduce per chunk, using the caching skills of Spark to reuse the previously partitioned * Corresponding author. ACCEPTED MANUSCRIPT A C C E P T E D M A N U S C R I P T training set. In our experiments we study the differences between Hadoop and Spark implementations with datasets up to 11 million instances, showing the scaling-up capabilities of the proposed approach. As a result of this work an open-source Spark package is available.

show abstract

Section: A C C E P T E D Mmentioning

confidence: 99%

Section: Accepted Manuscriptmentioning

confidence: 99%

See 1 more Smart Citation

kNN-IS: An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data

Maillo

Ramírez

Triguero

et al. 2017

Knowledge-Based Systems

256

126

View full text Add to dashboard Cite

show abstract

“…Belə tədqiqatlar rəqabət üçün əsasdır, çünki standart alətlər və prosedurlar böyük məlumat yığınlarının emalı üçün nəzərdə tutulmamışdır. Bundan başqa, təsvirlər mürəkkəb çoxölçülü strukturludur və tanıma üçün mükəmməl hesablama texnologiyaları tələb edir [5].…”

Section: İsti̇fadəçi̇ləri̇n Si̇fəti̇nə Görə Taninmasi Vasi̇təsi̇lə Təhlüunclassified

Hesablama buludlarında istifadəçilərin biometrik autentifikasiyası üsullarının analizi

Mahmudova¹

2017

İnformasiya Təhlükəsizliyinin Aktual Problemləri III Respublika Elmi-Praktiki Seminarının Materialları

View full text Add to dashboard Cite

Xülasə-Müasir dövrdə hesablama buludlarından müxtəlif sahələrdə geniş istifadə olunur. Hesablama buludlarında istifadəçilərin təhlükəsizliyinin təmin edilməsi əsas problemlərdən biridir. Bu işdə hesablama buludlarında təhlükəsizliyin təmin edilməsində biometrik autentifikasiya üsullarından biri olan insanın sifət təsvirlərinə əsasən tanınması üsulları izah edilmişdir. Bu sahədə olan problemlər araşdırılmışdır.Açar sözlər-hesablama buludları, təhlükəsizlik, autentifikasiya, tanınma, sifət təsvirləri, biometrik əlamətlər I. GİRİŞ Hesablama buludu (cloud computing) kompüter texnologiyalarının infrastrukturunun və proqram təminatının bilavasitə şəbəkə mühitində yaradılmasını və istifadə edilməsini təmin edir. Bunların köməyi ilə istifadəçinin məlumatları bulud sistemlərində saxlanılır, emal edilir və nəticələrə baxılması təmin edilir [1].Hesablama buludları yeni texnologiyadır. İstifadəçi İnternetdən istifadə edərək istənilən yerdən hesablama buludlarında yerləşdirilən öz fayllarına və ya məlumatlarına giriş əldə edə bilir. Hesablama buludlarından istifadənin öz üstünlükləri vardır, məsələn, istifadə olunma qabiliyyətinin yüksək olması, xərclərin az olması və s. Amma, digər tərəfdən bu sahədə təhlükəsizliyin təmin olunmasının bəzi problemləri mövcuddur. Bu haldan biri də icazəli istifadəçinin buluddan istifadə edən zaman tanınmasıdır, belə ki, istifadəçinin hesablama buluduna giriş əldə etməsi üçün autentifikasiyası təmin olunmalıdır [2]. Autentifikasiya -istifadəçi tərəfindən təqdim edilmiş eyniləşdirmə məlumatlarının həqiqiliyinin yoxlanması prosesidir.Hesablama buludlarında istifadəçilərin biometrik autentifikasiya üsullarından istifadə olunur. Bunlardan biri də sifətin tanınması vasitəsilə təhlükəsizliyin təmin olunmasıdır.İşdə biometrik autentifikasiya üsulu kimi istifadəçilərin sifətinə görə tanınması vasitəsilə təhlükəsizliyin təmin olunması məsələlərinə baxılmışdır. Hesablama buludlarında insanın sifət təsvirlərinə əsasən tanınması üçün mövcud metodlar analiz edilmiş və bu sahədə olan problemlər araşdırılmışdır.Şəxsin üzünün tanınması vasitəsilə təhlükəsizliyin təmin edilməsi tədqiqatçıların diqqətini cəlb etmişdi. O tədqiqatların böyük sahəsini əhatə edir. Şəxslərin üzləri vasitəsilə tanınması hüquq-mühafizə orqanlarına böyük kömək edir və onların işində uğurla tətbiq olunur. Polislərin məlumat bazasından şübhəlilərin təsvirlərinə əsasən avtomatik tapılması polisə potensial şübhəli şəxsləri tez zamanda tanımağa kömək edir. Şəxslərin üzlərinə görə tanınmasının proqram təminatında real vaxtda cavab tələb edilir və onu mobil qurğuda tətbiq edir, portativliyi (kompakt) təmin edir.Son dövrlərdə mobil hesablama buludlarından (MHB) (Mobile Cloud Computing, MCC) da geniş istifadə olunur. MHB-nin artması və şəbəkənin keçirtmə qabiliyyətinin dinamik olması mobil müştərilərin resurslara əlçatan və mühitə uyğunlaşmaq ehtiyacının meydana çıxmasına səbəb olur. Bunlar böyük məlumatlar vasitəsilə emal edilə bilir və bu işdə hesablama buludlarının imkanlarından istifadə edilir [3].MHB-də mobil qurğulardan istifadə etdikdə ç...

show abstract

“…Several distributed alternatives have been proposed to enable k-NN to handle big data [8], [9]. Most of them are based on the MapReduce [10] programming paradigm, and its opensource implementation in Hadoop, to transparently parallelise the k-NN processing, alleviating memory and computational cost limitations.…”

Section: Introductionmentioning

confidence: 99%

From Big Data to Smart Data with the K-Nearest Neighbours Algorithm

Triguero

Maillo

Luengo

et al. 2016

2016 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and I

View full text Add to dashboard Cite

Abstract-The k-nearest neighbours algorithm is one of the most widely used data mining models because of its simplicity and accurate results. However, when it comes to deal with big datasets, with potentially noisy and missing information, this technique becomes ineffective and inefficient. Due to its drawbacks to tackle large amounts of imperfect data, plenty of research has aimed at improving this algorithm by means of data preprocessing techniques. These weaknesses have turned out as strengths and the k-nearest neighbours rule has become a core model to actually detect and correct imperfect data, eliminating noisy and redundant data, as well as correcting missing values.In this work, we delve into the role of the k nearest neighbour algorithm to come up with smart data from big datasets. We analyse how this model is affected by the big data problem, but at the same time, how it can be used to transform raw data into useful data. Concretely, we discuss the benefits of recent big data technologies (Hadoop and Spark) to enable this model to address large amounts of data, as well as the usefulness of prototype reduction and missing values imputation techniques based on it. As a result, guidelines on the use of the k-nearest neighbour to obtain Smart data are provided and new potential research trends are drawn.

show abstract

Tagging and classifying facial images in cloud environments based on KNN using MapReduce

Cited by 23 publications

References 13 publications

kNN-IS: An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data

kNN-IS: An Iterative Spark-based design of the k-Nearest Neighbors classifier for big data

Hesablama buludlarında istifadəçilərin biometrik autentifikasiyası üsullarının analizi

From Big Data to Smart Data with the K-Nearest Neighbours Algorithm

Contact Info

Product

Resources

About