Performance prediction of parallel computing models to analyze cloud-based big data applications

Shen, Chao; Tong, Weiqin; Choo, Kim‐Kwang Raymond; Kausar, Samina

doi:10.1007/s10586-017-1385-3

Cited by 12 publications

(9 citation statements)

References 23 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Сравнение результатов экспериментов с результатами других исследований [7][8][9][10] показывает, что полученные зависимости имеют аналогичный вид и соответствуют зависимостям для обычных параллельных и распределенных вычислительных систем, построенных на основе классических подходов [11,12], для суперкомпьютерных и облачных систем [13,14].…”

Section: результаты исследования и их обсуждениеunclassified

Ray Tracing on a Distributed Computer System Based on Objects of the Internet of Things

Eremin¹,

Stepanova²,

Proletarskiy³

2021

СНТ (MHT)

View full text Add to dashboard Cite

В работе представлено решение, позволяющее реализовать алгоритм трассировки лучей для получения изображений трехмерных объектов с использованием распределенной вычислительной системы на основе объектов Интернета вещей. На сегодняшний день вычислительные возможности встраиваемых систем, в том числе на основе объектов Интернета вещей, превышают таковые для классических параллельных и распределенных систем. Использование машинного обучения с подкреплением позволяет построить распределенную вычислительную систему на основе объектов Интернета вещей, таким образом, задействовать неиспользуемые или малоиспользуемые вычислительные мощности, что определяет актуальность данной работы. В качестве демонстрации функционирования такой системы рассмотрен алгоритм трассировки лучей, который имеет высокую степень распараллеливания, когда одна большая вычислительная задача может быть разделена на ряд независимых заданий, которые могут быть выполнены на ненадежных вычислительных узлах, реализованных на основе объектов Интернета вещей. Для проведения эксперимента был разработан стенд, на котором была продемонстрирована возможность использования объектов Интернета вещей для построения распределенной вычислительной системы, а также проведена оценка выполнения задачи трассировки лучей: общее время выполнения задачи в зависимости от количества вычислительных узлов, время выполнения одного задания при разном количестве вычислительных узлов, время выполнения задачи при фиксированном количестве вычислительных узлов в зависимости от размера формируемого изображения. Результаты экспериментов показали, что распределенная вычислительная система на основе объектов Интернета вещей демонстрирует показатели производительности, аналогичные классическим распределенным и параллельным системам. Ключевые слова: интернет вещей, трассировка лучей, распределенная вычислительная система, параллельные системы, обучение с подкреплением RAY tRAcInG on A DIstRIBUteD coMPUteR sYsteM BAseD on oBJects oF tHe InteRnet oF tHInGs

show abstract

Section: результаты исследования и их обсуждениеunclassified

Ray Tracing on a Distributed Computer System Based on Objects of the Internet of Things

Eremin¹,

Stepanova²,

Proletarskiy³

2021

СНТ (MHT)

View full text Add to dashboard Cite

show abstract

“…Furthermore, in this work we are not limiting our experiments to a single system or application component failure, rather we attempt to predict several failures across the entire infrastructure. For more comprehensive review on other literatures the reader is referred to [28][29][30][31][32][33][34][35][36], [47][48][49][50][51][52][53].…”

Section: Related Workmentioning

confidence: 99%

Failure prediction using machine learning in a virtualised HPC system and application

et al. 2019

View full text Add to dashboard Cite

Failure is an increasingly important issue in high performance computing and cloud systems. As large-scale systems continue to grow in scale and complexity, mitigating the impact of failure and providing accurate predictions with sufficient lead time remains a challenging research problem. Traditional existing fault-tolerance strategies such as regular checkpointing and replication are not adequate because of the emerging complexities of high performance computing systems. This necessitates the importance of having an effective as well as proactive failure management approach in place aimed at minimizing the effect of failure within the system. With the advent of machine learning techniques, the ability to learn from past information to predict future pattern of behaviours makes it possible to predict potential system failure more accurately. Thus, in this paper, we explore the predictive abilities of machine learning by applying a number of algorithms to improve the accuracy of failure prediction. We have developed a failure prediction model using time series and machine learning, and performed comparison based tests on the prediction accuracy. The primary algorithms we considered are the Support Vector Machine (SVM), Random Forest(RF), k-Nearest Neighbors (KNN), Classification and Regression Trees (CART) and Linear Discriminant Analysis (LDA). Experimental results indicates that the average prediction accuracy of our model using SVM when predicting fail

show abstract

“…Its aim is to evaluate the upper and lower limits of task completion time to predict job performance. In [25], the author proposed a performance evaluation model for parallel computing models deployed in cloud centers to support big data applications, such that a big data application is divided into lots of parallel tasks and the task arrivals follow a general distribution.…”

Section: Mobile Information Systemsmentioning

confidence: 99%

An Evaluation Model and Benchmark for Parallel Computing Frameworks

Fan

Han

Wang³

2018

Mobile Information Systems

View full text Add to dashboard Cite

MARS and Spark are two popular parallel computing frameworks and widely used for large-scale data analysis. In this paper, we first propose a performance evaluation model based on support vector machine (SVM), which is used to analyze the performance of parallel computing frameworks. Furthermore, we give representative results of a set of analysis with the proposed analytical performance model and then perform a comparative evaluation of MARS and Spark by using representative workloads and considering factors, such as performance and scalability. The experiments show that our evaluation model has higher accuracy than multifactor line regression (MLR) in predicting execution time, and it also provides a resource consumption requirement. Finally, we study benchmark experiments between MARS and Spark. MARS has better performance than Spark in both throughput and speedup in the executions of logistic regression and Bayesian classification because MARS has a large number of GPU threads that can handle higher parallelism. It also shows that Spark has lower latency than MARS in the execution of the four benchmarks.

show abstract

Performance prediction of parallel computing models to analyze cloud-based big data applications

Cited by 12 publications

References 23 publications

Ray Tracing on a Distributed Computer System Based on Objects of the Internet of Things

Ray Tracing on a Distributed Computer System Based on Objects of the Internet of Things

Failure prediction using machine learning in a virtualised HPC system and application

An Evaluation Model and Benchmark for Parallel Computing Frameworks

Contact Info

Product

Resources

About