Performance Evaluation of Container-Based Virtualization for High Performance Computing Environments

Xavier, Miguel G.; Neves, Marcelo Veiga; Rossi, Fábio Diniz; Ferreto, Tiago; Lange, Timoteo Alberto Peters; Rose, César A. F. De

doi:10.1109/pdp.2013.41

Cited by 366 publications

(183 citation statements)

References 8 publications

Supporting

Mentioning

147

Contrasting

Unclassified

Order By: Relevance

“…Indeed, in addition to isolation, container technologies offer fine-grained resource management and monitoring capabilities [16]. This means it is possible to collect the current resource usage and performance information, whatever the container runs, through a standard API, and hence offers to Enos a generic metrics collection mechanism that stands for every OpenStack service.…”

Section: B Enos Workflowmentioning

confidence: 99%

Toward a Holistic Framework for Conducting Scientific Evaluations of OpenStack

Cherrueau

Pertin²,

Simonet³

et al. 2017

2017 17th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID)

View full text Add to dashboard Cite

Abstract-By massively adopting OpenStack for operating small to large private and public clouds, the industry has made it one of the largest running software project, overgrowing the Linux kernel. However, with success comes increased complexity; facing technical and scientific challenges, developers are in great difficulty when testing the impact of individual changes on the performance of such a large codebase, which will likely slow down the evolution of OpenStack. Thus, we claim it is now time for the scientific community to join the effort and get involved in the development of OpenStack, like it has been once done for Linux.In this spirit, we developed Enos, an integrated framework that relies on container technologies for deploying and evaluating OpenStack on any testbed. Enos allows researchers to easily express different configurations, enabling fine-grained investigations of OpenStack services. Enos collects performance metrics at runtime and stores them for post-mortem analysis and sharing. The relevance of the Enos approach to reproducible research is illustrated by evaluating different OpenStack scenarios on the Grid'5000 testbed.

show abstract

Section: B Enos Workflowmentioning

confidence: 99%

Toward a Holistic Framework for Conducting Scientific Evaluations of OpenStack

Cherrueau

Pertin²,

Simonet³

et al. 2017

2017 17th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID)

View full text Add to dashboard Cite

show abstract

“…Согласно определению облачных технологий, данному NIST (Национальный институт стандартов и технологий США) [9], использование данного подхода не является строгим требованием и существует второй способ, использующий изолированные контейнеры (OpenVZ, LXC (Linux Containers), Docker) [10][11][12][13]. В каждом из этих подходов есть как свои преимущества, так и недостатки.…”

Section: технологии облачных вычисленийunclassified

“…При этом пользователи ограничены в выборе ОС только дистрибутивами семейства GNU/Linux, что в большинстве случаев рассматривается как существенный недостаток контейнерной виртуализации. В тоже время, существенный выигрыш в производительности позволяет в этом случае использовать ресурсы облака даже для высокопроизводительных вычислений [10]. В последние годы и такие крупные игроки на рынке облачных услуг, как Amazone и Azure, помимо традиционной виртуализации на основе гипервизоров стали предоставлять услуги на основе контейнерных технологий [14].…”

Section: технологии облачных вычисленийunclassified

Cloud Computing: Information Security Concerns

et al. 2015

View full text Add to dashboard Cite

Аннотация. Стремительное развитие информационных технологий в современном обществе диктует новые требования к технологиям обеспечения информационной безопасности данных, методам удалённого доступа и обработки информации, комплексному снижению финансовых затрат на работу с информацией. В последние годы в качестве идеального решения всех этих задач активно предлагается концепция облачных вычислений. Данная методика действительно даёт ряд несомненных преимуществ при работе с информацией и уже достаточно широко используется в целом ряде направлений научной и деловой деятельности, однако многие аспекты информационной безопасности, характерные для облачных вычислений, всё ещё далеки от удовлетворительного решения. В статье рассматривается основные проблемы обеспечения информационной безопасности облачных вычислений. Представлен обзор методов обеспечения безопасности обработки данных, обсуждается выбор наиболее безопасной модели облачных вычислений, предлагаются способы повышения безопасности облачных вычислений.Ключевые слова: облачные вычисления, информационная безопасность. ВВЕДЕНИЕНа смену парадигме построения на предприятиях и в научных центрах собственных информационно-вычислительного комплексов [1], в последнее время всё большее распространение получает технология облачных вычислений, подразумевающая удалённый (в том числе через Интернет) доступ пользователей к хранилищам данных, вычислительным ресурсам и программным приложениям [2]. Облачные технологии способны представить пользователям необходимые вычислительные мощности за счёт динамического выделения необходимых ресурсов, при этом нагрузка между компьютерами, входящими в вычислительное облако, распределяется автоматически. Клиенты провайдеров облачных услуг получают возможность, посредством любых, в том числе мобильных, устройств доступа в сеть, использовать требующиеся вычислительные ресурсы и объёмы памяти, необходимое программное обеспечение. Хотя назначение облачных вычислений состоит вовсе не в достижении пиковой производительности при решении единственной вычислительной задачи, что является типичным для суперкомпьютеров и вычислительных кластеров [3], но для большинства организаций, в том числе и научных, именно облачные сервисы сегодня являются

show abstract

“…In addition, the aim has been to evaluate the performance gap between cloud and on-premise resources [9][10][11][12]. Even though cloud typically has slower internal network speeds than onpremise resources, bursting jobs to the cloud can still provide better overall performance in overloaded environments.…”

Section: Introductionmentioning

confidence: 99%

Job placement advisor based on turnaround predictions for HPC hybrid clouds

Cunha¹,

Rodrigues²,

Tizzei³

et al. 2017

Future Generation Computer Systems

View full text Add to dashboard Cite

Abstract-Several companies and research institutes are moving their CPU-intensive applications to hybrid High Performance Computing (HPC) cloud environments. Such a shift depends on the creation of software systems that help users decide where a job should be placed considering execution time and queue wait time to access on-premise clusters. Relying blindly on turnaround prediction techniques will affect negatively response times inside HPC cloud environments. This paper introduces a tool to make job placement decisions in HPC hybrid cloud environments taking into account the inaccuracy of execution and waiting time predictions. We used job traces from real supercomputing centers to run our experiments, and compared the performance between environments using real speedup curves. We also extended a stateof-the-art machine learning based predictor to work with data from the cluster scheduler. Our main findings are: (i) depending on workload characteristics, there is a turning point where predictions should be disregarded in favor of a more conservative decision to minimize job turnaround times and (ii) scheduler data plays a key role in improving predictions generated with machine learning using job trace data-our experiments showed around 20% prediction accuracy improvements.

show abstract

Performance Evaluation of Container-Based Virtualization for High Performance Computing Environments

Cited by 366 publications

References 8 publications

Toward a Holistic Framework for Conducting Scientific Evaluations of OpenStack

Toward a Holistic Framework for Conducting Scientific Evaluations of OpenStack

Cloud Computing: Information Security Concerns

Job placement advisor based on turnaround predictions for HPC hybrid clouds

Contact Info

Product

Resources

About