MPI applications' performances in native vs. virtualized environments using InfiniBand IPoIB virtualization and live migration

Abstract

Original scientific paper Over recent years we have seen a constant evolution of High-Performance Computing moving into commodity servers cluster types of systems. At the same time we have seen Cloud Computing being a proven, stable and reliable IT paradigm, utilising virtualized clusters of commodity servers as key components. This paper presents a face-to-face native-to-virtual HPC MPI application performance analysis on a range of general-use HPC applications by virtualizing InfiniBand via IPoIB at the guest virtual machine level on VMware ESXi as well as KVM hypervisor with production ready live migration support. Applications running on various small and medium HPC clusters are targeted to address users, considering full IT infrastructure virtualization by merging general purpose with HPC IT infrastructure. Live migration is a key component within a virtualized environment as it enables dynamic virtual IT infrastructure, therefore live migration performance impact is evaluated through a pluggable multi-platform architecture on a proactive fault-tolerance use case. Keywords Izvorna svojstva MPI aplikacije prema virtualnom okruženju uporabom InfiniBand IPoIB virtualizacije i aktivne migracijeIzvorni znanstveni članak Zadnjih je godina vidljiv ulazak High-Performance Computing u klaster tipove robnih servera sustava. U isto vrijeme svjedočimo računarstvu u oblacima kao dokazanoj, stabilnoj i pouzdanoj IT paradigmi koja rabi virtualizirane klastere robnih servera kao ključne komponente. U radu se daje analiza svojstava kod primjene direktne prirodne u odnosu na virtualnu HPC MPI aplikaciju na području HPC aplikacija opće uporabe virtualizacijom InfiniBanda via IpoIB na nivou virtualnog stroja na VMware ESXi kao i KVM hypervisora uz podršku aktivne migracije spremne na proizvodnju. Aplikacije za razne male i srednje HPC klastere usmjerene su na korisnike, imajući u vidu potpunu virtualizaciju IT infrastrukture povezujući infrastrukturu opće namjene s HPC IT infrastrukturom. Aktivna migracija je ključna komponenta u okviru virtualiziranog okruženja budući da omogućuje dinamičku virtualnu IT infrastrukturu. Stoga se djelovanje svojstava aktivne migracije procjenjuje kroz arhitekturu s više platformi na slučaju proaktivne uporabe greška-tolerancija.