Base Operating System Provisioning and Bringup for a Commercial Supercomputer

Daly, David; Choi, Jeong-Hwan; Moreira, José E.; Waterland, Amos

doi:10.1109/ipdps.2007.370630

Cited by 8 publications

(9 citation statements)

References 6 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…We previously implemented a shared root filesystem approach [7]. We found that the heterogenous nature of commercial applications led to small customizations needed for individual groups of servers, different versions of the same base root file system, as well as frequent updates to it.…”

Section: Non-local Root Disksmentioning

confidence: 99%

“…We investigated the performance implications of using a scale-out environment as opposed to a scale-up environment in [15,16,18,20]. We also investigated the challenges of provisioning the large number of servers needed for a scale-out environment in [7] and image management techniques in [9].…”

Section: Introductionmentioning

confidence: 99%

“…Specifically, it focuses on the efficient provisioning and repurposing of hardware, as described in more detail in the next section. We had previously addressed this topic in [7]. In that paper, we described techniques to completely automate the provisioning of a blade server in a virtualized environment.…”

Section: Introductionmentioning

confidence: 99%

See 2 more Smart Citations

Scalable server provisioning with HOP-SCOTCH

Daly

Silva

Moreira

2008

2008 IEEE International Symposium on Parallel and Distributed Processing

Self Cite

View full text Add to dashboard Cite

The problem of provisioning servers in a cluster infrastructure includes the issues of coordinating access and sharing of physical resources, loading servers with the appropriate software images, supporting storage access to users and applications, and providing basic monitoring and control services for those servers. We have developed a system called HOP-SCOTCH that automates the provisioning process for large clusters. Our solution relies on directory services to implement access control. It uses network boot and managed root disks to control the image of each server. We leverage IBM's Global Storage Architecture to provide storage to users and applications. Finally, interfaces are provided to access the services both programmatically and interactively. We demonstrate the scalable behavior of HOP-SCOTCH by experimenting with a cluster of 40 blade servers. We can provision all 40 servers with a brand new image in under 15 minutes.

show abstract

Section: Non-local Root Disksmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Scalable server provisioning with HOP-SCOTCH

Daly

Silva

Moreira

2008

2008 IEEE International Symposium on Parallel and Distributed Processing

Self Cite

View full text Add to dashboard Cite

show abstract

“…clusters de "Processamento Massivo Paralelo" ("Massive Parallel Processing", ou MPP) ou "Constelação" [11]. Uma aplicação comercial redshift, por outro lado, poderá ter seus elementos computacionais arranjados em um cluster "Scale-Out" [76]. Por último, uma aplicação blueshift poderá ter seus elementos computacionais arranjados como um cluster de "Alta Disponibilidade" ("High…”

Section: Virtualizaçãounclassified

“…Uma Localização Física (Physical Location", ou PL) agindo como um Chassis pode receber pnodes, cnodes e snodes cujo fator de forma é um determinado "blade" [79,76].…”

unclassified

Uma infraestrutura de comando e controle de data center para um conjunto de recursos computacionais.

Silva¹

View full text Add to dashboard Cite

AGRADECIMENTOSMuitas são as graças de Deus sobre minha vida, mais do que mereço e posso contar. Algumas das mais enriquecedoras são certamente aquelas que vêm na forma humana. O Senhor sabe quão agradecido sou por tê-las como parte das minhas experiências de vida. Minha esposa, Maria Fernanda, o amor da minha vida, incondicional em seu amor, corajosa diante dos sacrifícios impostos, um modelo diante de desafios intelectuais e uma baliza para questões morais, eu agradeço a você. Muito daquilo que realizei é um resultado direto da minha tentativa de nivelar-me a seu quase inacreditável conjunto de qualidades.Meu orientador, Prof. Wilson Ruggiero, excelente ao lecionar, paciente ao orientar e objetivo em seus conselhos, eu agradeço a você. Suas sugestões e direcionamentos perspicazes foram de grande valia para a forma final deste trabalho.Meu mentor na IBM Research, José Moreira, um pesquisador magnífico, engenheiro talentoso e com quem tive prazer em trabalhar, eu agradeço a você.Eu posso do fundo do meu coração retribuir a sua nota de agradecimento dizendo: eu não poderia ter feito isso sem você. David Daly, engenheiro nato e grande pesquisador, eu agradeço também a você, pelas idéias e sugestões.Meu bom amigo Jorge Fragoso, uma impressionante combinação de um aguçado intelecto com um conhecimento enciclopédico de tudo o que há para se conhecer, eu agradeço a você. O esforço para fazer-me merecedor de sua amizade e respeito é um gracioso lembrete da necessidade de melhorar.Meus seletos "poucos e maravilhosos" amigos, Diego, Flávio, Jan, Joelle, Marcos e Rodrigo, eu agradeço a vocês. Eu certamente aprendi com vocês muito mais do que eu possa ter ensinado.Prof. Dra. Tereza Cristina, uma grande professora e prolífica coordenadora de pesquisa, eu agradeço a você. Seu papel na concretização de meu estágio de um ano na IBM Research me proporcionou uma inestimável experiência de vida.Meus pais João e Nazely, exemplo de fortaleza de caráter, uma referência superior de trabalho ético e um constante exemplo do amor divino e leal, eu agradeço a vocês. Mais que seus ensinamentos, foram seus exemplos de vida meu mais duradouro presente. vi RESUMOO crescimento das necessidades de recursos computacionais gerado por novas classes de aplicações comerciais e científicas apresenta um novo tipo de desafio para infraestruturas computacionais. O acelerado crescimento das demandas por recursos promove um acelerado crescimento no número absoluto de elementos computacionais nestas. Nesse cenário, o provisionamento e a operação de sistemas tornam-se tarefas progressivamente complexas, devido primariamente ao aumento em escala. Este trabalho propõe um modelo para uma infraestrutura computacional que opera como um repositório abstrato de recursos computacionais de tempo de execução com níveis variáveis de consumo.Desenhado para operar como um "ensemble" (i.e. um conjunto coordenado) de recursos computacionais, grandes números de elementos são agregados em conjuntos de servidores de recursos de processamento, armazenamento e comunicação. O "...

show abstract

A BitTorrent Mechanism-Based Solution for Massive System Deployment

et al. 2021

View full text Add to dashboard Cite

System deployment of a computer environment plays a critical role in the daily administration of computer systems, and tasks of massive deployments may take a lot of time for data center administrator(s). The existing solutions for massive deployment normally consist of storage spaces and extra computer servers for running deployment services. Existing solutions of multicast massive deployment are not robust because the overall deployment performance will worsen if one client machine fails. Because of the limitation of the network protocol, a multicast solution is not scalable. Although scholars have proposed solutions based on BitTorrent (BT) to overcome performance and scalability problems, solutions are not good enough because they still require the storage space to save the image file. In this paper, we present a novel mechanism of massive deployment called ''BT deployment mechanism from the raw device'' (BDMfRD), which differs from conventional solutions in that it avoids creating any image file in the deployment process or using external storage for it. The proposed solution was verified by conducting 10 experiments to replicate the 50 GB system of the source machine to 1-32 destination computers. Experimental results showed that the proposed method reduced the total time for deploying 32 computers by 45.289%. The implemented software is the first massive deployment solution that provides light, robust, efficient, and scalable capabilities simultaneously.INDEX TERMS System deployment, bare-metal provisioning, massive deployment, free software, open source, cloning, imaging, peer-to-peer (P2P), BitTorrent (BT).

show abstract

Base Operating System Provisioning and Bringup for a Commercial Supercomputer

Abstract: Abstract

Cited by 8 publications

References 6 publications

Scalable server provisioning with HOP-SCOTCH

Scalable server provisioning with HOP-SCOTCH

Uma infraestrutura de comando e controle de data center para um conjunto de recursos computacionais.

A BitTorrent Mechanism-Based Solution for Massive System Deployment

Contact Info

Product

Resources

About