Effectively utilizing global cluster memory for large data-intensive parallel programs

Oleszkiewicz, J.; Xiao, Li

doi:10.1109/tpds.2006.10

Cited by 16 publications

(4 citation statements)

References 36 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…As a scope of future research, the time-efficiency of ParSym algorithm may be improved further using the bounded-collision parallel memory-mapping scheme for effective utilization of cluster memory [7,21]. Moreover, incorporation of spatial information in the feature vector as this is found to be effective in pixel classification [1] in ParSym method, in lieu of intensity values at different spectral bands constitutes an important direction for farther research.…”

Section: Resultsmentioning

confidence: 99%

Efficient parallel algorithm for pixel classification in remote sensing imagery

Maulik

Sarkar

2011

Geoinformatica

View full text Add to dashboard Cite

An important approach for image classification is the clustering of pixels in the spectral domain. Fast detection of different land cover regions or clusters of arbitrarily varying shapes and sizes in satellite images presents a challenging task. In this article, an efficient scalable parallel clustering technique of multi-spectral remote sensing imagery using a recently developed point symmetry-based distance norm is proposed. The proposed distributed computing time efficient point symmetry based K-Means technique is able to correctly identify presence of overlapping clusters of any arbitrary shape and size, whether they are intra-symmetrical or inter-symmetrical in nature. A Kd-tree based approximate nearest neighbor searching technique is used as a speedup strategy for computing the point symmetry based distance. Superiority of this new parallel implementation with the novel two-phase speedup strategy over existing parallel K-Means clustering algorithm, is demonstrated both quantitatively and in computing time, on two SPOT and Indian Remote Sensing satellite images, as even K-Means algorithm fails to detect the symmetry in clusters. Different land cover regions, classified by the algorithms for both images, are also compared with the available ground truth information. The statistical analysis is also performed to establish its significance to classify both satellite images and numeric remote sensing data sets, described in terms of feature vectors.

show abstract

Section: Resultsmentioning

confidence: 99%

Efficient parallel algorithm for pixel classification in remote sensing imagery

Maulik

Sarkar

2011

Geoinformatica

View full text Add to dashboard Cite

show abstract

“…Among the numerous technologies in HPC, we note that grid computing [7], [8], [9] and cluster [10], [11], [12] are rapidly progressing. Cluster as a unified computing resource is a parallel or distributed system and is made up of many connected and similar elements.…”

Section: Introductionmentioning

confidence: 99%

A Risk Evaluation Model of PC Cluster with Seismic Data Processing

Huang

Sun

2009

2009 International Conference on Management and Service Science

View full text Add to dashboard Cite

This study's objective is to solve performance evaluation problem of PC cluster in processing seismic data intensive computing. The objective of performance evaluation is determining the relationship between the number of PC node and the scale of tasks to be processed to decide whether the transaction of seismic data processing should be transformed from mainframe computer to PC cluster platform. In particular, this paper presented a model based on least-squares regression for evaluating the performance of PC cluster. The model begins with the comparison of the computing performance of PC clusters by collecting experiential data, and proceeded by establishing performance evaluation model of PC cluster using least-squares regression, as well as performing error analysis and significance test. To study the effects of the proposed model, a series of experiments based on PC cluster are designed and implemented. The results show that the computational efforts, communication traffic and their relationship play an important role in task processing of PC cluster. This study's conclusions indicate that PC cluster can be substituted for mainframe computer in order to save the expense of processing seismic data.

show abstract

“…O desenvolvimento de técnicas e métricas eficientes para distribuir processos a nós do sistemaé umaárea tradicional em sistemas distribuídos, que ainda não foi totalmente explorada, sendo alvo de muitas pesquisas [13]. Um dos fatores responsáveis pela atenção dada a essa atividade em plataformas distribuídasé a relação custo/benefício.…”

Section: Considerações Iniciaisunclassified

“…No artigo [31], os autores migram a melhor tarefa, de acordo com a política de seleção utilizada, executando em um nó congestionado, para a máquina remota com a maior quantidade de memória livre. Em [13],é proposta uma nova solução ponto-a-ponto, denominada Parallel Network RAM, que procura diminuir a sobrecarga causada pela sincronização e comunicação das aplicações paralelas, evitando o uso do disco rígido, e otimizando a utilização da memória DRAM, demonstrando que o uso de esquemas diferenciadosé apropriado para situações diferentes.…”

Section: Escalonamento De Aplicações Memory-intensiveunclassified

Políticas de escalonamento memory-intensive para aplicações distribuídas

Alves¹

View full text Add to dashboard Cite

AgradecimentosAgradeço primeiramente a Deus, por me apresentar oportunidades e me orientar nas decisões.A Wilnice, minha esposa, pela paciência e compreensão ao dividir comigo suas opiniões sobre o meu trabalho, sempre de maneira sábia e serena. Sem ela este trabalho não teria sido desenvolvido.Ao Prof. Dr. Marcos Santana, pela orientação e confiança durante o desenvolvimento deste trabalho. Servindo para mim como modelo de mestre e de ser humano, uma referência a ser seguida.A Prof. Dra. Regina, pelas contribuições sugeridas, sendo de fundamental importância para as decisões tomadas neste trabalho. Além da amizade e dos ensinamentos transmitidos.Aos meus pais, Joaquim e Vani, pela educação, por estarem presentes nos momentos importantes da minha vida, pelo apoio e carinho.Ao casal Wilson e Larenice, que sempre me receberam com atenção e carinho.Aos demais professores do LaSDPC, que de maneira direta ou indireta, contribuíram para este trabalho.Aos meus colegas e amigos da USP e do LaSDPC, cujos nomes omitirei para não cometer a injustiça de esquecer algum, que através das reuniões do grupo ou até mesmo em conversas informais, teceram comentários importantes para o desenvolvimento deste trabalho Aos funcionários do ICMC-USP, pelo convívio amigo e descontraído. Em especial Laura e Ana Paula que sempre me atenderam de maneira exemplar.A FAPESP pelo apoio financeiro dado a este trabalho. Esta dissertação aborda o escalonamento de processos em sistemas de clusters de computadores, tanto em plataformas homogêneas quanto heterogêneas. As heterogeneidades abordadas incluem a potência computacional dos processadores, quantidade de memória principal do sistema e o tempo médio de acesso ao disco. Neste trabalho são propostas quatro novas políticas destinadas a realizar o compartilhamento de carga nesses ambientes, considerando cargas de trabalho com aplicações variando entre CPU-bound e memoryintensive. Dentre as quatro políticas, uma utiliza apenasíndices de CPU, enquanto as demais utilizam tambémíndices de memória. Os resultados foram obtidos através de simulações baseadas em trace e mostram reduções significativas das perdas de desempenho observadas nos resultados obtidos com as políticas de escalonamento propostas. Como referências foram utilizadas políticas de escalonamento tradicionais encontradas na literatura.Palavras-chave: Avaliação de desempenho, escalonamento de processos, clusters de computadores, sistema de imagemúnica, aplicações memory-intensive e simulação. This dissertation approaches the process scheduling on clusters of computers, on both homogeneous and heterogeneous platforms. The heterogeneities considered include processor computational power, system main memory quantity and the average disk access time. In this work are proposed four novel policies aimed at realizing the work load sharing on these environments, considering workloads with applications varying between CPU-bound and memory-intensive. Among the four policies, one of them uses only CPU indices, while the others also use memory indices....

show abstract

Effectively utilizing global cluster memory for large data-intensive parallel programs

Cited by 16 publications

References 36 publications

Efficient parallel algorithm for pixel classification in remote sensing imagery

Efficient parallel algorithm for pixel classification in remote sensing imagery

A Risk Evaluation Model of PC Cluster with Seismic Data Processing

Políticas de escalonamento memory-intensive para aplicações distribuídas

Contact Info

Product

Resources

About