Managing Long Running Queries in Grid Environment

Fomkin, Ruslan; Risch, Tore

doi:10.1007/978-3-540-30470-8_28

Cited by 2 publications

(2 citation statements)

References 19 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Así mismo, incluye un mecanismo que verifica si la cardinalidad del resultado era el esperado, si no es así, guarda los subresultados y reoptimiza el remanente. Por su parte la propuesta POQSEC [22] ofrece adaptabilidad ante fallas en los procesos de ejecución a través del monitoreo y la evaluación paralela de procesos. De forma similar el sistema adaptable a cambios en el desempeño en ambientes de grilla [23] rebalancea dinámicamente los operadores de los diferentes nodos de la grilla.…”

Section: Trabajos Relacionadosunclassified

Distributed query execution adaptation

Pomares

2011

2011 6th Colombian Computing Congress (CCC)

View full text Add to dashboard Cite

This paper presents a strategy for adapting the execution coordination process in mediation systems. This strategy was designed for distributed data environments, typical of virtual organizations, where the vertical and horizontal fragmentation is not disjoint. The principle of the adaptation strategy is to dynamically choose the sources participating in the execution of a query using a collaborative model based on the LINDA tuple space. This model proves to be useful to coordinate asynchronous interaction between sources and to adapt naturally the query execution when there are unstable states of physical resources, low rate responses or failure of sources. I. INTRODUCCIÓNUna organización virtual es una red de organizaciones autónomas que comparten competencias y recursos, están dispersas geográficamente, interactúan bajo una alianza explícita de colaboración y su comunicación y operación están basadas en tecnologías de información. Las organizaciones virtuales (OV) facilitan a las organizaciones independientes compartir competencias y recursos [1], tales como datos, infraestructura de cómputo e instrumentos científicos, entre otros. Esta investigación está enfocada a OV que reúnen un alto número de participantes (entre 300 y 1.000) que trabajan alrededor de una misma área o dominio y que buscan aliarse a nivel local, regional, nacional o mundial para compartir información y recursos. El contexto de datos en estas OV de gran escala involucra típicamente un gran número de fuentes de datos autónomas y heterogéneas y con diferentes niveles de disponibilidad que deben ser compartidas y consultadas de forma transparente a través de la OV.La administración de datos en estas OV genera nuevos retos debido a que las técnicas tradicionales de mediación de bases de datos heterogéneas y distribuidas no son las más adecuadas. Éstas deben ser escalables y adaptables para soportar un gran número de fuentes autónomas, garantizando al mismo tiempo respuestas de la calidad requeridas en ambientes organizacionales. Sin embargo, la magnitud del contexto de datos, sumado a la fragmentación, replicación e incertidumbre en la localización y disponibilidad de los datos dificultan esta tarea.Las limitaciones de los enfoques actuales de integración de datos al ser aplicados en los contextos complejos de las OV de gran escala [2], [3], [4], [5], [6], [7] y las nuevas características que surgen en estos contextos, gracias al carácter organizacional de las OV, fueron los elementos que dieron lugar a esta investigación. La motivación fundamental está en la necesidad de crear nuevas estrategias escalables y flexibles de integración de datos que satisfagan los requerimientos de las OV. Específicamente, este artículo se enfoca en cómo adaptar el proceso de coordinación de la ejecución frente a los problemas de disponibilidad y restricciones de las fuentes de datos seleccionadas durante planeación. El principal aporte es un modelo de coordinación de ejecución adaptable diseñado para arquitecturas de mediación.La estructura del artículo es la sig...

show abstract

Section: Trabajos Relacionadosunclassified

Distributed query execution adaptation

Pomares

2011

2011 6th Colombian Computing Congress (CCC)

View full text Add to dashboard Cite

show abstract

“…We are developing POQSEC [6] (Parallel Object Query System for Expensive Computations) that processes scientific analyses specified as declarative SQL-like queries over data distributed in the Grid. It utilizes computational resources of Swegrid [7] and storage resources of Nordic countries through the middleware Grid infrastructure NorduGrid [4].…”

Section: Introductionmentioning

confidence: 99%

Framework for Querying Distributed Objects Managed by a Grid Infrastructure

Fomkin

Risch

2006

Lecture Notes in Computer Science

Self Cite

View full text Add to dashboard Cite

Abstract. Queries over scientific data often imply expensive analyses of data requiring a lot of computational resources available in Grids. We are developing a customizable query processor built on top of an established Grid infrastructure, the NorduGrid middleware, and have implemented a framework for managing long running queries in Grid environment. With the framework the user does not specify the detailed job and parallelization descriptions required by NorduGrid. Instead s/he specifies queries in terms of an application-oriented schema describing contents of files managed by the Grid and accessed through wrappers. When a query is received by the system it generates NorduGrid job descriptions submitted to NorduGrid for execution. The framework considers limitations of NorduGrid. It includes a submission mechanism, a job babysitter, and a generic data exchange mechanism. The submission mechanism generates a number of jobs for parallel execution of a user query over wrapped data files. The task of the babysitter is to submit generated jobs to NorduGrid for the execution, to monitor their execution status, and to download results from the execution. The generic exchange mechanism provides a way to exchange objects through files between Grid execution nodes and user applications.

show abstract

Managing Long Running Queries in Grid Environment

Cited by 2 publications

References 19 publications

Distributed query execution adaptation

Distributed query execution adaptation

Framework for Querying Distributed Objects Managed by a Grid Infrastructure

Contact Info

Product

Resources

About