Advance Resource Provisioning in Bulk Data Scheduling

Abstract

Today's scientific and business applications generate massive data sets that need to be transferred to remote sites for sharing, processing, and long term storage. Because of increasing data volumes and enhancement in current network technology that provide ondemand high-speed data access between collaborating institutions, data handling and scheduling problems have reached a new scale. In this paper, we present a new data scheduling model with advance resource provisioning, in which data movement operations are defined with earliest start and latest completion times. We analyze timedependent resource assignment problem, and propose a new methodology to improve the current systems by allowing researchers and higher-level meta-schedulers to use data-placement as-a-service, so they can plan ahead and submit transfer requests in advance. In general, scheduling with time and resource conflicts is NP-hard. We introduce an efficient algorithm to organize multiple requests on the fly, while satisfying users' time and resource constraints. We successfully tested our algorithm in a simple benchmark simulator that we have developed, and demonstrated its performance with initial test results.

Design and evaluation of a dual dynamic adaptive reservation approach in media production networks

“…Xie et al in [20] proposed ILP-based models and heuristic approaches on re-routing in advance reservation networks in order to maximize admittance of new requests. The authors in [21,22] focused on advance bandwidth reservation for on-demand data transfer in scientic applications. These approaches, however, purely focus on data transfers, not video streaming requests, dependencies among dierent transfers are ignored and no fault tolerance techniques are considered for possible failures.…”

Provendo múltiplas transferências de dados em massa em redes ópticas elásticas

“…A técnica de armazenamento de dados em nós intermediários da rede, antes do encaminhamento ao destino final (Store-and-Forward -SnF), é empregada para transferências de dados por distâncias relativamente grandes, com escalonamento de pedidos [11], ou quando a rede tende a atingir o pico de tráfego de outros serviços, quando as MBDTs podem ser atrasadas devido ao seu menor nível de prioridade e tráfego elástico [71]. Recentemente, as transferências foram feitas mediante a gravação em diversas mídias como discos rígidos e DVDs (Digital Versatile Discs) para então serem movimentados por meio de serviços postais [54].…”

“…Os provedores utilizam escalonamento de requisições para aumentar as chances de uma chamada ser atendida [54]. Geralmente quando trata-se de requisições com prazo implícito, associado a entrega de dados, como é o caso tanto das BDT quanto MBDT, as políticas aplicadas que definen prioridade é a de prazo mais recente primeiro (Earliest Deadline First-EDF) e a de menor quantidade de dados primeiro (Shortest Job First -SJF), por reduzirem o número de requisições bloqueadas [92], também chamada de método oportunístico [11].…”

“…Mais recentemente em [9], outra solução semelhante trata diretamente de requisições de transferência, liberando o controlador da função de tradutor. Em [11] também é proposta uma solução de escalonamento de múltiplas requisições para garantir a atribuição de recursos variando no tempo fazendo-se reserva antecipada.…”

“…O encaminhamento E2E também é realizado com escalonamento de requisições. [62] faz BDT com encaminhamento E2E em EON, aproveitando a sobra de espectro remanescente dos fluxos atendidos para escalonar tais chamadas, mas não garante o prazo de atendimento das transferências; [107] considera as classes de tráfego e, devido a menor prioridade atribuída às MBDTs, essas chamadas são escalonadas e o encaminhamento é E2E na camada eletrônica; [11] realiza escalonamento de BDT com roteamento dinâmico e encaminhamento E2E em uma rede de sobreposição; [92] e [9] fazem escalonamento de BDTs dinâmicas com encaminhamento E2E, mas os dados transportados são relacionados a uma aplicação de criação de VMs. Ambos utilizam EON, mas enquanto o primeiro implementa uma camada extra para traduzir as requisições que chegam como sendo de fluxo e se tornam de dados, o segundo emprega elementos de SDN; Nesse grupo existem soluções para EON, mas não tratam de CLD.…”