Show simple item record

dc.contributor.advisorMaziero, Carlos Albertopt_BR
dc.contributor.authorKraemer, Alessandropt_BR
dc.contributor.otherUniversidade Federal do Paraná. Setor de Ciências Exatas. Programa de Pós-Graduação em Informáticapt_BR
dc.date.accessioned2018-10-26T16:41:42Z
dc.date.available2018-10-26T16:41:42Z
dc.date.issued2017pt_BR
dc.identifier.urihttps://hdl.handle.net/1884/56935
dc.descriptionOrientador: Carlos Alberto Mazieropt_BR
dc.descriptionTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa : Curitiba, 11/12/2017pt_BR
dc.descriptionInclui referências: p.108-116pt_BR
dc.descriptionÁrea de concentração: Ciência da Computaçãopt_BR
dc.description.abstractResumo: A computação de alto desempenho vem permitindo à ciência avançar rapidamente em muitas áreas do conhecimento. Por sua vez, as tecnologias de computação em nuvem proporcionam o acesso a recursos computacionais a muitos usuários. Ambas as tecnologias proporcionam ambientes de computação de larga escala, embora sejam usadas para propósitos distintos. Enquanto tecnologias de nuvem proporcionam computação diversa ao público como meio de negócio, tecnologias puramente HPC têm objetivo científico e seus usuários são especializados. Em centrais de dados é frequente a implantação separada de plataformas HPC e de nuvem em um mesmo supercomputador. Em geral, cada plataforma gerencia uma fila de entrada de aplicações, tem seu próprio domínio de processadores, memória e rede de comunicação. A nuvem é propícia à migração de aplicações de plataformas HPC, sendo vista como extensão de hardware virtual e software. Por outro lado, a migração de aplicações de nuvem para plataformas HPC é um tópico muito menos explorado. Não obstante, isso pode ser útil em alguns casos, em particular quando a plataforma HPC tem baixo nível de utilização de recursos e a utilização de recursos na nuvem é alta. Em nuvem, a alta utilização de seus recursos faz com que aplicações de menor prioridade sejam despejadas devido ao escalonamento com overbooking. Com base na literatura, identificou-se que o processo de despejo aumenta o número de violações de tempo de resposta das aplicações despejadas. A fim de reduzir o número de violações de tempo de resposta, propõe-se uma área de convergência nuvem-HPC em centrais de dados, abrangendo funções de previsão de violação, estratégias para escalonadores e escalonamento de aplicações. A proposta está formalmente definida, implementada em um simulador e avaliada em diferentes experimentos. Para tal, uma carga de trabalho HPC com 11K aplicações foi extraída do Grid de produção do Potsdam Institutefor Climate Impact Research. A quantidade e as características das apUcações de nuvem com potencial de despejo foram determinadas com base em documentos públicos do Google. O escalonador HPC proposto foi bem sucedido ao injetar 267K aplicações de nuvem com zero número de violação de tempo de resposta, considerando uma área de convergência com 320 processadores. Os resultados mostram que existe um número significativo de áreas de tempo ocioso no plano de escalonamento HPC, o que também tem sido observado em outros grids. Isso propícia a alocação por backfilling de um número elevado de apUcações como as de nuvem consideradas. No cenário com 10 processadores na área de convergência, o pior percentual de violações obtido foi de 0,002%. Não houve impacto relevante sobre o makespan da carga de trabalho HPC. Por fim, a estratégia de previsão mostrou-se eficiente com 0,96 de precisão média. Os resultados dos experimentos mostram que esta proposta é factível de ser implantada em centrais de dados e tem capacidade para reduzir o número de violações de tempo de resposta de aplicações de nuvem, com baixo impacto sobre o escalonamento HPC. Palavras-chave: escalonamento de tarefas, computação de alto desempenho, computação em nuvem, central de dados.pt_BR
dc.description.abstractAbstract: Science is enhancing rapidly in many knowledge areas due to high-performance computing. On the other hand, cloud computing technologies provide access to computating resources by many users. Both technologies provide large-scale computing environments, although they are used for different purposes: while cloud technologies provide diverse computing to the public users as a business, pure HPC technologies have a scientific purpose, and their users are specialized. In data centers, HPC and cloud platforms often are separately deployed on the same supercomputer. In general, each platform manages a job input queue, has its processors, memory, and communication network domains. The cloud is suitable to receive jobs migrated from HPC platforms, working as a virtual hardware and software extension to them. However, migrating cloud jobs to HPC platforms is a much less explored topic. Nevertheless, that may be useful in some cases, mainly when the HPC platform has a low resource utilization, and resource utilization in the cloud is high. In the cloud, the high resource utilization causes lower priority jobs eviction, due to overbooked scheduling. Based on the literature, the eviction procedure increases the number of response time violations for evicted applications. A cloud-HPC convergence area in data centers is proposed here, to reduce the number of response time violations. The proposal includes violation prediction functions, strategies for schedulers, and job scheduling. The proposal is formally defined, implemented in a simulator, and evaluated in different experiments. For thata, an HPC workload with 1 IK jobs collected from the production Grid of the Potsdam Institute for Climate Impact Research was used to evaluate the proposal. The number and characteristics of cloud jobs with dump potential were determined based on Google's public documents. The proposed HPC scheduler obtained success in injecting 267K cloud jobs in the HPC platform, resulting in zero response time violations, considering a convergence area set to 320 processors. The results show that there is a significant number of idle time areas in the HPC scheduling plane, which has also been observed in other grids. That facilitates the allocation by backfilling for a large number of jobs such as the cloud considered. In the scenario set to 10 processors in the convergence area, the worst violation percentage obtained was 0.002%. There was no critical impact on the HPC workload makespan. Finally, the prediction strategy was efficient, resulting the average precision of 0.96. The results of the experiments show that this proposal is feasible to be deployed in data centers and can reduce the number of response time violations for cloud jobs, with low impact on the HPC scheduling. Keywords: job scheduling, high-performance computing, cloud computing, data center.pt_BR
dc.format.extent128 p. : il.pt_BR
dc.format.mimetypeapplication/pdfpt_BR
dc.languagePortuguêspt_BR
dc.subjectComputação em nuvempt_BR
dc.subjectCiência da Computaçãopt_BR
dc.subjectCentros de processamento de dadospt_BR
dc.subjectComputação de alto desempenhopt_BR
dc.titleProposta de uma área de convergência Nuvem-HPC para a redução do número de violações de tempo de resposta em centrais de dadospt_BR
dc.typeTese Digitalpt_BR


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record