Reduzindo o consumo de energia do Hadoop 3.x MapReduce através do energy efficient ethernet

Abstract

Resumo: O consumo de energia é um dos maiores desafios na infraestrutura de processamento de Big Data. Atualmente os gastos com energia são ainda maiores do que na aquisição do hardware, representando 75% do custo total dos data centers. Aproximadamente 30% de toda a energia do data center é consumida por switches de rede. O Energy Efficient Ethernet é um padrão recente que visa reduzir o consumo de energia, embora a prática atual na indústria seja desativá-lo em produção, pois pode causar sobrecargas na rede e perda de desempenho. Esta dissertação fornece uma visão geral de como a atual versão do Apache Hadoop, a 3.x, se comporta com o Energy Efficient Ethernet habilitado para links de 1GbE até 400GbE. Os resultados apresentados mostram que há economia de energia significativa com pouca ou nenhuma perda de desempenho para conexões de até 40GbE. No entanto, conexões de 100GbE e 400GbE apresentam perdas significativas de desempenho devido ao despertar do link para transmissões de um único frame.

Abstract: Energy consumption is one of the major challenges on the big data processing infrastructure. The energy expenses are even higher than hardware, accounting for 75% of the total cost of nowadays data centers. Narrowing, approximately 30% of all data center energy is consumed by the network switches. Energy Efficient Ethernet is a recent standard aiming at reduce network power consumption, notwithstanding the current practice in industry is to disable it in production use, since it can cause network overloads and performance loss. This thesis provides an overview on how Apache Hadoop 3.x, the current version, behaves with Energy Efficient Ethernet enabled for links from 1GbE up to 400GbE links. Presented results show that there is significant energy savings with little or no performance loss for connections up to 40GbE. Nevertheless, connections of 100GbE and 400GbE present significant performance losses due to link wake up to single transmissions.