Aceleração de cache misses prováveis através de requisições paralelas

Abstract

Resumo: A diferença na velocidade de evolução do processador quando comparado a memória principal ocasionou uma disparidade entre a velocidade que os dados são processados e a velocidade com a qual os dados podem ser servidos. Assim, se faz necessário desenvolver meios para que tais dados possam ser servidos mais rapidamente. Uma destas formas é a utilização de memórias intermediárias, mais rápidas e localizadas próximas ao processador, as memórias cache. Tais memórias, com o passar dos anos acabaram por ser organizadas em hierarquias, de forma a aumentar sua eficácia. Entretanto, tais memórias, em determinados cenários podem se revelar motivo de atraso para a transmissão dos dados. Nestes cenários, o uso de meios para contornar tais dispositivos (Cache bypass) podem gerar ganhos de desempenho consideráveis. Contudo, dada a diversidade de opções na hora de projeto para uma cache, os mecanismos de bypass são projetados de forma a obter o melhor desempenho ao serem utilizados em uma arquitetura e hierarquia específicas. Caches inclusivas são menos visadas dado que a propriedade de inclusão acaba por entrar em conflito com as políticas de inserção seletiva, que tornam o cache bypass eficiente. Desta forma, ao estudar o trabalho EMC, notou-se que por executar as operações no controlador de memória, quando necessitava de um dado, consultava a LLC. Por ser inclusiva, tem-se a garantia que caso o dado não esteja neste nível, não encontra-se no chip, e assim, os dados são requisitados diretamente a memória principal. Com mecanismos para prever quando os dados não se encontram no chip a partir do controlador de memória, isso permite que o núcleo requisite os dados diretamente a memória principal, contornando a hierarquia de cache. Quando habilitada esta possibilidade, isto permite que o desempenho do sistema aumente em até 40% para aplicações single-core e até 16% para conjunto de aplicações multi-core, enquanto apresenta uma redução no consumo de energia de até 28% para aplicações single-core e até 13% para conjuntos de aplicações multi-core das aplicações que compõe o SPEC CPU-2006 . Resultados de simulação mostram que utilizando um mecanismo de predição simples, extraímos em média 87,9% de todo o desempenho possível de ser alcançado ao contornar a cache durante buscas de dados. Palavras-chave: Cache bypass. Caches inclusivas. Predição de cache misses

Abstract: The difference in processor speed when compared to main memory has caused a disparity between the speed at which data is processed and the speed at which data can be served. Thus, it is necessary to develop a means for such data to be served faster. One such way is the use of faster, intermediate buffers located near the processor, the cache memories. These memories, over the years, were eventually organized into hierarchies to increase their effectiveness. However, such memories in certain scenarios may prove to be a delay for data transmission. In these scenarios, using means of bypassing such devices (Cache bypass) can yield considerable performance gains. However, given the diversity of design-time options for a cache, bypass is designed to achieve the best performance when used in a specific architecture and hierarchy. Inclusive caches are less targeted because the include property eventually conflicts with selective insert policies, which make cache bypass efficient. Thus, when studying EMC work, it was noted that when performing the operations on the memory controller, when in need of data, consulted the LLC. Because it is inclusive, it is guaranteed that if the data is not at this level, it is not on the chip, and thus the data is requested directly from the main memory. With mechanisms to predict when data is not on the chip from the memory controller, this allows the core to request data directly from the main memory, bypassing the cache hierarchy. When enabled, this allows system performance to increase by up to 40% for single-core applications and up to 16% for multi-core applications, while reducing power consumption by up to 28% for single-core and up to 13% for multi-core application sets of SPEC CPU-2006 applications. Our simulation results show that using a simple prediction engine, we could harvest on average 87.9% of all performance achievable by parallel data requests technique during data searches. Keywords: Caching bypass. Inclusive caches. Cache misses prediction