Acelerando requisições de prováveis cache misses com requisições em paralelo cache/DRAM

Abstract

O uso de hierarquias de memória cache multi-níveis apresentam resultados interessantes quanto a exploração da localidade temporal e espacial no decorrer da execução de um programa. Ao manterem o conjunto de dados mais frequentemente acessados ou os prováveis dados a serem acessados próximos ao processador, as memórias cache proveem um acesso mais rápido ao dados, quando comparado ao acesso a memória principal. Entretanto, para programas com baixa localidade espacial e temporal, a hierarquia de memórias cache pode apresentar-se como uma barreira para a busca de dados na memória principal. Ou seja, para programas que não tiram proveito das memórias cache, essas acabam por adicionar um overhead no acesso aos dados, pois a busca de dados é feita inicialmente na hierarquia de cache antes de ser encaminhada para a memória principal. Por outro lado, os fabricantes de processadores evitam o envio paralelo de requisições de dados para a memória cache e a memória principal, a fim de evitar inundação de falsas requisições no controlador de memória. Com essa perspectiva, nesse artigo nós apresentamos o uso de um preditor simplificado de faltas de dados no LLC que, ao prever se uma requisição acabará por ser um LLC miss, induz o processador a efetuar uma requisição diretamente a memória principal, em paralelo a tradicional busca de dados percorrendo toda a hierarquia de cache. Em nossas simulações, o encaminhamento de requisições diretamente a memória principal, com base em nosso mecanismo apresentou um ganho de desempenho de até 40% quando single-core e até 14% quando multi-core.

DyCa: Dynamically Adaptable Cache Bypassing Mechanism

“…Köhler and Alves [Köhler and Alves 2019] use a possible misses predictor in the LLC request. If a request was classified as a miss by the predictor, the request bypasses the LLC, saving extra cycles of latency.…”