Pruning Weightless Neural Networks

Abstract

Weightless neural networks (WNNs) are a type of machine learning model which perform prediction using lookup tables (LUTs) instead of arithmetic operations. Recent advancements in WNNs have reduced model sizes and improved accuracies, reducing the gap in accuracy with deep neural networks (DNNs). Modern DNNs leverage "pruning" techniques to reduce model size, but this has not previously been explored for WNNs. We propose a WNN pruning strategy based on identifying and culling the LUTs which contribute least to overall model accuracy. We demonstrate an average 40% reduction in model size with at most 1% reduction in accuracy.

Uma Arquitetura de Rede Neural com Auxílio da Nuvem para Dispositivos Computacionalmente Limitados

“…Há alternativas para otimizar o tamanho e o desempenho do modelo WiSARD, como o uso de hashes e filtros de Bloom, possibilitando até mesmo implementá-los em FPGAs [Bloom, 1970, Santiago et al, 2020, Susskind et al, 2022. Porém, essas alternativas utilizam estruturas de dados que podem não ser viáveis em dispositivos mais limitados.…”

“…Também é possível implementar redes neurais em dispositivos de baixo poder computacional utilizando tipos de redes neurais que otimizam o espac ¸o em memória e o processamento, como redes neurais sem peso (Weighless Neural Networks -WNNs) [Aleksander et al, 2009, Aleksander et al, 1984 e redes neurais binarizadas (Binarized Neural Networks -BNNs) [Hubara et al, 2016, Rastegari et al, 2016. As WNNs já são aplicadas diretamente em FPGAs (Field Programmable Gate Arrays) [Torres et al, 2020], [Susskind et al, 2022] e há estudos voltados para aplicac ¸ão de BNNs em sistemas embarcados [McDanel et al, 2017]. Uma limitac ¸ão das WNNs e BNNs é que a simplicidade desses modelos se reflete em suas acurácias, tipicamente mais baixas do que a de modelos mais robustos.…”