Estimation of the Entropy of Long Code Words at the Output of a Neural Network Biometrics Converter in Spaces of Hamming Convolutions

Abstract

Работа построена на учете дискретного характера спектра состояний нейросетевого преобразователя биометрических данных в код длиной 256 бит. Вычислить энтропию кодов такой длины по Шеннону технически невозможно. Предложено от обычных кодов перейти в пространстве расстояний Хэмминга. В этом случае число выходных состояний свертывается и вычисления оказываются выполнимы на обычной вычислительной машине. Даются примеры спектров расстояния Хэмминга для идеального «белого» шума, вычисленные в резных системах счисления (в системах с резным модулем). С ростом модуля, по которому вычисляется расстояние Хэмминга, быстро растет число учитываемых спектральных линий. Дана таблица значений амплитуд вероятности состояний простейшей хи-квадрат молекулы, настроенной на обработку сверток Хэмминга по модулю 2, 3, 4, …, 247. Приводится формула вычисления состояний двухуровневой молекулы Хэмминга, вычисляющей расстояния Хэмминга на двух уровнях. Проведением численных экспериментов доказывается, что предложенный алгоритм позволяет оценивать энтропию длинных кодов на малых выборках с привлечением обычных вычислительных машин. При этом преобразования для разных систем отсчета (для сверток Хэмминга, вычисленных по разному модулю) дополняют друг друга. Ошибки вычислений для сверток Хэмминга, вычисленных по разным модулям, оказываются не коррелированными. Это позволяет надеяться на то, что предложенный метод позволит достаточно точно оценивать близость кодов длиной 256 бит к идеальному «белому» шуму.Принципиально важным является то, что все свертки Хэмминга, независимо от системы счисления, в которой они вычислены, всегда позволяют логарифмически уменьшать число рассматриваемых состояний. Это в конечном итоге и позволяет упростить задачу и оценивать энтропию длинных кодов на обычной вычислительной машине с привлечением малых выборок в несколько сотен тестовых примеров.