Novelty and imitation within the brain: a Darwinian neurodynamic approach to combinatorial problems

Abstract

Efficient search in vast combinatorial spaces, such as those of possible action sequences, linguistic structures, or causal explanations, is an essential component of intelligence. Is there any computational domain that is flexible enough to provide solutions to such diverse problems and can be robustly implemented over neural substrates? Based on previous accounts, we propose that a Darwinian process, operating over sequential cycles of imperfect copying and selection of neural informational patterns, is a promising candidate. Here we implement imperfect information copying through one reservoir computing unit teaching another. Teacher and learner roles are assigned dynamically based on evaluation of the readout signal. We demonstrate that the emerging Darwinian population of readout activity patterns is capable of maintaining and continually improving upon existing solutions over rugged combinatorial reward landscapes. We also demonstrate the existence of a sharp error threshold, a neural noise level beyond which information accumulated by an evolutionary process cannot be maintained. We introduce a novel analysis method, neural phylogenies, that displays the unfolding of the neural-evolutionary process.

Bayes and Darwin: How replicator populations implement Bayesian computations

“…First, explaining the adaptive potential of any Darwinian dynamics in Nature: those implemented on a genetic basis, and also those that have not been fully acknowledged, and where the usefulness of replicatorbased modeling is questionable at this point, such as memetics, [55,56] Darwinian neurodynamics [57,58,59,60] or quantum Darwinism. [61] Such explanations would mostly be based on either (i) finding global cost functions that evolutionary systems emergently optimize or (ii) relating the computations performed by the system to probabilistic computations that optimally extract information from external data.…”

Интуиция: Опыт Формального Исследования

“…Эффективный поиск в обширных комбинаторных пространствах, таких как возможные последовательности действий, лингвистические структуры или причинные объяснения, является важным компонентом интеллекта. Я, как и авторы работы [124], полагаю, что дарвиновский процесс, оперирующий последовательными циклами несовершенного копирования и отбора нейронных информационных паттернов, является многообещающим кандидатом на реализацию такого поиска (Darwinian neurodynamic approach to combinatorial problems: sequential cycles of imperfect copying and selection). Появляющаяся дарвиновская популяция паттернов активности (replicator populations) способна поддерживать и постоянно улучшать существующие решения в сложных комбинаторных ландшафтах вознаграждения [124].…”

“…Я, как и авторы работы [124], полагаю, что дарвиновский процесс, оперирующий последовательными циклами несовершенного копирования и отбора нейронных информационных паттернов, является многообещающим кандидатом на реализацию такого поиска (Darwinian neurodynamic approach to combinatorial problems: sequential cycles of imperfect copying and selection). Появляющаяся дарвиновская популяция паттернов активности (replicator populations) способна поддерживать и постоянно улучшать существующие решения в сложных комбинаторных ландшафтах вознаграждения [124]. По сути, это стохастический параллельный поиск, который а) не нуждается в локальной градиентной информации и б) автоматически перераспределяет свои вычислительные ресурсы от глобально плохих к глобально хорошим кандидатам на решение.…”

How the Brain Becomes the Mind: Can Thermodynamics Explain the Emergence and Nature of Emotions?

“…We applied the reversed Carnot (endothermic) cycle to characterize an ideal energy/information cycle with vanishing net entropy production between two cognitive states. To this end, we consider a Bayesian process that can capture a wide range of learning behavior [ 11 , 112 ].…”

“…Such an intelligent computation can be viewed as imperfect copying and selecting neural informational patterns according to the Darwinian process. It is thus conjectured that the Bayesian update and replicator dynamics of the above process is an ideal operation for record-keeping optimization and shaping activations [ 11 , 12 , 13 ].…”