On some properties of stochastic information processes in neurons and neuron populations

Matsuyama, Yasuo; Shirai, Katsuhiko; Akizuki, Kageo

doi:10.1007/bf00274585

Cited by 15 publications

(2 citation statements)

References 17 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…In the cognitive modeling literature, SDEs have been used to model human reaction time distributions (Ratcliff, 1979) and to illustrate the principles of random, graded, and interactive propagation of information (McClelland, 1993). In the neural network literature, SDE models have been used explicitly or implicitly to describe single neuron activity (Gerstein & Mandelbrot, 1964;Ricciardi, 1977;Hanson & Tuckwell, 1983), small pools of neurons (Matsuyama, Shirai & Akizuki, 1974) and noisy neural networks (Zipser, 1991;Ohira & Cowan, 1995).…”

Section: Introduction To Sdesmentioning

confidence: 99%

A Learning Theorem for Networks at Detailed Stochastic Equilibrium

Movellan

1998

Neural Computation

View full text Add to dashboard Cite

This article analyzes learning in continuous stochastic neural networks de ned by stochastic differential equations (SDE). In particular, it studies gradient descent learning rules to train the equilibrium solutions of these networks. A theorem is given that speci es suf cient conditions for the gradient descent learning rules to be local covariance statistics between two random variables: (1) an evaluator that is the same for all the network parameters and (2) a system variable that is independent of the learning objective. While this article focuses on continuous stochastic neural networks, the theorem applies to any other system with Boltzmann-like equilibrium distributions. The generality of the theorem suggests that instead of suppressing noise present in physical devices, a natural alternative is to use it to simplify the credit assignment problem. In deterministic networks, credit assignment requires an evaluation signal that is different for each node in the network. Surprisingly, when noise is not suppressed, all that is needed is an evaluator that is the same for the entire network and a local Hebbian signal. This modularization of signals greatly simpli es hardware and software implementations. The article shows how the theorem applies to four different learning objectives that span supervised, reinforcement, and unsupervised problems: (1) regression, (2) density estimation, (3) risk minimization, and (4) information maximization. Simulations, implementation issues, and implications for computational neuroscience are discussed.

show abstract

Section: Introduction To Sdesmentioning

confidence: 99%

A Learning Theorem for Networks at Detailed Stochastic Equilibrium

Movellan

1998

Neural Computation

View full text Add to dashboard Cite

show abstract

“…They are extended to the most general case here, including time-dependent rates and amplitudes. The derivation follows the lines of earlier work (Capocelli and Ricciardi 1971;Matsuyama et al 1974;Lánský 1984). Inhomogeneity in time may arise through modulation of the pulse amplitudes α k (t) as well as of the pulse rates λ k (t), both of which are assumed to be sufficiently smooth.…”

Section: Derivation From Stein's Modelmentioning

confidence: 99%

Aspects of Signal Processing in Noisy Neurons

Ekkehard¹

View full text Add to dashboard Cite

Signalverarbeitung in Neuronen unter dem Einfluß . . . v ab, wobei die Proportionalitätskonstante wiederum vom Gleichstromanteil des Reizes bestimmt wird (Basisstrom, base current). Während große Basisströme Frequenz und Amplitude nahezu entkoppeln, so daß Reize beliebiger Amplitude in zeitlich wohlstrukturierten Pulsfolgen kodiert werden, erlauben es kleine Basisströme, das optimale Frequenzband durch Veränderung der Reizamplitude zu wählen. Da Pulspakete nur dann durch ein neuronales Netzwerk propagieren können, wenn sie genügend groß und zeitlich hinreichend scharf sind (Diesmann et al. 1999), könnte die stochastische Doppelresonanz der selektiven Signalverarbeitung mit Hilfe sogenannter Synfire-Ketten zugrundeliegen (Abeles 1991). Als ein weiteres Ergebnis wird gezeigt, daß stochastische Resonanz lediglich als Artefakt einer kaum haltbaren Modellannahme auftritt, wenn zur Vereinfachung der mathematischen Behandlung vorausgesetzt wird, daß der Reiz nach jedem vom Neuron abgefeuerten Puls auf eine feste Phase zurückgesetzt wird (Reizung mit Nebenbedingung, constrained stimulation). Diese Ergebnisse zur Signalverarbeitung fußen auf einigen methodischen Neu-bzw. Fortentwicklungen, die insbesondere alle diejenigen Fragen beantworten, die Gammaitoni et al. (1998, Sec. V.C.4) in einem unlängst erschienenen Übersichtsartikel aufwerfen. Zunächst wird ein zuverlässiges numerisches Verfahren zur Bestimmung der Intervallängenverteilung entwickelt. Dieses wird ergänzt durch verbesserte und erstmals quantitativ geprüfte Näherungen für diese Verteilungen. Während die Lösungen des Erstpassagezeitproblems des Ornstein-Uhlenbeck Prozesses nur in impliziter Form vorliegen, ermöglichen diese Näherungen, speziell das Arrheniusmodell mit Stromterm (Arrhenius&Current model), analytische Untersuchungen in in weit größerem Umfang. Zur Analyse von Pulsfolgen, die von periodischen Pulsfolgen ohne Rücksetzen erzeugt werden (unconstrained stimulation), wird eine Markoffkettenanalyse entwickelt, die es insbesondere erlaubt, das Leistungsspektrum der Pulsfolge und damit deren Signal-Rausch-Verhältnis zu bestimmen. Ebenso kann die Pulsintensität (spike intensity) berechnet werden, die in der Vergangenheit wenig Beachtung gefunden hat, obwohl sie ausgezeichnet geeignet ist, um die Reizantwort des Neurons zu veranschaulichen. Für den Fall der Reizung mit Nebenbedingung werden einige Methoden aus der Theorie der Erneuerungsprozesse abgeleitet. Programmcode für alle neu entwickelten Verfahren wird öffentlich zugänglich gemacht (Plesser 1999). Die Dissertation gliedert sich wie folgt: Kapitel 1 gibt einen ausführlichen Überblick über die Problemstellung, bevor das Ornstein-Uhlenbeck Neuron in Kapitel 2 eingeführt wird. Näherungen für die Intervallverteilung werden in Kapitel 3 untersucht, während in Kapitel 4 die Markoffkettenmethode entwickelt und geschlossene Ausdrücke für die spektrale Leistungsdichte und das Signal-Rausch-Verhältnis abgeleitet werden. Die Ergebnisse dieser Dissertation sind in Kapitel 5 dargestellt und werden in Kapitel 6 zu...

show abstract

On some algorithmic and computational problems for neuronal diffusion models

Giorno¹,

Nobile²,

Ricciardi³

1994

Lecture Notes in Computer Science

View full text Add to dashboard Cite

In this work we consider some one-dimensional diffusion processes arising in single neurons' activity modelling and discuss some of the related theoretical and computational first passage time problems. With reference to the Wiener and the Ornstein-Uhlenbeck processes, we outline some theoretical methods and algorithmic procedures. In particular, the relevance of the computational methods to infer about asymptotic trends of the firing pdf is pointed out

show abstract

On some properties of stochastic information processes in neurons and neuron populations

Cited by 15 publications

References 17 publications

A Learning Theorem for Networks at Detailed Stochastic Equilibrium

A Learning Theorem for Networks at Detailed Stochastic Equilibrium

Aspects of Signal Processing in Noisy Neurons

On some algorithmic and computational problems for neuronal diffusion models

Contact Info

Product

Resources

About