Pseudo-Gibbs sampler for discrete conditional distributions

Kuo, Kun-Lin; Wang, Yuchung J.

doi:10.1007/s10463-017-0625-x

Cited by 3 publications

(2 citation statements)

References 8 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…If the Markov kernels are not compatible, then every scan order may produce a different target distribution. Kuo and Wang [21] thoroughly study the links between all possible systematic scan orders for Markov kernels on finite state spaces. The equiprobable random scan order has yet another target distribution.…”

Section: Deriving the Optimal Compromisementioning

confidence: 99%

“…Behind the practice of PIGS is the intuition that the Gibbs sampler should converge to the joint distribution that best represents the system of conditionals. Kuo and Wang [21] provide a detailed analysis and geometrical interpretation of the behavior of Pseudo-Gibbs Samplers for discrete conditional distributions. In particular, they show how the scanning order determines its stationary distribution.…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Optimal compromise between incompatible conditional probability distributions, with application to Objective Bayesian Kriging

Muré

2019

ESAIM: PS

View full text Add to dashboard Cite

Models are often defined through conditional rather than joint distributions, but it can be difficult to check whether the conditional distributions are compatible, i.e. whether there exists a joint probability distribution which generates them. When they are compatible, a Gibbs sampler can be used to sample from this joint distribution. When they are not, the Gibbs sampling algorithm may still be applied, resulting in a "pseudo-Gibbs sampler". We show its stationary probability distribution to be the optimal compromise between the conditional distributions, in the sense that it minimizes a mean squared misfit between them and its own conditional distributions. This allows us to perform Objective Bayesian analysis of correlation parameters in Kriging models by using univariate conditional Jeffreys-rule posterior distributions instead of the widely used multivariate Jeffreys-rule posterior. This strategy makes the full-Bayesian procedure tractable. Numerical examples show it has near-optimal frequentist performance in terms of prediction interval coverage.Résumé. Les modèles statistiques sont souvent définis par lois de probabilité conditionnelles plutôt que jointes. Il peut cependant être difficile de contrôler la compatibilité des lois conditionnelles, i.e. l'existence d'une loi jointe qui les engendre. Quand les lois conditionnelles sont compatibles, un échantillonneur de Gibbs peut être utilisé pour échantillonner selon la loi jointe dont elles procèdent. Dans le cas contraire, l'algorithme de l'échantillonneur de Gibbs peut parfois tout de même être appliqué. Une telle procédure est appelée « pseudo-échantillonneur de Gibbs ». Nous montrons que sa distribution stationnaire est le compromis optimal entre les lois conditionnelles, au sens où elle minimise un écart quadratique moyen entre elles et ses propres lois conditionnelles. Cela permet une analyse bayésienne objective des paramètres de corrélation de modèles de krigeage : nous utilisons des lois a posteriori de Jeffreys univariées conditionnelles plutôt que la très usitée loi a posteriori de Jeffreys multivariée. Cette stratégie rend la procédure pleinement bayésienne abordable. Des exemples numériques montrent que ses performances fréquentistes en termes de taux de couverture des intervalles prédictifs sont quasi-optimales.

show abstract

Section: Deriving the Optimal Compromisementioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%