Optimal Monetary Policy Using Reinforcement Learning

Abstract

Monetary policy is often described by a simple interest rate reaction function, responding to inflation and the output gap. While this approach is meant to represent the actual interest rate setting behaviour of a central bank, the question arises to what extent the policy function is optimal with respect to fulfilling given inflation and output gap targets. ContributionThis paper contributes to the discussion by introducing a machine learning based approach called reinforcement learning (RL) to compute optimal interest rate reaction functions. The method allows to incorporate restrictions like the zero lower bound, nonlinear economy structures as well as uncertainty about these. In a first step, we use quarterly U.S. data from 1987-2007 to estimate model transition equations for inflation and the output gap, relying either on a linear structural vector autoregressive (SVAR) model or on a nonlinear artificial neural network (ANN) representation. In the second step, we apply RL to compute optimal reaction functions that are also specified by (nonlinear) ANNs. In doing so, we assume that the estimated model equations remain valid, irrespective of changes in the reaction function. ResultsConcerning the model equations, we find that the ANN specification is able to capture nonlinearities present in the data, improving the fit compared to the SVAR model. The results over the sample from 1978-2007 show that all RL optimized reaction functions outperform other common policy functions as well as the actual observed interest rate. In particular, the nonlinear RL reaction functions stand out positively, as measured by the assumed central bank loss function, penalizing deviations of inflation and the output gap from their targets. A model comparison exercise further indicates robustness of the linear RL reaction functions. Nichttechnische Zusammenfassung Fragestellung Geldpolitik wird oft durch eine einfache Reaktionsfunktion des Zinses auf Inflation und Produktionslücke dargestellt. Während es dabei um eine Beschreibung der tatsächlichen Zinssetzung einer Zentralbank geht, stellt sich die Frage nach der Optimalität: Welche Reaktionsfunktion ist am besten geeignet, um gegebene Ziele für Inflation und Produktionslücke zu erreichen? Beitrag Wir stellen einen neuen Ansatz aus dem Bereich des maschinellen Lernens zur Berechnung optimaler Zinsreaktionsfunktionen vor. Die Methode des sogenannten " verstärkenden Lernens" (reinforcement learning -RL) erlaubt es, Restriktionen wie eine Zinsuntergrenze, nichtlineare ökonomische Zusammenhänge sowie Unsicherheit über diese Zusammenhänge einzubeziehen. Anhand vierteljährlicher US-Daten von 1978-2007 schätzen wir im ersten Schritt Modellgleichungen für Inflation und Produktionslücke. Dazu verwenden wir entweder ein lineares strukturelles vektorautoregressives (SVAR) Modell oder nichtlineare künstliche neuronale Netze (artificial neural networks -ANN). Im zweiten Schritt ermitteln wir anhand von RL optimale Reaktionsfunktionen, die ebenfalls die Form eines (nichtlinearen) ANN haben. Dabei...