The Model Confidence Set

Abstract

This paper introduces the model confidence set (MCS) and applies it to the selection of models. A MCS is a set of models that is constructed such that it will contain the best model with a given level of confidence. The MCS is in this sense analogous to a confidence interval for a parameter. The MCS acknowledges the limitations of the data, such that uninformative data yield a MCS with many models, whereas informative data yield a MCS with only a few models. The MCS procedure does not assume that a particular model is the true model; in fact, the MCS procedure can be used to compare more general objects, beyond the comparison of models. We apply the MCS procedure to two empirical problems. First, we revisit the inflation forecasting problem posed by Stock and Watson (1999), and compute the MCS for their set of inflation forecasts. Second, we compare a number of Taylor rule regressions and determine the MCS of the best regression in terms of in‐sample likelihood criteria.

Evaluated the Success of Fractionally Integrated-GARCH Models on Prediction Stock Market Return Volatility in Gulf Arab Stock Markets

“…For deliberation, the latter employs a series of tests included the Superior Predictive Ability (SPA) test Hansen (2005) and the Model Confidence Set (MCS( test (Hansen, et al 2011). …”

Previsões macroeconômicas baseadas em modelos TVP-VAR: evidências para o Brasil

“…Ademais, em situações onde um grande número de modelos é avaliado, existe a possibilidade de ao menos um modelo ser melhor do que o benchmark e, mesmo assim, perder o teste de previsão (fenômeno também conhecido como "data snooping"), uma vez que testes estatísticos estão sujeitos a erros do tipo I ou II. Para contornar o problema de data snooping e realizar uma comparação mais adequada entre todos os modelos é aplicada a abordagem proposta por Hansen et al (2011), conhecida como model confidence set (MCS).…”

“…Entretanto, a metodologia model confidence set proposta por Hansen et al (2011) permite reduzir o número de modelos potenciais para um conjunto mais restrito -o conjunto de confiança de modelos -que contém o melhor modelo com determinado grau de confiança. Como são calculadas previsões para três variáveis macroeconômicas e para quatro horizontes de previsão distintos, modelos incluídos no MCS de todos estes casos têm maior chance de ser o melhor modelo de previsão.…”

“…Porém, tais métodos possuem algumas limitações, como comparação restrita a pares de modelos e avaliação relativamente a um único modelo benchmark, respectivamente. Com o intuito de superar as limitações do EPA e do SPA, Hansen et al (2011) desenvolveram o model confidence set (MCS). Uma vantagem de destaque no MCS é a possibilidade de efetuar comparações múltiplas, isto é, para um conjunto grande de modelos, sem a necessidade da definição de um modelo benchmark, como ocorre no SPA.…”

“…Uma vantagem de destaque no MCS é a possibilidade de efetuar comparações múltiplas, isto é, para um conjunto grande de modelos, sem a necessidade da definição de um modelo benchmark, como ocorre no SPA. No MCS é possível reduzir um conjunto de modelos para um conjunto menor que contém o(s) melhor(es) modelo(s) dado um nível de significância (Hansen et al, 2011). Essas características do MCS são fundamentais para o exercício empírico implementado neste trabalho, uma vez que são consideradas previsões realizadas por um conjunto grande de modelos e não há consenso sobre qual é o modelo a ser batido, e, portanto, qual deve ser o benchmark.…”