How can you tell if it’s working? Recent developments in impact evaluation and their implications for information literacy practice

Abstract

This paper surveys the (patchy and uneven) advances in LIS impact evaluation over the past ten years and notes the surge forward in public library impact evaluation, before looking more broadly at international and educational impact evaluation scene and noting the advance of programme-theory driven approaches. The authors then identify various trends drawn from the wider evaluation discourse that they think are likely to be relevant to information literacy (IL) practitioners, academic staff, employers and others who are concerned with impact evaluation of IL work.The trends identified are:growing clarity about the levels of evaluation expertise needed to deliver information literacy support from the perspectives of leaders of LIS education programmes, staff of academic institutions, library leaders and managers and IL practitioners,growing interest in more inclusive or democratic approaches to impact evaluationthe limitations of the simple logic model of evaluationre-purposing of existing data to meet new evaluation needscollecting and presenting stories of change as impact evaluation evidence.Implications for IL practitioners are offered in relation to each of these trends. The authors then predict that over the next ten years there will be a strong focus on whether IL interventions are having an impact in combating misinformation and disinformation; more systematic and sustained approaches to IL impact evaluation in the health and higher education sectors but less so in some school libraries and other settings. They think that the more proactive public libraries will adopt IL evaluation approaches, that workplace IL will continue to depend upon the organisational culture, and that research on information seeking in context will shed light on evaluation priorities. Finally, they hope that future IL work will be underpinned by programme theory-based evaluation.

Evaluating standards-based assessment rubrics in a postgraduate public health subject

“…La evaluación de impacto en esta investigación está dirigida a la medición de impacto de IL. 151 Kajaste et al 152 considera los procedimientos de aseguramiento externo de la calidad en las IES, la cual tiene en cuenta los aspectos que tienen un efecto positivo para promover la mejora de la calidad en las universidades.…”

n. 11 - PROPOSTA DE UM MODELO LÓGICO NA AVALIAÇÃO DO PROGRAMA CONTA PRA MIM

“…Essa é uma realidade complexa e complicada e, por isso mesmo, exige traçar objetivos realísticos para a execução do Programa (FUNNELL;ROGERS, 2011;MARKLESS;STREATFIELD, 2017;ROGERS, 2008).…”

“…No Brasil, programas educacionais são elaborados para tentar solucionar os problemas crônicos e estruturais que a educação pública apresenta. A educação opera em ambientes complexos e complicados, onde programas necessitam da coordenação e envolvimento de diferentes atores para a sua realização (MARKLESS;STREATFIELD, 2017;ROGERS, 2008). Um programa educacional recentemente lançado pelo Governo Federal é o Programa Conta pra Mim.…”

“…Qual problema o Programa pretende solucionar? Isso não é surpreendente, pois a literatura de avaliação frequentemente aponta que existe um hiato entre a proposta de programas e o que eles de fato alcançam em termos de resultados na prática (GERVAIS et al, 2015;MARKLESS;STREATFIELD, 2017;WEISS, 1998). Ao melhor de nosso conhecimento, até agora, nenhum trabalho realizou uma avaliação do Programa Conta pra Mim.…”

“…acredita que modelos lógicos simples são úteis para contextos simples de atuação; já para ambientes complexos e complicados, o ideal é construir modelos lógicos que considerem múltiplas causas contribuindo positiva ou negativamente para um mesmo resultado(MARKLESS;STREATFIELD, 2017). proposição de modelos lógicos para auxiliarem os práticos na gestão de seus programas tem sido comum e crescente na literatura(GERVAIS et al, 2015).…”