Thinking Inside the Box

Abstract

While the visual design of a question has been shown to influence responses in survey research, it is less understood how these effects extend to assessment-based questions that attempt to measure how, rather than just what, a respondent thinks. For example, in a divergent thinking task, the number and elaboration of responses, not just how original they are, contribute to the assessment of creativity. Using the Alternative Uses Task in an online survey, we demonstrated that scores on fluency, elaboration, and originality, core constructs of participants' assessed creative ability, were systematically influenced by the visual design of the response boxes. The extent to which participants were susceptible to these effects varied with individual differences in trait conscientiousness, as several of these effects were seen in participants with high, but not low, conscientiousness. Overall, our results are consistent with previous survey methodology findings, extend them to the domain of creativity research, and call for increased awareness and transparency of visual design decisions across research fields.

A New Perspective on the Multidimensionality of Divergent Thinking Tasks

“…Clearly, there is no unanimous way to score DT responses for creative quality (see also Reiter-Palmon et al, 2019). In the current work, a creative quality score that is based on all classic indicators of originality will be used because this approach has been used more extensively over recent years (e.g., Silvia et al, 2008, 2009; Hass, 2015, 2017; Hofelich Mohr et al, 2016).…”

The Machines Take Over: A Comparison of Various Supervised Learning Approaches for Automated Scoring of Divergent Thinking Tasks

“…DATA AND FEATURE ENGINEERING For our analysis, we used two DT data sets by Silvia et al (2008) andHofelich-Mohr et al (2016), both containing rated responses from AUTs. While the former data set contains 3,432 responses to alternative uses of brick and knife rated by three human judges, the latter contains 3,870 responses to alternative uses of brick and paperclip rated by four human judges.…”

“…We obtained similar results when computing correlations on the person-level. Figure 6 shows that RF using the combined feature set performs best, achieving scores from .72 to .75 for the Hofelich-Mohr et al (2016) data and from .58 to .65 for the Silvia et al (2008) data.…”

¿Cómo influye el tamaño del campo de texto en las respuestas a preguntas abiertas? Evidencias de un diseño experimental/The influence of box size on responses to open-ended questions: Results from a split-ballot experiment

“…Por otro lado, con la creciente popularidad de las encuestas multi-modo y la diversificación de los procedimientos de recogida de datos, se ha encontrado que los efectos de las manipulaciones en el diseño visual de los cuestionarios pueden diferir dependiendo de los procedimientos elegidos para administrar los cuestionarios (Mohr et al, 2015). En este sentido, como se apuntaba en párrafos anteriores, diversos estudios han encontrado que las preguntas abiertas en las encuestas online generan menos respuestas en blanco y contestaciones más largas, con un mayor número de temas, que las encuestas auto-administradas en papel (Barrios, Villarroya, Borrego, & Ollé, 2010;Deutskens, de Ruyter, & Wetzels, 2006;Hedberg, Wallace, & Cesar, 2013;Kwak & Radler, 2002;MacElroy, Mikucki, & McDowell, 2002).…”

“…Las preguntas abiertas, en cambio, han recibido una menor atención en la literatura y el conocimiento acumulado es menor. A pesar de ello, recientes estudios han puesto de relieve la importancia que tiene el tamaño del campo de texto 1 en este tipo de preguntas, pues proporciona información a los encuestados sobre las expectativas que el investigador tiene acerca del tipo, la estructura o la extensión de las respuestas deseadas (Mohr, Sell, & Lindsay, 2015), lo que puede condicionar las respuestas de los encuestados. Considerando la escasa literatura previa en este ámbito, el objetivo principal de este trabajo consiste en examinar cómo afecta el diseño visual de las preguntas abiertas, concretamente el espacio proporcionado para responder, a las respuestas que ofrecen los participantes a una serie de preguntas incluidas en una encuesta auto-administrada en papel.…”