The Influence of the Answer Box Size on Item Nonresponse to Open-Ended Questions in a Web Survey

Abstract

This article investigates item nonresponse in open-ended survey questions because such item nonresponse is much higher than in closed questions. The difference is a result of the higher cognitive burden placed on the respondent. To study item nonresponse, we manipulate different questionnaire design characteristics, such as the size of the answer box and the inclusion of motivation texts, as well as respondent-specific characteristics, in a randomized web experiment using a student sample. The results show that a motivation text increases the frequency of responses to open-ended questions for both small and large answer boxes. However, large answer boxes earn higher item nonresponse than small answer boxes regardless of the usage of a motivation text. In addition, gender and the respondent's field of study affected the answering of open-ended questions; being a woman or studying social sciences increased the frequency of a response. As the major finding and in contrast to previous findings, our results indicate that particularly large answer boxes should be avoided, because they reduce respondents' willingness to respond.

¿Cómo influye el tamaño del campo de texto en las respuestas a preguntas abiertas? Evidencias de un diseño experimental/The influence of box size on responses to open-ended questions: Results from a split-ballot experiment

“…3. Los campos de texto grandes suelen generar un mayor número de respuestas en blanco en comparación con los campos de texto pequeños (Keusch, 2014;Scholz & Zuell, 2012;Zuell, Menold, & Körber, 2014). En relación con la primera de las conclusiones, el efecto del tamaño del campo de texto sobre la extensión de la respuesta, Christian y Dillman (2004) encontraron que el mayor de los dos tamaños del campo de respuesta empleados en una encuesta autoadministrada en papel (Paper-and-Pencil, PAP) entre estudiantes universitarios resultó en un mayor número de palabras en las respuestas.…”

“…Sin embargo, la literatura muestra que los hallazgos no son consistentes al respecto. En este sentido, si bien diversos estudios que han utilizado cuestionarios auto-administrados han encontrado que el tamaño del campo de texto no afecta al número de respuestas en blanco (Christian & Dillman, 2004;Emde & Fuchs, 2012;Israel, 2006Israel, , 2010Smyth et al, 2009), estos resultados, como se verá más adelante, parecen no reproducirse en las encuestas online, donde diversos autores (Keusch, 2014;Scholz & Zuell, 2012;Zuell et al, 2014) han encontrado un aumento significativo en el número de respuestas en blanco cuando se emplean tamaños de texto grandes. Sobre la base de los hallazgos que han empleado cuestionarios auto-administrados, en el estudio que se presenta, se ha formulado la hipótesis de que el tamaño de los campos de texto no afectará al número de respuestas en blanco.…”

“…También Israel (2014) halló que incluir comentarios sobre la relevancia de la pregunta resultaba en un mayor uso de palabras y de temas tanto en las encuestas en papel como en las encuestas online. En línea con estos resultados, Zuell et al (2014), en una encuesta online con población universitaria, encontraron que la inclusión de comentarios motivacionales en las preguntas aumentaba la tasa de respuesta en preguntas abiertas, independientemente del tamaño del campo de texto.…”

Visualization of Questionnaire in Online Surveys: How Different Design Features Impact the Data Quality

“…Так, в ряде экспериментов было показано, что на ответы респондентов влияет размер окна для ввода текстовой информации [Christian, Dillman, 2004;Emde, Е. А. Терентьев, А. И. Нефедова, И. А. Груздев ТЕОРИЯ, МЕТОДОЛОГИЯ И МЕТОДЫ Fuchs, 2012;Zuell, Menold, Körber, 2014;Maloshonok, Terentev, 2016]. Увеличение размера окна привело к существенному увеличению среднего количества вве-денных символов, слов и тем.…”

Effects of Questionnaire Design on Data Quality in Student Online Surveys

“…Кристиан и М. МакБрайд в результате эксперимента, проведенного на студентах Университета штата Вашингтон, показали, что увеличение размера окна для ответа в онлайн-опросах имеет небольшой эффект на ответы так называемых ранних респондентов (ответивших на опрос в первые дни проведения исследования), но способствуют существенному улучшению качества ответов поздних респондентов [12]. В исследовании К. Зуел, Н. Менолд и С. Кебер обнаружено, что использование большого окна для ответа повышает долю респондентов, не ответивших на вопрос [19].…”