Web Survey Design and Administration

Abstract

Many claims are being made about the advantages of conducting surveys on the Web. However, there has been little research on the effects of format or design on the levels of unit and item response or on data quality. In a study conducted at the University of Michigan, a number of experiments were added to a survey of the student population to assess the impact of design features on resulting data quality. A sample of 1,602 students was sent an e-mail invitation to participate in a Web survey on attitudes toward affirmative action. Three experiments on design approaches were added to the survey application. One experiment varied whether respondents were reminded of their progress through the instrument. In a second experiment, one version presented several related items on one screen, while the other version presented one question per screen. In a third experiment, for one series of questions a random half of the sample clicked radio buttons to indicate their answers, while the other half entered a numeric response in a box. This article discusses the overall implementation and outcome of the survey, and it describes the results of the imbedded design experiments.

Effects of Questionnaire Design on Data Quality in Student Online Surveys

“…Сравнивались ответы на вопросы, заданные в одном из форматов: (1) радиокнопок (необходимо выбрать одну альтернативу из списка предложенных, поставив точку в соответствующий кружок); (2) слайдер (необходимо переместить «бегунок» на шкале от минимального значения к максимальному в такое положение, которое соответствует ответу); (3) окна для ввода данных (необходимо самостоятельно вписать свой ответ в соответствующее поле) [1, 5,6,8].…”

“…Купер и его коллеги исследовали влияние на качество данных двух форматов вопросов: (1) закрытых в формате радиокнопок и (2) открытых в формате окон для ввода данных [6]. Варианты «не знаю» и «нет ответа» были включены в список альтернатив в вопросах в формате радиокнопок.…”

“…Зарубежные исследования показывают, что расположение смежных вопросов на одном экране приводит к большей корреляции ответов на них, чем разделение их на несколько экранов либо расположение каждого вопроса на отдельном экране [6,10,16]. Часто такой вывод объясняется тем, что респондент, вероятно, воспринимает вопросы, расположенные близко физически (на одном экране) как близкие по концептуальному значению [16].…”

“…ноябрь-декабрь 2014 что использование таблиц значимо сокращает время заполнения и долю пропущенных данных [6]. При этом ответы в обоих форматах значимо не различались по степени внутренней согласованности, измеренной с помощью коэффициента альфа Кронбаха.…”

Where Am I? A Meta-Analysis of Experiments on the Effects of Progress Indicators for Web Surveys

“…Seven additional articles were excluded from the meta-analysis for the following reasons: There was not enough detail about the experiments (Braun Hamilton, n.d.), the progress indicator included a summary screen that indicated the sections remaining in the questionnaire (Spicer & Dowling, 2012), or there were confounding factors in the experiment, namely, time to load a page in the progress bar condition took longer for dial-up users in comparison to the control condition (Couper, Traugott, & Lamias, 2001;Forsman & Varedian, 2002). Studies presented in more than one publication were only used once (Conrad et al, 2003(Conrad et al, , 2005Heerwegh, 2004).…”