|
|
|
|
GOR 2001 Homepage
Indices
Management - Staff only
|
GOR 2001 - contentThis is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/contrib/rager-michael/rager-michael Document. Main Author: Rager, Michael Co-Authors: Weichbold, Martin; Institution: {} Contribution Title: WWW-Surveys: Erhöhung der Bearbeitungsquote durch Fragebogengestaltung? Authors Email: michael.rager@sbg.ac.at Abstract German (version: 25/06/2002 - 07:47, size: 1770) German: Der rasanten Entwicklung des Internet und auch der Internetforschung folgt eine systematische Erforschung der methodologischen Bedingungen erst zögerlich und mit einiger Verspätung. Die bislang übliche Anwendung der Erkenntnisse aus der klassischen Methodenforschung auf das neue Medium erweist sich zunehmend als nicht ausreichend. Eine Methodologie der Sozialforschung im Internet muss sich erst schrittweise entwickeln. Ein Schritt in diese Richtung ist die Untersuchung von Methodeneffekten. In einer WWW- Umfrage, die zwischen Oktober 2000 und Jänner 2001 online war, wurde versucht, die Frage nach dem Einfluss der Fragebogengestaltung auf Teilnahmemotivation und Abbruchrate zu analysieren. Zu diesem Zweck wurde eine Befragung über ein Internetportal einer Reisedestination in vier verschiedenen Fragebogenvariationen (zusätzlich jeweils in deutsch und englisch) durchgeführt. Alle Varianten enthielten die selben Fragen im gleichen Wortlaut und der gleichen Reihenfolge, unterschieden sich aber durch Ankündigung (als Gewinnspiel bzw. Umfrage), Form (durchgehender Fragebogen oder jede Frage einzeln), Feedback (Einblendung der „Zwischenstände“ nach Beantwortung einer Frage in Form einer Echtzeitstatistik) und Kontrolle (Nichtzulassen des Überspringens einer Frage durch Eingabeaufforderung). Untersucht wurde dabei der Einfluss der Ankündigung auf den Anteil der Teilnehmer unter den Portalbesuchern, Unterschiede in den Abbruchraten je nach Fragebogenvariante und Auswirkungen der Fragebogenvariante auf das Antwortverhalten. Derzeit (Dezember 2000) liegen erst vorläufige Ergebnisse vor, die jedoch auf signifikante Unterschiede zwischen den einzelnen Versionen hindeuten. English: The rapid development of the internet and the internet research is followed by a systematic research on its methodological conditions only slowly and with a certain lag. It becomes apparent that the transfer of classical methodological know-how to the new media is not enough. An own methodology of online research has to be found step by step. One step towards this goal is the examination of effects based on variation of methods. We ran a WWW-survey from October 2000 till January 2001, where we tried to find an answer to the question whether a varying questionnaire design has specific influence on the motivation to participate or break off surveys. For this purpose the interviews about the internet portal of a travel destination were carried out in four different questionnaire variations (additionally each variation in german and english). They all consisted of the same questions in the same wording and the same order but differed by announcement (as a lottery or a survey), form (continuous questionnaire or each question individually), feedback (insertion of standing/current results after each question) and check (impossibility of skipping a question). The version of the questionnaire shown to the participant was selected by random. We tested the influence of the announcement on the proportion of the participants among the portal visitors, differences in the abort/drop out rates depending on the questionnaire version and the effects of the questionnaire version on the responses. Although we have only preliminary results at this time (December 2000), we can expect significant differences between the individual versions. Article (version: 25/06/2002 - 07:47, size: 16770) Michael Rager Martin Weichbold (Institut für Kultursoziologie der Universität Salzburg) WWW-Surveys: Erhöhung der Teilnahmerate durch Fragebogengestaltung? 1. Einleitung Während Befragungen via Internet immer mehr Verbreitung finden und auch ihre technische Umsetzung zusehends aufwendiger und raffinierter wird, gibt es über die methodischen Eigenarten dieser Befragungsart bislang erstaunlich wenig Erkenntnisse. Eine systematische Grundlagenforschung zu einer sozialwissenschaftlichen Methodologie von Internetbefragungen ist nur bruchstückhaft auszumachen. Zu einem wesentlichen Teil liegt das wohl darin begründet, dass die Internetforschung bislang kaum akademisch etabliert ist, sondern überwiegend anwendungsorientiert von Unternehmen mit kommerziellem Interesse betrieben wird. Die gegenständliche Untersuchung ist ein Versuch, einen Beitrag zu diesen Grundlagen zu leisten. Konkret ging es darum, welche Einflüsse die Ankündigung und die Gestaltung eines Fragebogens auf die Rekrutierung der Teilnehmer und die Abbruchrate während der Befragung hat. Beide Fragen betreffen ja typische Problemstellungen bei Internetbefragungen, die jedoch aus unserer Sicht bislang nur unzureichend beantwortet wurden. Das Projekt wurde im Rahmen einer Diplomarbeit am Institut für Kultursoziologie der Universität Salzburg durchgeführt. 2. Untersuchungsdesign Das Projekt war so angelegt, dass ein Fragebogen zur Evaluierung des Internetauftrittes der Fremdenverkehrsbetriebe der Stadt Salzburg in vier Variationen gestaltet wurde. Alle vier Variationen waren bezüglich Abfolge und Formulierung der (je nach Filterführung rund) 14 Fragen identisch, unterschieden sich aber in der Ankündigung und der formalen Gestaltung. Identisch war auch die Stelle auf der Homepage, von der aus der Fragebogen über einen kurzen Ankündigungstext verlinkt war; welche Fragebogenversion sich dahinter verbarg, wurde bei jedem Aufruf der Homepage per Zufallsgenerator ausgewählt und lag somit nicht im Einfluss des Besuchers. Die vier Versionen waren - wie die zu evaluierende Homepage selbst - jeweils in deutscher und englischer Sprache verfügbar und im Zeitraum von Juli 2000 bis Januar 2001 online. Version eins betraf den Ankündigungstext: eine Fragebogenversion war auf der Homepage als "Gewinnspiel" angekündigt, am Startbildschirm der Befragung erfuhr der Besucher, dass er zuerst ein paar Fragen zu beantworten habe, bevor er "Salzburg-Cards" gewinnen konnte. Der Fragebogen selbst war mit einer Frage pro Screen gestaltet. Die drei anderen Versionen wurden gleichlautend als "Umfrage: wie gefällt Ihnen SalzburgInfo?" angekündigt. Version zwei wurde als durchgängiger Fragebogen im Paper&Pencil-Design gestaltet, bei der die Daten erst mit einem Submit-Button am Ende des Fragebogens gemeinsam abgeschickt wurden. Die beiden restlichen Variationen folgten wie die Version eins ("Gewinnspiel") dem Prinzip "One Screen - one Question", auch die Seitenformatierung war dieselbe. Die Unterschiede lagen hier im Feedback: bei Version drei wurde nach jeder Antwort eine Grafik mit dem aktuellen Zwischenergebnis zur entsprechenden Frage eingeblendet (Echtzeitstatistik), um die Motivation zum Weitermachen zu erhöhen. In der Version vier wurde der Versuch, eine Frage zu überspringen, mit einer höflichen, aber bestimmten Aufforderung, diese erst zu beantworten, verhindert. Zweck des gewählten Untersuchungsdesigns waren zum einen Erkenntnisse über Unterschiede in der Teilnahmerrate zwischen jenen Versionen, die als Umfrage und jener, die als Gewinnspiel angekündigt war und in der Abbruchrate während der Befragung zwischen allen vier Fragebogen-Variationen, wobei für die Paper&Pencil-Version nur die Relation von angeforderten und zurückgesendeten Fragebögen angegeben werden kann. 3. Ergebnisse 3a. Teilnahmemotivation durch Fragebogenpräsentation Wie erwartet war die Zugriffsquote bei der Ankündigung als "Gewinnspiel" deutlich höher: Während die Ankündigung "Umfrage" lediglich eine Zugriffsrate von rund 0,39 Prozent erreichte, wurde das Gewinnspiel von rund 0,78 Prozent der Besucher der Homepage angeklickt. Mit anderen Worten: rund jeder 128. Besucher, dem eine Gewinnmöglichkeit in Aussicht gestellt wurde, klickte den Hyperlink an, aber nur rund jeder 257. Besucher, der um die Teilnahme an der Umfrage gebeten wurde. Dies bedeutet, dass mit der "Gewinnspiel"-Ankündigung eine doppelt so hohe Teilnehmerquote erreicht werden konnte. Aber auch im weiteren Befragungsverlauf stellte sich die unterschiedliche Ankündigung als zentraler Faktor zur Motivation der Befragten heraus. Vom Link auf der Homepage gelangte man zunächst zur Startseite der Befragung, mit einem weiteren Klick schließlich zur ersten Frage. Von den 768 Besuchern, die über den Link auf der Homepage zum Startscreen gelangt waren, setzten 686 Personen oder knapp 90 Prozent die Befragung fort, indem sie mindestens eine Frage beantworteten. Neuerdings ist hier der Anteil unter jenen, die sich als Gewinnspielteilnehmer sahen, mit 95% gegenüber 87% bei den Umfrageteilnehmern deutlich höher. 3b. Präsentationseffekte auf die Abbruchrate
So trat ein Großteil der Fragebogenabbrüche bereits nach den ersten beiden Fragen im Interviewverlauf auf (über 40 Prozent der Befragten!), während die Abbrecherquote nach erfolgter Beantwortung dieser beiden Einstiegsfragen immer geringer wird. Entsprechend reduziert sich die Zahl der gültigen Antworten zunächst sehr stark, um dann in weiterer Folge des Interviews nur mehr leicht abzunehmen. Insgesamt beantworteten bei der Untersuchung lediglich 38 Prozent der Teilnehmer alle Fragen. Im Mittelpunkt des Interesses stehen an dieser Stelle aber die deutlichen Unterschiede zwischen den Fragebogenvariationen, wobei sich auch hier die Ankündigung als zentraler Faktor herausstellt.
Die formalen Variationen in der Fragebogengestaltung ergaben hingegen deutlich geringere Effekte. Brachen von den Probanden, die den Fragebogen auf der Startseite in Erwartung einer Umfrage angewählt hatten (und somit von der Existenz eines Gewinnspiels nicht vor der vollständigen Beendigung der Befragung informiert wurden) über ein Drittel die Befragung bereits bei der ersten Frage ab, erfolgte ein vorzeitiger Abbruch durch die Gewinnspiel-Teilnehmer in weitaus geringerem Ausmaß: Lediglich 15,6 Prozent dieser Gruppe beendetet ihre Mitarbeit schon nach dem Eröffnungsbildschirm. Nach der zweiten Fragen waren nur noch weniger als die Hälfte der Umfrageteilnehmer, aber fast drei Viertel der Gewinnspielteilnehmer an Board. Im weiteren Verlauf sind dann nur mehr geringe Unterschiede zwischen den Fragebogenversionen festzustellen, wie am annähernd parallelen Verlauf der Linien zu erkennen ist. Am Ende haben über die Hälfte der Untersuchungsteilnehmer, die den Fragebogen in der Gewinnspiel-Variation präsentiert bekamen, die Befragung auch bis zum Schluss vollständig bearbeitet. Demgegenüber hat lediglich rund ein Viertel der Personen, die den Fragebogen ohne diese Information über das Gewinnspiel vorgelegt bekamen, alle Fragen ausgefüllt. Wie erwähnt, resultiert dieser Unterschied überwiegend aus der Abbruchrate in den ersten beiden Fragen. Gruppiert man die Befragungsteilnehmer in solche, die spätestens nach Beantwortung der ersten Frage die Befragung abbrachen, jene die im weiteren Lauf der Befragung abbrachen und jene, die alle Fragen beantworteten, so zeigt sich folgende Ungleichverteilung:
Deutlich kommen hier die Unterschiede zwischen den beiden Ankündigungstexten des Fragebogens ans Licht: Während der Anteil der Unterwegsabbrecher annährend gleich ist, ergibt sich bei den Sofort- bzw. Nichtabbrechern deutliche Differenz: während beim Gewinnspiel das Verhältnis jener Personen, die die Befragung gleich zu Beginn beendet haben zu jenen, die alle fragen beantwortet haben 1 : 2 beträgt, ist es bei den Umfrageteilnehmern genau umgekehrt. Berücksichtigt man dazu noch die doppelt so hohe Teilnehmerrate beim Gewinnspiel, bedeutet das: die Wahrscheinlichkeit, mit der Ankündigung "Gewinnspiel" einen komplett beantworteten Fragebogen zu erhalten, ist vier mal so groß wie mit der Ankündigung einer Umfrage. 3c. Gestaltungseffekte auf die Abbruchrate Die "traditionelle" Paper&Pencil-Version kann sich dagegen bezüglich der Bearbeitungsrate (hier nur im Verhältnis von angeforderten und zurückgesendeten Fragebögen anzugeben) mit den "modernen" Gestaltungsformen ohne weiteres messen, sie schneidet sogar geringfügig besser ab:
Auf 100 Befragte kommen bei der Paper&Pencil-Version 36 zur Gänze beantwortete Fragebögen, bei der Eingabeaufforderung 32 und bei der Echtzeitstatistik lediglich 23. Zu berücksichtigen ist dabei freilich, dass bei den beiden zuletzt genannten Versionen die Angaben der Befragungsabbrecher - soweit sie vorliegen - verarbeitet werden können. Bei Paper&Pencil-Fragebögen liegen hingegen, abgesehen von fehlenden Angaben zu einzelnen Fragen nur vollständige Datensätze vor.
Zusammenfassend lässt sich also vorerst festhalten, dass sich vor allem mit der Ankündigung als Gewinnspiel eine deutlich höhere Teilnehmerrate erzielen ließ als mit der Umfrage. Die Aussicht auf einen möglichen Gewinn erhöhte offenbar die Aufmerksamkeit und verdoppelte die Zahl jener, die den Link anklickten. Aber auch die Abbrecherrate im Interviewverlauf sank deutlich. Die anderen Variationen hatten deutlich weniger Einfluss auf die Abbrecherrate, die Echtzeitstatistik hatte sogar negative Auswirkungen auf die Bearbeitungsrate. Mit der Ankündigung eines Gewinnspiels oder anderen Maßnahmen die Motivation potentieller Teilnehmer (mit anderen Worten: deren Zentralität) zu erhöhen, um damit eine größere Stichprobe zu realisieren, liegt angesichts dieser Ergebnisse nahe. Diese Vorgangsweise ist allerdings nicht unproblematisch, wenn man nicht nur Teilnehmer- bzw. Abbrecherzahlen vor Augen hat, sondern auch deren spezifisches Antwortverhalten berücksichtigt. Wie sich auch in einer Vergleichsstudie bestätigt hat, ist zunächst ein deutlicher, direkt proportionalen Zusammenhang zwischen dem Abbruchverhalten und dem Antwortverhalten bei Bewertungsfragen festzustellen. Ohne darüber zu spekulieren, welcher der beiden Faktoren abhängig, welcher unabhängig ist: Personen, die einen Fragebogen bis zur letzten Frage beantworten, geben positivere Antworten auf Bewertungsfragen, als jene, die während des Interviews abbrechen. Oder umgekehrt: bei Personen, die eine positivere Einstellung zum Befragungsgegenstand haben, besteht eine größere Wahrscheinlichkeit, dass sie diese Befragung auch zu Ende führen. Dieser Umstand ist auch in der Diskussion zu berücksichtigen, wie man generell mit Interviewabbrechern umgeht. Da diese, wie gesehen, meist in einer Anfangsphase des Interviews vorkommen, gibt es Vorschläge, mit den thematisch relevanten Fragen erst nach einer Warm-up-Phase zu beginnen; angesichts des deutlichen Zusammenhanges zwischen Abbruchverhalten und Bewertungen erscheint das als eine nicht unproblematische Vorgangsweise.
Vor diesem Hintergrund sind nun auch Maßnahmen zur Erhöhung der Zentralität durch Anreize (etwa das erwähnte Gewinnspiel) zu sehen: damit erhöht man nicht nur die Teilnehmerquote und das Durchhaltevermögen der Befragten, sondern bewirkt auch ein geändertes Antwortverhalten: wiederum werden auf Bewertungsfragen positivere Antworten gegeben. Bei der gegenständlichen Untersuchung wurden zu Beginn des Fragenkatalogs vier Fragen zur Bewertung der Homepage gestellt. Bei den fünfstufigen Antwortskalen lagen die Mittelwerte der "Gewinnspiel"-Teilnehmer zwischen 0,28 und 0,46 unter jenen der "Umfrage"-Teilnehmer (also eine positivere Bewertung). Drei der vier Mittelwertsunterschiede sind hochsignifkant (a < 0,01), einer aufgrund geringerer Stichprobengröße infolge einer vorhergehenden Filterfrage signifikant (a < 0,05).
Mit dem Schluss unserer Ausführungen knüpfen wir somit wieder am Beginn an: eingangs haben wir festgestellt, dass die methodologischen Erkenntnisse bezüglich der Online-Umfrageforschung noch sehr lückenhaft sind, insbesondere was größere Zusammenhänge betrifft. Es hat sich gezeigt, dass es zwar möglich ist, mit relativ einfachen Mitteln mehr Teilnehmer zu rekrutieren und die Abbruchrate zu reduzieren. Diese Maßnahme wirkt sich aber auch auf weitere zentrale Bereiche, hier das Antwortverhalten der Befragten, aus. Angesichts dieser Effekte wird der Bedarf basaler methodologischer Forschung und Erkenntnisse offensichtlich, um mehr über die zugrunde liegenden Mechanismen zu erfahren. |
