für ihre bahnbrechende Arbeit, die sie an der ersten ESOMAR Panel Conference 2005 pr�sentierten, erhielten Sandra Rathod und Andrea LaBruna die Auszeichnung als besten Beitrag für ihr Paper "Questionnaire Length and Fatigue Effects". Ihre Hauptschlussfolgerungen, heute so relevant wie damals, waren:

Seit 2004, dem Jahr in dem diese Untersuchung durchgef�hrt wurde, hat sich die Online-Welt, die Art wie die User das Web auffassen und nutzen, stark ver�ndert. Damals gab es noch kein YouTube, kein Facebook, kein Twitter, nicht einmal Lego Mindstorms.


Untersuchungsdesign 2009

Es wurden zwei Umfragen in Online-Panels konzipiert: eine lange, ausf�hrliche Fassung und eine auszugsweise, abgek�rzte Version. Beide Umfragen verwendeten einen Block-Design, d.h. der gesamte Fragebogen war in vier Fragenbl�cke unterteilt, wovon jeder ein anderes Thema behandelte. Die Fragenbl�cke wurden für jeden Befragten in der Reihenfolge randomisiert (zufallsgesteuert abgewechselt); so konnte der Effekt der Fragebogenl�nge auf die Antwortqualit�t untersucht werden. Dazu wurde verglichen. ob die verschiedene Reihenfolge der Bl�cke zu verschiedenen Antwortmustern f�hrte - je nach Position in der Umfrage. Im Sommer 2009 ging die Umfrage ins Feld mit den gleichen Stichprobenvorgaben und Befragungsabl�ufen wie 2004.


Antwortquoten

Kaum erstaunlich haben die Antwortraten (Beteiligung der Befragten an der Umfrage in Prozenten) in allen drei untersuchten Länder (F, UK, NL) im Verlauf der letzten 5 Jahre massiv abgenommen. In den Niederlanden waren sie am h�chsten gewesen und betrugen im Jahr 2004 59 % für die kurze und immerhin 49 % für die lange Version. Im Jahr 2009 war sie in beiden Versionen auf 13 % gefallen. Die deutlichen Unterschiede zwischen den erwähnten drei Ländern waren verschwunden. Im Durchschnitt aller drei Länder ergaben sich folgende Werte:

Durchschnitt
Langfassung Kurzfassung
  • Antwortquote 2004
  • 30 % 31 %
  • Antwortquote 2009
  • 10 % 10 %

    Sowohl 2004 wie auch 2009 hing die Antwortquote nicht von der Interviewl�nge ab, jedenfalls nicht bei dieser Interviewdauer.


    Abbrecherquote

    Als "Drop-Out Rate" wird der Anteil derjenigen Befragten bei einer Online-Umfrage bezeichnet, welche die Umfrage beginnen, jedoch nicht beenden und abschliessen. Diese Personen k�nnen aus der Befragung "ausgestiegen" sein infolge deren länge oder schlechten Designs oder wegen technischer Probleme. Studien zeigen, dass bei Umfragen mit hoch relevanten Themen (z.B. bez�glich der eigenen Gesundheit) die Abbrecherquote viel niedriger ist, selbst bei l�ngeren Fragebogen.

    Obschon die Antwortquote in diesem Zeitraum gefallen war, blieb die "Drop-Out Rate" bemerkenswert konstant. Das bedeutet, dass die Aufmerksamkeit oder das Commitment der Befragten die angefangene Aufgabe abzuschliessen, sich nicht wesentlich ver�ndert hat.

    Durchschnitt
    Langfassung Kurzfassung
  • Abbrecherquote 2004
  • 26 % 25 %
  • Abbrecherquote 2009
  • 24 % 26 %

    Sowohl 2004 wie auch 2009 war die Mehrzahl der Abbr�che zeitlich schon bis zur Mitte der Umfragen passiert.


    Interview- und Block-länge

    Die Gesamtl�nge der Interviews hat sowohl in der kurzen wie in der langen Version deutlich abgenommen - dies, obschon die Panelteilnehmer 2009 nicht mehr Erfahrungen mit derartigen Umfragen hatten als 2004.

    Durchschnittliche Interviewdauer in Minuten
    Langfassung Kurzfassung
  • 2004
  • 33 16
  • 2009
  • 24 12

    Eine der Hypothesen der 2004-Studie war, dass die Befragten - infolge Erm�dung - sich in den sp�teren Teilen des Fragebogens weniger Zeit nehmen und sich weniger anstrengen w�rden, als in den fr�heren Teilen. Diese wurde durch den Block-Design best�tigt. Es zeigte sich, dass für den gleichen Fragenblock umso weniger Zeit zur Beantwortung aufgewendet wurde, je weiter hinten der Block im Interview platziert war. 2009 ergab sich ein etwas anderes Bild. Die Bearbeitungszeit pro Block war zwischen den vier verschiedenen Positionen im Interview signifikant verschieden, folgte jedoch nicht dem erwarteten Muster; nur bei einem von vier Themenbl�cken nahm die aufgewendete Zeit in Minuten im Lauf des Interviews ab.


    Erm�dung und "Satisficing"

    Eine m�gliche Folge von Erm�dung ist eine Verhalten, das "satisficing" genannt wird - eine Art von "Minimalismus", d.h. gerade so viel zu arbeiten, dass die Aufgabe noch erledigt wird. Die Autorinnen der 2004-Studie w�hlten dazu eine einzelne Frage in jedem Block aus, die man �berspringen durfte. Es handelte sich um einen Satz von Skalen mit Schieber, welche das Engagement für das Thema messen sollten. Der Schieberstab war so vorgegeben, dass er in der Mitte der Skala positioniert war und es erm�glichte, auf "WEITER" zu klicken ohne den Schieber zu bewegen. Es zeigte sich, dass diese �berspringbare Frage h�ufiger ausgelassen wurde, wenn sie weiter hinten im Fragebogen platziert war. 2009 fand man das genau gleiche Muster. Wenn die Befragten fr�her im Interview auf diese Frage stiessen, wurde sie eher beantwortet, als sp�ter im Interview. Dies traf vor allem für die lange, weniger für die kurze Fassung zu. Die Verk�rzung der Interviewdauer von 2004 auf 2009 hatte kaum einen Einfluss darauf. Mit 25 Minuten war die Langfassung immer noch zu lange.

    Ein bestimmter Fragenblock bot eine ideale Gelegenheit, um vors�tzliche T�uschungsman�ver aufzudecken. Eine ganze Fragenbatterie konnte ausgelassen werden, wenn der Befragte angab, nicht in einem Kurzurlaub gewesen zu sein. Da die Befragten zufallsgesteuert diesen Block an erster, zweiter, dritter oder vierter Stelle zugeteilt erhielten, w�rde man annehmen, dass sich gleich viele für diese Frage qualifizieren w�rden, unabh�ngig davon, wo der Block positioniert war und ebenso, dass sich die lange und die kurze Fassung diesbez�glich nicht unterscheiden w�rden. Die Datenauswertung zeigte, dass dies in beiden Jahren nicht der Fall war. Am meisten (68 %) Befragte qualifizierten sich in der Kurzfasssung für diesen Fragenblock und zwar dann, wenn der Fragenblock an erster Stelle im Interview pr�sentiert wurde - wenn also die Befragten noch "frisch" waren. Der Anteil sank kontinuierlich, wenn der Fragenblock nach weiter hinten geschoben wurde, und er machte schliesslich nur noch 50 % am Schluss des Interviews aus. In der Langfassung war es �hnlich: am Anfang qualifizierten sich 64 %, am Schluss noch 47 %.

    Die Datenqualit�t kann auch am Engagement der Befragten bei offenen Fragen gemessen werden. Die Resultate der Langfassung zeigen klar, dass erstens die Anzahl eingetippter Buchstaben pro Frage abnimmt, wenn die offenen Fragen weiter hinten im Fragebogen platziert werden, und dass zweitens die Anzahl der Buchstaben im Lauf der letzten 5 Jahre abgenommen hat. In der Kurzfassung trifft dieses Ph�nomen weniger ausgepr�gt auf.

    Quellen:

    Zusammenfassung/Schlussfolgerungen

    Im Wesentlichen werden 2009 die Hypothesen einer bahnbrechenden Untersuchung von 2004 best�tigt. Die umfangreichere Umfrage erwies sich als zu lange. Sie war erm�dend für die Befragten und f�hrte zu "minimalistischem" Verhalten. Wo Fragen �bersprungen werden konnten, wurde dies gemacht. Die Befragten nahmen sich sp�ter im Interview infolge Erm�dung weniger Zeit für die Fragen und strengten sich weniger an als am Anfang des Interviews. Auch in der 2009-Studie war eine weitere Folge kognitiver Erm�dung das "Satisficing" - sich nur gerade so stark zu bem�hen, dass die Aufgaben befriedigend gel�st werden konnten. Die Antworten auf offene Fragen waren weniger ergiebig. Besorgniserregend war die Feststellung, dass F�lle von Schwindeln, d.h. absichtlich und vors�tzlich falsche Aussagen zu machen, um einen ganzen Abschnitt des Fragebogens �berspringen zu k�nnen, im Verlauf des Interviews zunahmen. Aus der 2004- und der 2009-Studie zogen die Autoren den Schluss, dass es einen kritischen Punkt in Online-Umfragen gibt, wo die Erm�dungseffekte signifikant st�rker werden. Der kritische Zeitpunkt liegt um die 20-Minuten-Marke. 25-min�tige oder noch l�ngere Surveys sind jedoch in der Branche nichts Ungew�hnliches und werden z.T. für "normal" oder sogar eher kurz gehalten. Aus eigener Erfahrung ist uns bekannt, dass noch vor etwa 15 Jahren in einem Schweizerischen Sozialforschungsinstitut 13- bis 14-seitige Fragebogen mit 50 bis 70 Minuten Befragungsdauer - damals noch mit pers�nlichen Interviews - die Regel waren. Gut konzipierte und professionell gestaltete Umfragen k�nnen gute Resultate erbringen; die Tatsache, dass die Kurzfassung weniger Satisficing und T�uschung produzierte, best�tigt dies. Wenn die Forscher sich bem�hen, die Fragebogen k�rzer zu halten, tragen sie nicht nur dazu bei, die Antwortqualit�t h�her zu halten, sondern sie schaffen auch motiviertere und auskunftsfreudigere Befragte. Vielleicht hat die Unf�higkeit oder Unwilligkeit, diese Warnungen zu ber�cksichtigen, zum allgemeinen R�ckgang der Antwortquoten und der Antwortqualit�t in den letzten Jahren beigetragen.


    Kommentar Rolf Schoch

    Die hier vorgestellten empirischen Untersuchungen behandeln zwar nur einen Teilaspekt - sie geh�ren jedoch in einem allgemeineren und grunds�tzlicheren Zusammenhang zum Themenbereich Validit�t (G�ltigkeit) und Zuverl�ssigkeit (Reliabilit�t) der Umfrageforschung.

    Dass die Fragebogenl�nge/Interviewdauer die Qualit�t von Umfrageergebnisse beeinflusst - je l�nger, desto schlechter- wird in der Marktforschungspraxis schon seit langem als selbstverst�ndlich angenommen. Nicht umsonst legen bei Multiclient-Studien die Auftraggeber jeweils grossen Wert darauf, dass "ihre" eigenen Fragen in einem Omnibus-Fragebogen am Anfang und nicht am Schluss stehen - wohl mit einiger Berechtigung. Das Verdienst der hier vorgestellten beiden Studien sehen wir darin, dass sie diesen vermuteten Zusammenhang, vermutlich zum ersten Mal, empirisch untersuchen und quantitativ belegen. Sie best�tigen mit ihren Ergebnissen bisherige intuitive Annahmen und Vermutungen von Marktforschungsinstituten und -kunden.

    Eine interessante und wichtige Frage in diesem Zusammenhang ist, wie die Erm�dung der Befragten nicht nur die formalen Aspekte eines Surveys (wie z.B. Antwortquote, Abbruchquote, Interviewdauer in Minuten etc.) beeinflusst, sondern auch die inhaltlichen Aspekte, d.h. die Antworten und die substantiellen Ergebnisse einer Umfrage. Wie ver�ndern sich die Antworth�ufigkeiten, wenn Fragen im Fragebogen nach hinten oder gegen das Ende zu verschoben werden? Wie ver�ndern sich z.B. die H�ufigkeitsverteilungen von Awareness- oder Imagevariablen, wenn die entsprechenden Fragen am Anfang, in der Mitte oder am Ende der Befragung platziert werden? Darüber geben diese beiden Studien leider keine Auskunft und es sind uns auch keine anderen Studien bekannt, die dazu harte Daten bieten.

    Zum Artikel von Cape: Die Verk�rzung der Interviewdauer im Jahr 2009 gegenüber 2004 k�nnte u.a. auch - dies eine alternative Erkl�rung - durch Verbesserungen in der Technologie (schnellere Breitbandverbindungen) sowie deren geschicktere und professionellere Handhabung durch die Panelteilnehmer bei Internet-Umfragen erkl�rt werden. Neben der Fragebogenl�nge d�rften weitere Faktoren einen Einfluss auf die Antwortquote und die Erm�dung aus�ben - so z.B. Abwechslung, Auflockerung und Vielfalt oder umgekehrt Monotonie und Langweiligkeit der Fragen. Dies erinnert an die Mahnung von Elisabeth Noelle, der Altmeisterin der deutschen Demoskopie: "Die richtige oder tragbare Dauer eines Interviews ist nicht allein nach der Uhr zu messen. ... Die richtige Dauer eines Interviews ist nicht mechanisch, sondern nach psychologischem Masse zu bestimmen. Indem man Fragen hinzuf�gt, kann man ein Interview psychologisch verk�rzen"; Noelle-Neumann, Elisabeth & Petersen, Thomas (1996): Alle, nicht jeder. Einf�hrung in die Methoden der Demoskopie. M�nchen: dtv Deutscher Taschenbuch Verlag, S. 125-126.