Tatsachlich haben die meisten Leute nichts dagegen, an einer Umfrage teilzunehmen. So lange es praktisch ist, sind die meisten bereit, ein paar Minuten ihrer Zeit mit Fragen beantworten zu verbringen und damit "etwas Gutes" zu tun. Von all den Gründen, an einem Survey mitzumachen, stehen das Gefühl, "einen Beitrag zu leisten" und der "Fun"-Aspekt immer noch zuoberst. Warum denn die erwähnte negative Entwicklung? Was lief falsch? Das Problem begann, nach Meinung von de Jong, damit, als man Anfang dieses Jahrzehnts glaubte, den Befragten ihre schlechten Erfahrungen in Umfragen mit "Bestechung" abgelten zu müssen. Anstatt die Erfahrung selbst zu verbessern, wurden mit der Bezahlung von Anreizen, speziell Bargeld, die Probleme geschaffen, die wir jetzt verzweifelt zu verhindern suchen, so z.B. Betrug und mangelndes Engagement. "Es ist die Länge, Dummkopf"! Indem er einen berühmten Ausspruch von Bill Clinton paraphrasiert ("it's the economy, stupid"!) weist de Jong auf eine grundlegende mögliche Lösung hin. Obschon es mehrere Möglichkeiten gibt, das Engagement von Befragten zu erhöhen, zeigen mehrere Studien, dass die Länge eines Surveys den grüssten Einfluss auf die Haltung der Befragten und, noch wichtiger, die Daten hat. Es ist gezeigt worden, dass Daten, die nach 20 Minuten der Befragung erhoben wurden, signifikant verschieden sind von jenen, die früher im Interview erfragt wurden. Und doch sieht man heutzutage immer noch 40-Minuten-Fragebögen, besonders in Tracking-Studien. Solche sind der Untergang der Marktforschungsbranche. Viele von ihnen stammen von wichtigen Grosskunden, welche nicht zu realisieren scheinen, dass diese Umfragen an der Wurzel des Problems liegen. Die Marktforschungsinstitute sind sich des Problems bewusst; ihnen fehlen jedoch Argumente, um die Kunden zur Zurückhaltung zu veranlassen. Und überdies: Wer verzichtet schon gerne freiwillig auf den entsprechenden Umsatz, wo es doch die Mitbewerber es auch nicht tun würden? Man würde nur seine Wettbewerbsposition damit gefährden. So ist es wie beim Umweltschutz: Alle wissen, dass man "etwas tun" sollte, aber keiner will der Erste sein, der damit beginnt. Einer allein erreicht nicht viel. Gemeinsame Veränderungen sind die Lösung. Der erste Schritt ist der Fokus auf Fragebogenlänge und damit gleichzeitig auch die Sicherung der Datenqualität. Aber wie macht man dies? De Jong schlägt sieben einfache, bodenständige Lösungen vor, auf die man sich gemeinsam einigen sollte:

  1. Jedermann von den Beteiligten - jene welche den Survey sponsern, entwerfen, planen oder einkaufen - müssen die eigene Umfrage mindestens einmal ernsthaft selbst mitmachen.
  2. Die Umfrage sollte auf ein einziges Thema beschränkt werden, anstatt immer weitere, auch noch irgendwie "interessante" oder sonstige Fragen anzuhöngen.
  3. Listen mit bis zu acht Attributen sind annehmbar - mehr als acht bedeutet einfach schlechte Forschung.
  4. Eine Umfrage von mehr als 20 Minuten Dauer zu planen heisst, Datenqualität zu opfern, und dazu braucht es schon eine ausserordentlich gute Begründung.
  5. Das Schwergewicht sollte statt auf (langen) Datenrecords mehr auf einzelnen Datenpunkten liegen: Es ist besser, 1'000 Leute vier Minuten lang, statt 100 Leute 40 Minuten lang zu befragen - oder noch besser: 10'000 Leuten nur 3 Fragen zu stellen.
  6. Kollektiv sollten Fragebogengestalter und -programmierer belohnt werden, die für Befragten tolle Befragungserlebnisse schaffen.
  7. Fragebogen mit mehr als 20 Minuten Dauer sollten prohibitiv teuer verkauft werden.
Nun mit den Befragten wegen ihrem Niveau des Engagements zu streiten oder die Marktforschungsbranche zu strikteren Kontrollsystemen zu zwingen, kann nicht die Lösung sein. Vielmehr müssen wir die Wurzel des Problems anpacken, nämlich die Leute für schlechte Erfahrungen zu bezahlen. Wenn wir 10 % unseres gegenwärtigen Aufwands an Zeit und Geld dafür einsetzen, kürzere und attraktivere Umfragen zu kreieren, ist der grösste Teil des Kampfes gewonnen. Quelle: deJong, Kees (2010): Rules of Engagement. In : Research World, June, 42-44

Kommentar Rolf Schoch
Der genannte Artikel bezieht sich speziell auf Online-Umfragen und besonders die Verhältnisse in den USA. Dort dürfte der erwähnte Rückgang der Beteiligungs- bzw. die Zunahme der Verweigerungsquote bei Surveys, nicht nur im Internet, noch stärker ausgeprägt sein als in der Schweiz. Auch Bezahlungen für Interviews sind in der Schweiz nicht üblich. Verlässliches publiziertes und international vergleichendes Datenmaterial zu diesen Phänomenen in unserem Land fehlt jedoch. Aus drei eigenen Meinungsumfragen im Internet bei Mitarbeitern einer Mittelunternehmung wissen wir jedoch, dass die Teilnahmequote im Laufe von vier Jahren von hohen 88 % (2004) über 78 % (2006) auf noch 75 % (2008) abgenommen hat - dies übrigens bei gleichbleibender Fragebogenlänge und nicht mehr als 20 Minuten Befragungsdauer. Die Gründe für dieses nachlassende Interesse sind unklar: "Reiz der Neuheit" verloren? Gewöhnungseffekt? Tägliche Arbeit wichtiger als Umfrage? Wir wissen es nicht. Die allgemeine Arbeitszufriedenheit der Mitarbeitenden hat in dieser Zeitspanne jedenfalls nicht nachgelassen. Das erwähnte "7-Punkte-Programm" des Autors de Jong kann man kaum als logisch-systematisch, erschöpfend und nichtüberschneidend bezeichnen; es ist jedoch, in typisch "amerikanischer" Manier, praktisch-pragmatisch und - bei aller fehlenden Systematik und teilweise Wiederholungen - durchaus beherzigenswert. Bei einer umfassenderen "Lehre vom Nonresponse" dürfte man sich jedoch m.E. nicht einseitig auf die Interviewdauer bzw. Fragebogenlänge beschränken. Einen negativen Einfluss üben auch unprofessionelle Fragebogengestaltung und Fehler in den Frageformulierungen aus - so z.B. lange und komplexe, schwer verständliche Fragen, Fremdwörter, lange und gleichförmige, langweilige, also monotone Fragebatterien. Im Zusammenhang mit der Ausschöpfung der Stichprobe wären auch Dinge wie die Nichterreichbarkeit vieler ausgewählter Befragten in der Stichprobe - infolge erhöhter Mobilität der Bevölkerung, speziell der jüngeren, sowie Zunahme nichtregistrierter Telefon-(Handy-)Nummern in den letzten Jahren etc. - zu berücksichtigen.

Leserkommentare:

WISO stellt diese Thesen zur Debatte: Welches sind Ihre Erfahrungen? Was ist Ihre Meinung dazu? Schreiben Sie uns Ihren Kommentar an info@wiso-schoch.ch. Wir berichten darüber später auf dieser Webseite.