Michael Hoppe

This is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/contrib/silberer-guenter/contrib/hoppe-michael/hoppe-michael Document.

Die drei unterschiedlichen Arten der Online-Panel-Rekrutierung :
– offline repräsentativ = CATI rekrutiert
– online über Banner / Suchmaschine rekrutiert
– offline im Rahmen eines konventionellen Access Panels rekrutiert

Die Online-Panelteilnehmer sind demographisch vergleichbar zu den Internet-Usern aus der Offline-Omnibusbefragung (Altersgruppe 14-69 Jahre).

Alle Befragten erhalten den identischen Fragebogen, inhaltlich dem Brand Evolution von Ipsos entsprechend.

– Mappings mit den Koordinaten: (siehe Anlage 1+2)
– Power („Charakter im Vergleich zum Wettbewerb“ und „Relevanz für den Verbraucher“)
– Prominence („Ansehen im Vergleich zum Wettbewerb“ und „Vertrautheit mit
der Marke“)

– Kurvenverlauf / Profil der Mittelwerte einiger Items im Vergleich der unterschiedlichen Erhebungsmethoden

Zur besseren Übersichtlichkeit beschränken wir uns auf die Darstellung einer einzelnen, sehr bekannten Marke aus dem Food-Bereich und die Beantwortung folgender Fragen:

– Ist die Qualität oder Aussage bei online-Befragungen vergleichbar bei unterschiedlich rekrutierten Online-Paneln?
- Erreicht man mit repräsentativen f-to-f-Untersuchungsansatz vergleichbare Onliner wie über Online Panel?
– Ist das Antwortverhalten von Internetusern anders als von Internet-Non-Usern?
– Ist zur Quotenauswahl in Angleichung an eine Online-User Grundgesamtheit die
Selektierung nach den Merkmalen Alter, Geschlecht, Bildung und Ortsgröße ausreichend?
– Provoziert die Befragung über www-Fragebögen andere Ergebnisse als face-to- face oder schriftlich ?

Die Qualität von Online Panel - Ein Methodentest

Online-Marktforschung gilt als zukunftsweisend. Durch das Medium Internet können auch spezielle Zielgruppen schnell und kostengünstig angesprochen werden. Stand bisher die Erforschung der Internet-Nutzer und die Überprüfung der Internetauftritte selbst im Vordergrund, so steigt zunehmend das Interesse, das Medium auch für Themen zu nutzen, die nicht in unmittelbarem Zusammenhang mit dem Internet stehen. Insbesondere Online-Panel bieten sich hier als Rekrutierungsmöglichkeit für Befragte an. Gerade die Online-Panel unterliegen jedoch häufig der Kritik einer mangelnden Repräsentativität und einer schwer nachvollziehbaren Art der Rekrutierung. Sie werden daher teilweise entweder abgelehnt oder mit großer Zurückhaltung betrachtet.

Online- oder Offline-Rekrutierung? - Das ist hier die Frage
Internet-Nutzer können auf ganz unterschiedlichen Wegen rekrutiert und befragt werden: Mittels klassischer offline Methoden (face-to-face, per Telefon, postalisch) oder auch mit den neuen Möglichkeiten der Online-Rekrutierung und Online-Fragebogen. Sie lassen sich entweder durch repräsentative Zufallsauswahl ad hoc, oder gemäß repräsentativer Strukturvorgaben für Online-Access-Panel gewinnen. Für die Rekrutierung stehen eine Reihe von Fragen zur Qualität des methodischen Vorgehens zur Diskussion:
Erreichen wir mit den unterschiedlichen Rekrutierungs- und Befragungsarten (online oder offline) unterschiedliche Internetnutzer, und wie wirkt sich die Rekrutierungs- und Befragungsart auf die Ergebnisse aus?

Die Studie
Um der Beantwortung dieser Fragen ein Stück näher zu kommen, führte Ipsos Deutschland im November/Dezember 2000 in Zusammenarbeit mit Langnese/Unilever eine vergleichende Untersuchung zur Überprüfung der Validität von Online-Panel-Befragungen durch. In fünf unabhängig voneinander durchgeführten Befragungen von insgesamt 1738 Internet-Nutzern wurden sowohl Internetnutzugskriterien als auch die Einstellungen zur Eismarke "Magnum" erhoben. Entscheidend dabei war die unterschiedliche Rekrutierung und Befragungsart der Gruppen: Neben einer bevölkerungsrepräsentativen face-to-face Umfrage mit dem Ipsos CAPI-Bus wurden vier Panel (drei Online- und ein Offline-Panel) eingesetzt, die sich hinsichtlich Rekrutierungsform und Befragungsart unterschieden (siehe Tabelle 1).
$D:\temp_hoppe\Tab_1.jpg$
Aus den drei Online-Paneln wurden die Teilnehmer jeweils nach den im Rahmen einer repräsentativen Voruntersuchung ermittelten Quoten (Alter, Geschlecht, Bildungsstand und Ortsgröße) ausgewählt und mit einem Online-Fragebogen befragt.
Die Rekrutierung für das erste Online-Panel erfolgte telefonisch (CATI), für das zweite Online-Panel über Banner, Anzeigen etc. Die Teilnehmer des dritten Online-Panel wurden aus dem Ipsos Access Panel, einem etablierten Offline-Haushaltspanel mit über 70.000 Teilnehmern, rekrutiert. Aus diesem Panel stammt auch die vierte Gruppe von Panel-Teilnehmern, die allerdings offline postalisch befragt wurde.
In allen fünf Stichproben befragte Ipsos die Internet-Nutzer in der deutschen Wohnbevölkerung zwischen 14 und 69 Jahren dar. Aufgrund der Zielsetzung wurde hier der "Internet-Nutzer" definiert als "eine Person, die zumindest zu Hause Zugriff auf das Internet hat und zumindest gelegentlich das Internet zu Hause nutzt."

Untersuchungsinhalte
Die Fragebögen waren für die fünf Gruppen in Reihenfolge, Formulierung und Umfang identisch. Hauptbestandteil der Befragung waren die Brand Image Fragen zur Eismarke "Magnum". Brand Image ist Bestandteil von Brand Evolution, dem Ipsos- Instrument für die erfolgreiche Markenführung mit den Dimensionen: Power (= Charakter, Relevanz) und Prominence (= Ansehen, Vertrautheit) einer Marke. Hieraus ergeben sich eindeutige Hinweise auf die Positionierung (Brand Health) einer Marke im Vergleich zum Wettbewerb. Zum Fragenkatalog des Ipsos Brand Evolution gehörten in diesem Fall
· die Anzahl gekaufter Eismarken der letzten 12 Monate
· Markenbekanntheit
· zukünftige Kaufabsichten
· Spontane Assoziationen zu Magnum (offene Frage)
· Image-Items
· Generelle Akzeptanz von Magnum
Des weiteren wurden Daten zur Internet-Nutzung und die Sozio-Demographie der Befragten erhoben.
Wie für Online-Befragungen üblich, wurde ein Incentive für die Teilnahme an den Interviews vergeben, wohingegen die beiden offline befragten Gruppen kein Incentive erhielten.

Ergebnisse
Wie vermutet, spiegeln sich die Unterschiede sowohl der Rekrutierungs- als auch der Befragungsart z. T. signifikant, z. T. nur tendenziell in den Ergebnissen wider. Unterschiede der Gruppen zeigen sich dabei sowohl bezüglich der Soziodemographie und Internet-Nutzung als auch in der Beantwortung der Brand-Image-Fragen.

Soziodemographische Variablen
Alter, Geschlecht, Bildung und pol. Ortsgröße waren durch die Quoten vorgegeben. Zusätzlich erfragt wurden die Variablen Familienstand, Berufstätigkeit, HH-Größe und HH-Netto-Einkommen (siehe Tabelle 2).
$D:\temp_hoppe\hoppeTab_2.jpg$
Diesbezüglich sind sich das per CATI und das online rekrutierte Online Panel (Gruppe 2 und 3) größtenteils ähnlich, wobei die Trends in Gruppe 3 etwas stärker ausgeprägt sind: Die befragte Person ist weniger häufig verheiratet, in kleineren Haushalten, eher berufstätig und mit geringerem Einkommen.
Die offline befragte Gruppe des Ipsos Access Panels (Gruppe 5) unterscheidet sich hiervon am stärksten: Es handelt sich häufiger um Verheiratete mit Kindern, größerem Haushalt und einem höheren Haushaltseinkommen, mehr einfache bis mittlere Angestellte und Hausfrauen sind vertreten.

Internet-Nutzung der Befragten
Auch bezüglich der Internet-Nutzung zeigen sich in den fünf Gruppen tendenziell bis signifikant unterschiedliche "User-Typen" (siehe Tabelle 3)
$D:\temp_hoppe\hoppeTab_3.jpg$
Die Online-Panel-Teilnehmer (Gruppen 2,3,4) zeichnen sich, unabhängig von der Art der Rekrutierung, gegenüber den anderen Gruppen durch deutlich häufigere Internet Nutzung aus. Insbesondere im passiv online (über Banner) rekrutierten Online-Panel mit geringerem Einkommen befinden sich die "Heavy User", die neben T-Online verstärkt über Compuserve und andere günstige und insgesamt auch mehr Provider surfen. Die face-to-face per CAPI Befragten sind eher als Internet-Neulinge zu bezeichnen und nutzen, neben T-Online tendenziell stärker AOL. Diese Gruppe ist auch eher nur zuhause im Netz, wohingegen die Internet-Nutzung am Arbeitsplatz und anderen Orten für die übrigen Gruppen auch eine wichtige Rolle spielt. Beide offline befragten Gruppen (1+5) zeichnen sich durch eine vergleichsweise geringere Nutzungshäufigkeit aus.

Variablen zum Brand Image
Die Unterschiede der Gruppen bei der Soziostruktur und Internet-Nutzung spiegeln sich auch in den Antworten zum Brand Image der Eismarke Magnum wider (siehe Chart 1).
$D:\temp_hoppe\brand_image.jpg$
Die Ergebnisse der drei per WWW-Fragebogen befragten Online-Gruppen sind sehr ähnlich. Sie äußern sich teilweise kritischer als offline-Befragte, was insbesondere bei den Imagewertungen deutlich wird. Bei den Ipsos-CAPI-Bus-Befragten werden zwar zur Eismarke Magnum insgesamt weniger spontane positive wie negative Assoziationen geäußert, die Bewertung der Image-Items fällt jedoch im Vergleich zu den Online-Panel-Gruppen größtenteils positiver aus.

Und geradezu euphorisch äußern sich die postalisch befragten Ipsos-Access Panelisten, die bezüglich der Eismarken-Images 6 von 10 Items z. T. deutlich höher bis signifikant besser bewerten als andere Gruppen und auch bei den spontanen Assoziationen zu Magnum insgesamt deutlich mehr Antworten geben.
Die ähnliche Bewertung des Images von Magnum durch die drei online erhobenen Gruppen spiegelt sich auch in der Brand Health Map wider (Chart 2).
$D:\temp_hoppe\health_map.jpg$
Alle online befragten Panelisten bewerten die Marke in allen drei Dimensionen erheblich weniger positiv, lediglich die Teilnehmer des online rekrutierten Panels bewerten das Image von Magnum tendenziell positiver hinsichtlich der Dimension Power.
Für die Gruppe Ipsos-CAPI-Bus weist Magnum die gleiche Prominence, jedoch eine deutlich stärkere Power und ein positiveres Preis-Leitungsverhältnis auf als für die drei online erhobenen Gruppen. Dagegen geben die per schriftlichen Fragebogen Befragten des Ipsos Access Panels deutlich bessere Werte in den beiden Dimensionen Power und Prominence.
Bei der Betrachtung der Brand Commitment Scale (siehe Tabelle 4), die die Anteile vom überzeugten Nicht-Käufer bis zum sicheren Käufer einer Marke darstellt, zeigt sich eine relativ ähnliche Käuferstruktur bei den offline (face- to face und postalisch) erhobenen Gruppen.
$D:\temp_hoppe\brand_comm.jpg$
Bemerkenswert ist die Erkenntnis, dass in den 5 Gruppen Magnum zwar unterschiedlich positioniert wird, im Vergleich zu anderen Marken (hier nur Cornetto dargestellt, siehe Chart 3) aber immer hinsichtlich Power und Prominence überlegen, hinsichtlich des Preis-Leistungsverhältnisses unterlegen ist.
Wie auch immer also rekrutiert und befragt wird: Die relative Position der Marken zueinander bleibt von diesen Einflussfaktoren nahezu unberührt.
$D:\temp_hoppe\brand_maco.jpg$

Diskussionen und Schlussfolgerungen
Die hier vorgestellte Untersuchung hat einige Ergebnisse früherer Forschungen bestätigt und einige neue erbracht. Die Analyse des zum Teil signifikant unterschiedlichen Antwortverhaltens zeigt, dass sowohl die Rekrutierungs- als auch die Datenerhebungsmethode einen deutlichen Einfluss auf die Ergebnisse haben kann. Die Untersuchung macht auch deutlich, dass es derzeit keine eindeutige "goldene Regel" für die Erforschung der Internet-Nutzer und Befragungen im Netz gibt. Weitere Studien wie diese mit einer methodenbezogenen Ausrichtung sind notwendig, um die Qualität von Online-Untersuchungen besser beurteilen zu können. Folgende Erkenntnisse können schon jetzt festgehalten werden:

Ø Eine unterschiedliche Befragungsart erreicht unterschiedliche Zielgruppen im Internet.
Unsere Studie zeigt deutlich das unterschiedliche Antwortverhalten aufgrund der Erhebungsmethode (Online vs. offline). Mit der reinen Offline Ansprache spricht man offenbar primär die leicht zu Hause erreichbare, ggf. auch etwas "bodenständigere" Bevölkerung an, online lassen sich hingegen auch heavy-user, die sich vermutlich durch mehr Mobilität und einen flexibleren Lebenswandel auszeichnen, antreffen.
Allerdings muss man wissen, dass man hiermit auch Haushalte mit anderer Demographie (kleinere Haushalte, geringeres Einkommen) anspricht.

Ø Die Rekrutierung von einem Offline-Panel kann den Effekt der Erhebungsmethode etwas mindern.
Ein Vergleich des Ipsos Online-Panel bzgl. Internetnutzung zeigt natürlicherweise zum einen eine gewisse Annäherung an die Daten vom Ipsos Offline-Panel (da aus der gleichen Grundgesamtheit rekrutiert), aber andererseits liegen die Werte teilweise auch näher an dem "repräsentativen" CAPIBUS face-to-face-Ergebnissen, insbesondere in bezug auf Haushaltsgröße, Familienstatus und Einkommen, aber auch bezgl. der Häufigkeit der Nutzung des Netzes.
Andererseits reagieren die Ipsos-Onliner bei der Imagebeurteilung wie auch der Brand Health Map ähnlich den anderen Online-Paneln.
Eindeutig ist die Tatsache, dass sich bei den verschiedenen Online- und Offline-Gruppen zum Teil signifikante Unterschiede in der Demographie und der Internetnutzung ergeben, und dass dies u.a. auch einen Einfluss auf die Ergebnisse von Befragungen haben kann.
Das heißt, man muss, um möglichst nahe an ein "repräsentatives" Abbild der Internetnutzer zu kommen, diese Kriterien mit berücksichtigen. Da es in der Regel nicht oder nur schwer möglich ist, alle Kriterien bei der Quotierung mehrerer strukturgleicher Gruppen zu berücksichtigen, sollten zumindest die offensichtlichen stark unterschiedlichen Merkmale Haushaltsgröße, Einkommen (beide korrelieren wiederum mit dem Familienstand) und Häufigkeit ebenso wie Beginn der Internetnutzung mit zur Gewichtung herangezogen werden.
Momentan gibt es allerdings noch keine allgemein anerkannte Erhebung, anhand derer man "richtig" gewichten könnte. Für diese Untersuchung haben wir zur Gewichtung den repräsentativen Ipsos CAPIBUS herangezogen, der wöchentlich die neuesten Nutzerdaten face-to-face erhebt.
Bei den Ergebnissen zu berücksichtigen ist auch die Befragungssituation: Während die online und postalisch Befragten die Möglichkeit hatten, den Fragebogen zu einem persönlich genehmen Zeitpunkt auszufüllen, waren die face-to-face-Befragten CAPI-Bus Teilnehmer einem gewissen Zeitdruck und der Anwesenheit eines Interviewers ausgesetzt. Die Unterschiede dieser Gruppe zu den anderen bei den Ergebnissen zum Brand Image sind sicherlich u. a. dadurch zu erklären. Der Effekt der CAPI-Erhebungsmethode kann jedoch mit dem Design dieser Studie nicht beantwortet werden, da eine kontrollierte Variation der Erhebungsmethode über die Gruppen nicht vorgenommen wurde.
Neben diesen geschilderten Unterschieden bezüglich Befragungsart und Paneleinbindung sind natürlich die Unterschiede zwischen den drei Online Paneln interessant.

Die in dieser Studie variierten Einflussfaktoren wie Auswahlverfahren, Rekrutierungsform und Erhebungsinstrument führen zu feststellbaren Unterschieden der Ergebnisse, aus denen sich eine „Wahrheit“ nur durch willkürlich erscheinende Setzung erreichen ließe. Zusätzliche Einflussfaktoren sind durch die Art der Incentives und weitere, hier nicht berücksichtigte Faktoren, z.B. bereits erfolgte Käufe im Internet, zu erwarten. Dieser Befund ist allerdings weniger dramatisch und überraschend, als es vielleicht den Anschein hat. Denn tatsächlich repräsentative Ergebnisse lassen sich streng genommen nur für eine bekannte und erreichbare Grundgesamtheit erreichen. Diese Voraussetzung ist für die Internet-Nutzer jedoch nicht gegeben. Denn zum einen ist die Definition eines Internet-Nutzers nicht eindeutig geklärt, zum anderen sind die relevanten Strukturmerkmale dieser Gruppe nicht gesichert. Als weiterer Faktor ist die rasante Dynamik der Internetnutzung zu berücksichtigen, die mit der Beschreibung „moving target“ treffend umschrieben werden kann.

Eine neue Definition von Qualität
Wie eingangs erwähnt, stützt sich die Beurteilung der Qualität von Marktforschung meist auf die Forderung der Repräsentativität, der Annäherung des Ergebnisses an einen „wahren“ Wert. Eine solche „Wahrheit“ existiert natürlich für das breite Spektrum der Internet-User, aber - und das zeigt unsere Studie – die Ergebnisse sind durch unterschiedliche Rekrutierungs- und Erhebungsmethoden verzerrt. Zu dynamisch ist die Entwicklung, zu sensibel reagieren die Ergebnisse auf feine Veränderungen der Rekrutierungs- und Erhebungsmethoden ebenso wie vermutlich auch die Art und Höhe der Incentivierung. Das Kriterium der Qualität muss daher offensichtlich anders definiert werden.

Ein Ergebnis dieser Studie ist, dass die methodische Vorgehensweise für den Kunden nachvollziehbar sein muss, wie es auch in Deutschland vom ADM nachhaltig gefordert und von den ADM-Instituten angewendet wird. Außerdem sollte bei der Frage nach der Qualität vor allem das Interesse des Auftraggebers im Vordergrund stehen: Qualität ist schließlich kein Selbstzweck sondern eine unabdingbare Voraussetzung seriöser Marktforschung. Wenn sich nun zwar noch keine „Wahrheit“ feststellen lässt, so sollte der Kunde jedoch zumindest die ungeschminkte Information fordern: zum einen, welche Auswirkungen die unterschiedlichen Rekrutierungs- und Erhebungsmethoden auf die Ergebnisse haben können und welche Internet-Nutzer über welche Medien am besten erreicht werden können, zum anderen muss dem Kunden volle Transparenz bzgl. folgender Kriterien angeboten werden:

Ø Rekrutierung
Ø Kriterien der Teilnahme
Ø Schutz gegen mehrfaches Anmelden
Ø Zusatzinformationen hinsichtlich der Panelteilnehmer
Ø Plausibilitätskontrollen
Ø Erhebungsmethode
Ø Nicht-Beantwortung von Fragen
Ø Vergütung
Ø Gewichtung

und vielleicht auch manchmal darauf hingewiesen werden, dass nicht alle Arten von Befragungen online möglich sind.

GOR 2001 - content