|
|
|
|
GOR 2001 Homepage
Indices
Management - Staff only
|
GOR 2001 - contentThis is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/mueller-andrea/mueller-andrea Document. Main Author: Müller, Andrea Co-Authors: Jonas, Kai J.; Boos, Margarete; Institution: Georg-Elias-Müller-Institut für Psychologie, Georg-August-Universität Göttingen Contribution Title: Modellfreie Erhebungsverfahren im Internet am Beispiel von Cognitive Mapping Studien. Authors Email: amuellef@uni-goettingen.de URLs:
Abstract German (version: 25/06/2002 - 07:47, size: 2194) German: Modellfreie Erhebungsverfahren gehören in der kulturvergleichenden Psychologie, der Wissenspsychologie und in nicht-psychologischen Disziplinen wie der kognitiven Ethnologie zu den Standardinstrumenten. Dort werden sie jedoch aufgrund struktureller Anforderungen mittels paper & pencil oder im Laborsetting eingesetzt. In der Forschung zur kognitiven Kartierung von semantischen Domänen, z.B. Begriffsmengen, lassen sich diese Verfahren ebenfalls sinnvoll einsetzen. Die Stichprobenart (große, teilweise repräsentative Stichprobenziehung außerhalb des Labors, Zeitknappheit, Messwiederholungsproblematik) in diesem Forschungsfeld macht jedoch eine Vereinfachung des Instrumenteneinsatzes unter Beibehaltung der strukturellen Anforderungen (Linearität der Befragung, Datenreduktion per BIBD, Randomisierung) notwendig. In zwei Studien zum Cognitive Mapping von Marken, d.h. Konzeptualisierung der Marke im Sinne der sozial geteilten semantischen Domäne, wurden die Teilschritte der Stimuluspräsentation, des Freelistings von Begriffen und deren Bewertung, sowie die Ähnlichkeitsanalyse mittels eines Triadentests unter balanced-incomplete-block-design-(BIBD)-Bedingungen in Fragebögen im Internet umgesetzt. Den Erhebungsanforderungen entsprechend wurden Stichproben in Höhe von N=48 und N=108 gezogen. Die Ergebnisse zeigen für das Freelisting den gleichen Umfang und die gleiche Reichhaltigkeit der Begriffe wie in offline-Untersuchungen. Bekannte Nachteile des Verfahrens (Dubletten, Befragungssensibilität der Stichprobe) bleiben konstant. In der Ähnlichkeitsanalyse per Triadentest gleicht das Ergebnismuster ebenfalls den offline-Daten. Auch intragruppale Konsenskennwerte fallen im Vergleich zu der offline-Erhebung nicht ab. Die Daten lassen den Schluss zu, dass sich das Erhebungsverfahren unproblematisch online durchführen lässt und gleichzeitig eine Vereinfachung einhergeht (elektronisches Datenformat, Erhebung von großen Stichproben, Softwareunabhängigkeit). Dies stellt eine solide Grundlage für eine weitere Verbreitung modellfreier Erhebungsverfahren beispielsweise in der Marktforschung dar. Article (version: 25/06/2002 - 07:47, size: 14331) Online-Untersuchungen können zur Zeit eher noch als ein zartes Pflänzchen bezeichnet werden. Dem noch relativ neuen Untersuchungsmedium wird noch allzu oft zu kritisch entgegen getreten. Im Fordergrund stehen dabei eher Probleme der Stichprobengewinnung, aber es bestehen auch Unsicherheiten dahingehend, welche Erhebungsmethoden problemlos an das neue Medium adaptiert werden können. Daher sollte ein Ziel der aktuellen empirischen Sozialforschung darin bestehen, kritisch zu hinterfragen, für welche Arten von Befragungen und für welche Erhebungsinstrumente eine Online-Durchführung geeignet ist. Modellfreie Erhebungsverfahren gehören in der kulturvergleichenden Psychologie, der Wissenspsychologie und in nicht-psychologischen Disziplinen wie der kognitiven Ethnologie zu den Standardinstrumenten. Unter modellfreien Erhebungsverfahren sind Verfahren zu verstehen, die eher auf qualitativen Erhebungen basieren und daher a priori keine inhaltlichen, strukturellen Erwartungen an die Ergebnisse stellen. Die Erhebungen jedoch folgen einem strukturierten Vorgehen. Derartige Erhebungsverfahren werden jedoch aufgrund struktureller Anforderungen mittels paper & pencil oder im Laborsetting eingesetzt. In der Forschung zur kognitiven Kartierung von semantischen Domänen, z. B. Begriffsmengen, lassen sich diese Verfahren ebenfalls sinnvoll einsetzen. Die Stichprobenart (große, teilweise repräsentative Stichprobenziehung außerhalb des Labors, Zeitknappheit, Messwiederholungsproblematik) in diesem Forschungsfeld macht jedoch eine Vereinfachung des Instrumenteneinsatzes unter Beibehaltung der strukturellen Anforderungen (Linearität der Befragung, Datenreduktion per BIBD, Randomisierung) notwendig. In zwei Studien zum Cognitive Mapping von Marken, d.h. Konzeptualisierung der Marke im Sinne der sozial geteilten semantischen Domäne, wurden die Teilschritte der Stimuluspräsentation, des Freelistings von Begriffen und deren Bewertung, sowie die Ähnlichkeitsanalyse mittels eines Triadentests unter balanced-incomplete-block-design- (BIBD)-Bedingungen in Fragebögen im Internet umgesetzt. Den Erhebungsanforderungen entsprechend wurden Stichproben in Höhe von N=60 online/N=51 offline für das Freelisting und N=32 online/N=16 offline für die Ähnlichkeitsanalyse mittels Triadentest gezogen. Bevor die Ergebnisse der beiden Studien dargestellt werden, noch einige kurze Erläuterungen zum Konzept der semantischen Domäne - auch kulturelle oder sozial geteilte Domäne genannt. Eine kulturelle Domäne ist ein von einer Vielzahl der Angehörigen einer Kultur geteilter, nach ähnlichen Regeln strukturierter und abgegrenzter Wissensbereich. Beispiele für kulturelle Domänen: - Emotionen, Verwandtschaftstermini, Tiere, Produktmarken eines Konsumgutes, Krankheiten, etc.
Weller & Romney (1988) definieren eine kulturelle Domäne wie folgt:
Borgatti (1998) verdeutlicht, was eine kulturell geteilte Domäne ist an folgendem Beispiel: Um das Wissen, was zu einer kulturell geteilten Domäne gehört, zu erfassen, wurde ein Erhebungsverfahren entwickelt, dass auf einem Freelisting und einem Triadentest basiert. Nachstehend werden jeweils Anliegen und Vorgehen der beiden Erhebungsschritte beschrieben sowie die Ergebnisse der beiden bereits weiter oben erwähnten Studien dargestellt.
1. Freelisting Bezogen auf das Markenwissen könnte die Frage für die Freelists etwa lauten: "Bitte nennen Sie mir alle Begriffe, die Ihnen im Zusammenhang mit Idee-Kaffee bekannt sind." Das Ergebnis ist eine Liste mit den der Teilnehmer/in bekannten Termini. Um einen reliablen Eindruck von der Domäne zu bekommen, sollte man nicht nur eine, sondern mehrere (mindestens 15-20) Personen befragen. Das Ergebnis sind dann 15-20 solcher Listen. Die Häufigkeitsverteilungen der Begriffe geben eine erste Antwort auf die Frage, ob es sich um eine abgegrenzte Domäne handelt oder nicht. Drei Beispiele:
Im ersten Beispiel handelt es sich um keine Domäne, denn es gibt nicht einen Begriff, den alle (oder eine Mehrheit) der TeilnehmerInnen der Domäne zuordnen. In solchen Fällen liegt die Vermutung nahe, dass man Personen mit gänzlich unterschiedlichen Erfahrungen befragt hat. Sie verfügen über keinen "gemeinsamen Nenner" kultureller Überzeugungen. Der zweite Graph ist eine idealtypische Domäne. Es gibt ein Set von Begriffen, bei denen alle TeilnehmerInnen darin übereinstimmen, dass sie zu der Domäne gehören. Andere Begriffe werden nur von wenigen (möglicherweise ExpertInnen) genannt. Der dritte Graph kommt dem nahe, was man bei einer empirischen Erhebung antreffen sollte. Es gibt einen Bereich, der von allen geteilt wird, einen Mittelbereich und einen langen "Schweif" von individuellen Nennungen.
Welche Aussagen können aus den im Freelisting generierten Begriffslisten gewonnenen
werden? 1.2 Ergebnisse aus Studien zum Cognitiven Mapping von Marken Insgesamt wurden von den 60 online Befragten 206 Begriffe und von den 51 offline Befragten 193 Begriffe genannt. Nach einer Zusammenfassung der einzelnen Begriffe in inhaltlich identische Begriffsgruppen, z. B. wurden die Nennungen "voller Geschmack" und "geschmacksvoll" zusammengefasst, blieben jeweils 143 bzw. 144 Begriffsgruppen übrig. Bei der Erstellung der Ranglisten für die Top-15-Begriffe konnte festgestellt werden, dass in beiden Ranglisten 14 Begriffe identisch sind, lediglich die Rangplätze variieren leicht. (Für das Erstellen der Rangreihen wurden die Häufigkeit der Begriffsnennungen, die Wichtigkeit der Begriffe, die auf einer fünfstufigen Skala erfasst wurde, sowie die Reihenfolge der Begriffsnennung kombiniert.) Die Ergebnisse zeigen für das Online-Freelisting den gleichen Umfang und die gleiche Reichhaltigkeit der Begriffe wie in der Offline-Untersuchung. Bekannte Nachteile des Verfahrens, wie Dubletten und Befragungssensibilität der Stichprobe, bleiben konstant.
2. Triadentest Der Triadentest wurde bereits während psychologischer Studien in den 50er Jahren entwickelt. Der Triadentest ist eine Erhebungsmethode, um auf direktem Wege Ähnlichkeiten zwischen einem Set von Begriffen zu generieren. Das Vorgehen ist sehr einfach: Man legt den TeilnehmerInnen eine Liste von Triaden - die aus den Top-Begriffen des Freelistings gebildet wurden - vor und bittet sie, denjenigen Begriff zu streichen, der von seiner Bedeutung her nicht zu den übrigen passt. Folgendes Beispiel aus der Tierwelt verdeutlicht die Logik:
o Löwe o Tiger o Möwe Die meisten deutschsprachigen TeilnehmerInnen dürften bei der ersten Triade wohl die "Möwe" als nicht dazugehörig und in der zweiten den "Tiger" als "irgendwie anders" klassifizieren. Vorteile des Triadentests sind: die Ergebnisse sind akkurat (valide) und sie sind zwischen den Befragten vergleichbar. Man kann also die kognitive Struktur einer jeden Teilnehmerin mit der einer anderen vergleichen. Der Triadentest besitzt jedoch auch einen wesentlichen Nachteil: er dauert i.d.R. länger und wird von den TeilnehmerInnen als nicht besonders "spannende" Aufgabe wahrgenommen. Darüber hinaus gibt es ein weiteres Problem beim Triadentest. Mit der Anzahl der Items/Begriffe wächst die Anzahl der Triaden nahezu exponential. Wenn 10 Begriffe zu der Domäne gehören, beträgt die Anzahl der Triaden somit 120, sind es 20 Begriffe, haben wir schon 1140 Triaden (etwa 20 DIN A4 Seiten). Um auch größer Anzahlen von Triaden bewältigen zu können, bedient man sich des sogenannten Balanced Incomplete Block Designs (BIBD). Dabei werden nicht alle möglichen Triaden abgefragt, sondern die Zahl der Kombinationen kann bei gleichbleibender Analysegenauigkeit gesenkt werden. 2.2 Umsetzung in Studien zum Cognitiven Mapping von Marken Für die beiden Studien in Bereich Marken wurde entschieden, mit 15 Begriffen zu arbeiten. Die Zahl 15 für die auszuwählenden Begriffe ist keine zufällige Größe, sondern 15 Begriffe bilden eine marginale Menge, welche die TeilnehmerInnen im Gedächtnis gerade noch repräsentieren können. Auch ermöglichen 15 Begriffe eine ausreichend differenzierte Abbildung des Markenraumes. Ein BIB-Design besteht bei 15 Begriffen aus 35 Triaden, dabei wird jeweils ein Begriffspaar einmal abgefragt. Um Reliabilität zu erhöhen und auch Ermüdungseffekte konstant halten zu können, wurden die Triaden einerseits randomisiert dargeboten, andererseits hatten die TeilnehmerInnen jeweils zwei Designs (also insgesamt 70 Triaden) zu bearbeiten. D.h. jedes Begriffspaar konnte zweimal abgefragt werden. Um die Reliabilität und Konstanz der Antworten zu prüfen wurde die Korrelation zwischen den beiden Designs berechnet: In der Offline-Befragung korrelierten die Designs mit r(16)=.673 (p<0.01) und in der Online-Befragung mit r(32)=.816 (p<0.01) hoch und signifikant.
3. Konsens Die Konsensusanalyse beruht auf drei theoretischen Annahmen. Wenn diese Annahmen nicht erfüllt sind (was man an den statistischen Ergebnissen sehen kann), kann sie nicht angewandt werden:
- Es handelt sich um "eine Kultur", d.h. alle TeilnehmerInnen haben tendenziell eine ähnliche
Vorstellung von der Realität. Diese Annahme ist sicherlich nicht erfüllt, wenn man eine Gruppe
von Teetrinkern über Eigenschaften und Geschmack von Idee-Kaffee befragt. Es dürfte schwer sein,
hier Konsens und einen Experten zu finden. Aus der Übereinstimmung der TeilnehmerInnen kann demzufolge die "kulturell richtige" Antwort berechnet werden. 3.2 Ergebnisse aus Studien zum Cognitiven Mapping von Marken Für beide Studien wurden die Konsenswerte berechnet. Der Konsenswert betrug im Mittel sowohl bei der Online- als auch bei der Offline-Erhebung 0,58 bzw. 0,60 und liegt damit auf akzeptablem Niveau. Die Ergebnisse zeigen, dass auch intragruppale Konsenskennwerte im Vergleich der Online- zu der Offline-Erhebung nicht abfallen.
4. Korrespondenzanalyse Bis zu diesem Zeitpunkt haben wir uns damit beschäftigt, die Items einer Domäne zu identifizieren und Aussagen über die kulturelle Kompetenz der TeilnehmerInnen zu machen. Interessant sind jedoch auch die "lokalen" Strukturen der Begriffe in dieser Domäne. Für dieses Anliegen wird die Korrespondenzanalyse angewandt - ein statistisches Verfahren ähnlich einer multidimensionalen Skalierung, mit dem man die Dimensionen in der Domäne bestimmen kann. Diese Dimensionen bilden die Ordnungskriterien nach denen die Domäne strukturiert ist. 4.2 Ergebnisse aus Studien zum Cognitiven Mapping von Marken Die mittels Korrespondenzanalyse visualisierten Ergebnisse der Ähnlichkeitsanalyse per Triadentest liefern ebenfalls gleiche Ergebnismuster für Online- und Offline-Daten. Auf eine Darstellung der Ergebnisse in Raumkoordinaten wird hier jedoch aus Platzgründen verzichtet. Es kann jedoch berichtet werden, dass in beiden Studien fünf Dimensionen erforderlich waren, um eine ausreichende Varianzaufklärung von 45,2% bei der Online- Erhebung bzw. 40,0% bei der Offline-Erhebung zu erreichen. Der Goodness-of-fit-Index, der als Maß für die Urteilerübereinstimmung berechnet wurde, erreichte Werte von durchschnittlich 0,6 online und 0,8 offline. Eine nennenswerte Unterscheidung zwischen beiden Untersuchungsmedien konnte daher nicht nachgewiesen werden. 5. Fazit Die Daten lassen den Schluss zu, dass sich das Erhebungsverfahren unproblematisch online durchführen lässt und gleichzeitig eine Vereinfachung einhergeht (elektronisches Datenformat, Erhebung von großen Stichproben, Softwareunabhängigkeit, Motivierung der TeilnehmerInnen). Dies stellt eine solide Grundlage für eine weitere Verbreitung modellfreier Erhebungsverfahren beispielsweise in der Marktforschung dar. 6. Literatur Borgatti, S.P. (1998). Elicitation Methods for Cultural Domain Analysis. In: J. Schensul & M. LeCompte (Ed.) The Ethnographer's Toolkit. Volume 3. Walnut Creek: Altamira Press. Romney, A.K., Weller, S.C. & W.H. Batchelder (1986). Culture as consensus: A theory of culture and informant accuracy. American Anthropologist 88, S. 313-338. Weller, S.C. & A.K. Romney (1988). Systematic Data Collection. Newbury Park, CA: Sage Publications.
|
