|
|
|
GOR 2001 Homepage
Indices
Management - Staff only
|
GOR 2001 - ArticlesCurrently the following articles are available for the GOR-Conference in Spring 2001 in Göttingen (ordered by name of first author):
Bamert,Thomas
; Reips, Ulf-Dietrich Institution: Universität Zürich
Batinic, Bernad
; Institution: Lehrstuhl für Wirtschafts- und Sozialpsychologie, Friedrich-Alexander-Universität Erlangen-Nürnberg
Baur,Timo
; Kolo, Castulus Institution: Ludwig-Maximilians Universität München
Feldforschung in Multiplayer-OnlinespielenBaur, Timo (Ludwig-Maximilians-Universität München) Kolo, Castulus (Ludwig-Maximilians-Universität München, SV Online GmbH) AbstractIn Multiplayer-Onlinespielen finden die Interaktionen der gespielten Figuren in einer verteilten, simulierten Umgebung statt. Die heute am weitesten entwickelten Spiele sind darüber hinaus mit einer Vielzahl grafischer Elemente versehen. Abgesehen von technisch bedingten Einschränkungen sind die von den Spielern gesteuerten Figuren frei in ihren Spielzügen und spannen damit ihrerseits einen sozialen Interaktionsraum auf. Oberthema der hier vorgestellten Untersuchung im Onlinespiel Ultima Online ist die Verknüpfung von Charakteristika der Spieler und sozialer Phänomene in deren Alltagswelt mit den Phänomenen innerhalb der Spielwelt, deren Figuren-Ensemble als teil-simulierte "Gesellschaft" aufgefasst wird.Die Phänomene in und um Ultima Online wurden unter anderem durch eine standardisierte E-Mail-Befragung, durch offene Online-Interviews und durch teilnehmende Beobachtung sowohl in der Spielwelt als Mitspieler als auch der Spieler beim Spielen erschlossen. Es werden potentielle Einschränkungen der einzelnen Untersuchungsperspektiven und Methoden dargestellt und an ausgewählten Ergebnissen erläutert. Für die Zusammenführung der über verschiedene Methoden gewonnenen qualitativen und quantitativen Daten zu einer vollständigen Beschreibung wird ein Modell zur Strukturierung von Spielsituationen vorgeschlagen. Die darauf aufsetzende Analyse gibt zunächst Aufschluss über soziodemographische Merkmale und die Motivation der Spieler sowie die Nutzungscharakteristika. Es werden schließlich als Beispiel für emergente Phänomene innerhalb von Ultima Online die Bildung sozialer Formationen und die Verteilung von Vermögen der Spielfiguren diskutiert. Dabei wird die Verschränkung des Alltagslebens der Spieler mit der Welt der Spielfiguren und die Notwendigkeit einer gekoppelten Analyse beider Bereiche deutlich. Multiplayer-Onlinespiele liegen damit auf halbem Wege zwischen dem Untersuchungsgegenstand klassischer sozialwissenschaftlicher Forschung und vollständig simulierten "artificial societies". Vorliegender Beitrag ist das erste publizierte Ergebnis eines interdisziplinären Projektes am Institut für Völkerkunde der Ludwig-Maximilians-Universität München (Baur 2000). Die Untersuchung eines Multiplayer-Onlinespiels mit einer aufwendig programmierten grafischen Spielumgebung war zunächst nicht hypothesengeleitet sondern explorativ angelegt. Als Oberthema kristallisierte sich jedoch die Verknüpfung von Charakteristika der Spieler und sozialer Phänomene in deren Alltagswelt mit den Phänomen innerhalb der Spielwelt heraus. Der Beitrag soll anhand erster Ergebnisse Multiplayer-Onlinespiele mit grafischer Spielumgebung und mehreren tausend simultanen Teilnehmern als lohnenden Untersuchungsgegenstand vorstellen und offene Fragen für weitere Untersuchungen herausstellen. Multiplayer-OnlinespieleDas Genre der sogenannten "Massive Multiplayer Online Games" (im folgenden MMPOG abgekürzt), "Massive Multiplayer Online Role Playing Games" oder auch "Persistent Online Worlds" kann als Teilmenge von Computerspielen für mehrere informationstechnisch vernetzte Teilnehmer (Multiplayer-Onlinespiele oder kurz MPOG) aufgefasst werden. Diese neue Form von Multiplayer-Onlinespielen ist für bis zu mehrere Tausend simultan spielende Spieler konzipiert und stellt darüber hinaus grafische Umgebungen bereit, die der realen Welt in Funktionalität (im Sinne von Handlungsmöglichkeiten) und Aussehen ähneln. Betrachtet man die Zahl der Internetnutzer, die bereits an Online-Spielen teilnahmen und die kommerziellen Perspektiven, die mit derartigen Anwendungen gesehen werden, dann hat diese Form der Internetnutzung längst das Dasein als exotisches Randphänomen verlassen. Die ARD/ZDF-Onlinestudie 2000 hat beispielsweise ergeben, dass 24 % aller Internetnutzer gelegentlich schon Onlinespiele im weitesten Sinne genutzt haben, 7 % spielen einmal wöchentlich (ARD/ZDF-Arbeitsgruppe Multimedia 2000). Marktanalysten von Jupiter erwarten bis 2002 einen Anstieg der weltweiten Umsätze von etwa 100 Millionen US $ in 1999 auf mehr als das vierfache. Der Marktanteil von Online Spielen am gesamten Spielemarkt wird laut Forrester dann 25 % betragen. Umso erstaunlicher ist es, dass MMPOG, die seit etwa vier Jahren einen starken Zulauf erfahren, bis auf wenige Arbeiten wie z.B. die eher deskriptive und qualitative Untersuchung von Berger (2000) oder von Simpson (1999) zum Wirtschaftskreislauf in einem Online-Spiel bislang wenig untersucht sind. Zu den rein textbasierten Spielen wie Multi User Dungeons hingegen gibt es zwar zahlreiche Veröffentlichungen (z.B. Reid 1994), an die jedoch aufgrund der hier eingeschränkten Handlungsmöglichkeiten und des Fehlens der grafischen Elemente nur begrenzt angeknüpft werden kann. Für die hier vorgestellte Untersuchung wurde das Spiel Ultima Online (im folgenden UO abgekürzt) ausgewählt, das aus der PC-Spiel-Serie Ultima für einen Spieler hervorgegangen ist. Dieses Spiel wurde im September 1997 von der Firma Origin Systems International auf den Markt gebracht, und war der erste Versuch, eine große und komplexe virtuelle Welt über das Internet anzubieten. Ultima Online hatte sich bis zum Zeitpunkt der Studie im Januar 2000 bereits gut etabliert, und es konnte davon ausgegangen werden, dass die beobachteten Phänomene nicht nur die Anfangssituation wiedergeben. Eine durchgeführte Befragung (siehe unten) bestätigte, dass die durchschnittliche Spielerfahrung zum Zeitpunkt der Untersuchung 14 Monate betrug. Weiterhin war Ultima Online zu diesem Zeitpunkt das hinsichtlich der möglichen Teilnehmerzahl größte derartige Spiel für das Internet. Bereits im Juni 1999 gab es weltweit ca. 130.000 aktive Abonnenten. Heute sind es nach Angaben des Herstellers etwa doppelt so viele. Das Genre der MMPOG knüpft einerseits an bereits zuvor existierende PC-Spiele an. So gaben die befragten Nutzer von UO zu 85 % an, sie hätten bereits Erfahrung mit Computerspielen aus dem Rollenspiel- oder Adventurebereich. Andererseits wird in der Spielgestaltung eine Tradition der Offline-Fantasyspiele (Tabletop-Spiele) wie z.B. Advanced Dungeons & Dragons oder Das Schwarze Auge fortgeführt, die ebenfalls von 63 % der hier untersuchten Nutzer von UO bereits gespielt wurden. Auch der Anteil der Live-Rollenspieler ist mit 25 % auffällig. Live-Rollenspiele sind eine besondere Art des Offline-Rollenspiels, bei der die Teilnehmer in einer Art Stegreiftheater eine Rolle übernehmen und diese dann für eine beschränkte Zeit und in einem bestimmten Ambiente spielen. Vor der weiten Verbreitung des Internet waren Post- oder E-Mail-Spiele die naheliegende räumliche Erweiterung sowohl von Tabletop-Spielen als auch von Live-Rollenspielen über die Face-to-Face-Spielsituation hinaus. Die ersten Anwendungen für simultanes Spielen über das Internet kamen mit den Multi User Dungeons (MUDs) auf. In diesen Spielen werden gemeinsam mit anderen Spielern in Textform beschriebene Umgebungen erkundet und gemeinsam Aufgaben gelöst. MUDs stellen Vorläufer der heutigen grafischen MMPOG dar, waren allerdings aufgrund der komplizierten Steuerungsbefehle auf eine wesentlich geringere Zahl technisch versierter Nutzer beschränkt. Die Welt in Ultima OnlineDer Eintritt in die Welt von Ultima Online setzt einige vorbereitende Schritte für den Spieler in spe voraus. Neben einem Internetzugang und einem heute handelsüblichen PC ist der Erwerb einer Spielsoftware und die Zahlung einer monatlichen Gebühr von 10 US $ notwendig. Nach Freischaltung durch den Hersteller und Installation der Software hat man schließlich Zugang zur Spielumgebung, die ständig mit einem zentralen Server synchronisiert wird. Regelmäßig wird die Software um kostenpflichtige Zusatzpakete erweitert. Der erste Schritt im Spiel ist die Wahl einer Spielfigur. Die Spielumgebung in UO ist in einem mittelalterlichen Ambiente gehalten und dementsprechend auch die möglichen Spielfiguren.Das Spiel bietet mehrere Berufe zur Auswahl, wie z.B. Alchimist, Magier, Schwertkämpfer, Abenteurer, Bergmann, Schmied oder Holzfäller. Weiter kann man das Geschlecht, die Haartracht, Haarfarbe, Hautfarbe, das Gesicht und die Heimatstadt der Figur wählen. Neben den Spielfiguren, die von den Spielern durch das Fantasieland namens "Britannia" geführt werden gibt es auch Figuren, die rein von der Serversoftware simuliert sind (sog. Nichtspielercharaktere oder NPC) wie zum Beispiel verschiedenste Fabelwesen aber auch Händler, Arbeiter usw., die sich in ihrer grafischen Repräsentation nicht von den gespielten Figuren unterscheiden. Die Welt ist ferner mit Tieren bevölkert, die als Rohstoff z.B. für Leder oder gezähmt auch als Weggefährten dienen. 
Abbildung 1: Beispiel für die Gestaltung der grafischen Spielumgebung in UO und die Einblendung textbasierter Kommunikation Jede Spielfigur ist von Beginn an mit einer Reihe von wählbaren Fähigkeiten oder "skills" ausgestattet, die im Laufe des Spiels durch Übung bzw. Meistern bestimmter Situationen gesteigert werden können. Ferner gehören verschiedene dem gewählten Berufsstand entsprechende Gegenstände und ein Betrag von 100 GP ("Goldpieces", Gegenwert von z.B. eineTisch und vier Stüe oder einem Bronzeschild), der Währung von UO, zur Grundausstattung. Meist findet bereits unmittelbar nach dem Eintritt in die Spielwelt die erste Interaktion mit anderen statt. Der Spieler lernt so sukzessive neue Handlungsoptionen kennen und erfährt die verschiedenen im Spiel angelegten Produktionsketten: Minenarbeiter bauen Erz ab, Schmiede machen Eisenbarren daraus, aus denen dann beispielsweise Schwerter geschmiedet werden können, die z.B. an Krieger verkauft werden. ?hnliche Produktionsketten gibt es u.a. für Kleidung oder Möbel. Gejagtes, Gesammeltes oder Gefischtes kann selbst verzehrt oder ebenfalls z.B. mit Gasthaus- oder Ladenbesitzern gehandelt werden. Neben unmittelbar nachvollziehbaren Handlungsmöglichkeiten wie z.B. der Fortbewegung per Pferd, der Kommunikation per eingetipptem Text, des Handelns von Gütern oder der kämpferischen Auseinandersetzung sind auch Möglichkeiten vorgesehen, die sich im normalen Leben nicht finden wie z.B. das Sprechen eines Zaubers und die Überwindung von im Spielkontext "großen" Distanzen über sogenannte "Moongates". Die meisten Spielfiguren werden nicht als Einzelgänger durch die Welt von UO geführt. Die Bildung sozialer Formationen unter den Spielfiguren wird begünstigt durch die Gestaltung der Spielumgebung. So weist ein Veranstaltungskalender die Spieler darauf hin, wo und wann sie über Ihre Figur an verschiedenen Wettbewerben teilnehmen können oder welche Hochzeiten zwischen männlichen und weiblichen Spielcharakteren anstehen. Eine besondere Rolle nehmen sogenannte Gilden ein, Vereinigungen von Spielern, die auf Mitgliederlisten explizit genannt werden und deren Bildung softwareseitig unterstützt wird. Für die Aufnahme in eine Gilde müssen von den Gildenmitgliedern frei ausgehandelte Aufnahmeriten durchlaufen werden. Die Gilden werden repräsentiert von einem Gildenmeister, der Titel vergeben kann, Neulinge aufnimmt und die Gilde nach außen repräsentiert. Die in einer Gilde Online repräsentierten Spieler treffen sich oft auch Offline oder pflegen über andere Kommunikationskanäle (z.B. Email, ICQ oder Telefon) außerhalb UO Kontakte. Beobachtungsmodell und UntersuchungsdesignZur Untersuchung der Phänomene in und um UO wurden zwischen Ende 1999 und Februar 2000 fünf komplementäre Methoden eingesetzt, um Daten zu erheben:
Durch die strukturierte Befragung der Spieler konnte eine quantitative Datenbasis geschaffen werden, deren Aussagen durch die Ergebnisse der offenen Interviews sowie der teilnehmenden Beobachtungen ergänzt und hinterfragt wurden. Die Selbstselektion in der strukturierten Befragung führt zwar dazu, dass die Ergebnisse nur eingeschränkt verallgemeinerbar sind. Doch ein Vergleich mit Ergebnissen aus den anderen Untersuchungsmethoden bot keine Anhaltspunkte dafür, dass die aggregierten Aussagen zu Charakteristika der Nutzer und der Nutzung atypisch wären und auf einer Anreicherung von Ausnahmespielern beruhten. Um die Ergebnisse der verschiedenen Methoden schließlich für eine Analyse zusammenzuführen, ist eine Strukturierung der Spielsituationen hinsichtlich der Beobachtungsperspektiven bzw. der beobachteten Elemente hilfreich. 
Abbildung 2: Die unterschiedlichen Schichten einer Spielsituation und die den Schichten zugeordneten Beobachtungselemente Bei der Datenerhebung werden drei verschiedene Schichten der Spielsituation betrachtet: die Offline- oder Alltagswelt, die Online- oder Spielwelt sowie die beide verbindende Schicht der technischen Infrastruktur und Steuerungsprogramme (vgl. Abbildung 2). Nicht nur der Beobachter sondern auch der Spieler bezieht sich in seinen ?ußerungen jeweils auf eine der verschieden Schichten. Das vollständige Bild einer Spielsituation entsteht dabei erst durch die Zusammenschau der Vorgänge in allen Schichten, denn: "The opposition of real and virtual [...] completely misses the complexity and diversity of relationships that people may pursue through the communicative media that they embed in their ongoing social lives." (Miller, Slater 2000:55) Neben dieser horizontalen Strukturierung der Spielsituationen in Schichten lassen sich die untersuchten Phänomene in einer vertikalen Struktur entsprechend ihrer sozialen Komplexität einteilen (vgl. Abbildung 3): Die Mikro-Ebene des einzelnen Spielers bzw. der Spielfigur, die Meso-Ebene der sozialen Formationen (Spieler-Cliquen bzw. Gilden der Spielfiguren) und die Makro-Ebene der gesamten Spieler-Gemeinschaft bzw. der "Gesellschaft" der Spielfiguren in UO.
Abbildung 3: Horizontale und vertikale Strukturierung der beobachteten Phänomene Die nachfolgende Darstellung ausgewählter Ergebnisse orientiert sich an diesem Modell. Zunächst wird der typische Spieler charakterisiert. Ausgangspunkt dafür ist die soziale Mikroebene in der Offlinewelt. Über die Motivation der Spieler wird der Bezug zur Onlinewelt des Spiels hergestellt. Schließlich werden soziale Meso- und Makrophänomene in der Spielwelt erläutert. Es zeigt sich dabei erwartungsgemäß, dass diese nur verständlich sind, wenn ein Rückgriff auf die dahinterliegenden Spieler erfolgt. Besonders deutlich wird die Kopplung von Spielwelt und Alltagsleben in der Gegenüberstellung von Geschlechterrollen und Freundschaftsbeziehungen. Charakterisierung der OnlinespielerDer typische Spieler von UO ist mit einem Durchschnittsalter von 24 Jahren jünger als der Durchschnitt der Internetnutzer (vgl. Abbildung 4) und damit auch jünger als der Bevölkerungsdurchschnitt. Auffällig hoch ist mit 52 % der Anteil der Berufstätigen unter den Spielern. Die anderen Spieler befinden sich in verschiedenen Formen der Ausbildung. Eine Untersuchung des Morgengrauen-MUD erfaßte demgegenüber einen Anteil von fast 90 % Studierender (Schildmann, Wirausky und Zielke 1995). 
Abbildung 4: Altersverteilung der UO-Spieler Die durchschnittliche Dauer eines Spieles beträgt etwa 4 Stunden wobei auch "Sessions" bis zu 12 Stunden angegeben wurden (vgl. Abbildung 5). Der typische Spieler ist mit durchschnittlich 5,7 mal pro Woche fast täglich in UO. Insgesamt errechnet sich daraus eine Gesamtspieldauer von wöchentlich etwa 23 Stunden. Mit 92 % dominiert der Anteil der Spieler, die zumindest teilweise von zu Hause aus ans Netz gehen. Angesichts der typischen Spielzeit zwischen 18 Uhr und 4 Uhr morgens (siehe Abbildung 6) ist dies nicht überraschend. Die meisten Spieler sind dabei auf die Nutzung einer Telefonleitung angewiesen. Wie aus den offenen Interviews hervorging, sind Telefonrechnungen von über 150 DM keine Seltenheit. 
Abbildung 5: Verteilung der typischen Dauer von Spiel-"Sessions"
Abbildung 6: Verteilung der Tages- und Nachtzeiten, an denen UO gespielt wird Es gibt bei Ultima Online keinen expliziten Auftrag, den die Spieler erfüllen müssen. Angesichts der deutlichen Investition von Zeit und Geld stellt sich die Frage, was die Spieler zu einem solchen Einsatz motiviert. Wie die Befragung zeigte, ist der Mehrzahl der Teilnehmer das Erleben des Entstehens und sich Entwickelns einer eigenen "Gesellschaft" in der Onlinewelt sehr wichtig (siehe Abbildung 7). Die Möglichkeit, mit Tausenden von Mitspielern über die Figuren zu interagieren rangierte in der Wichtigkeit als Spielaspekt nahezu ebenso hoch, gefolgt von den gemeinschaftlichen Aktivitäten in der Gilde. Hier bot Ultima Online etwas spezifisch Neues. Zum ersten Mal war es in einem Computer-Rollenspiel möglich, gemeinsam mit anderen eine grafisch komplexe virtuelle Welt mit bislang ungekannten Ausmaßen zu erkunden und zu erleben. Tendenziell nimmt - wie man in Abbildung 7 erkennt - die Wichtigkeit von Aspekten, die sich auf das soziale Erleben des Spiels beziehen, hin zu Aspekten, die mit individuellen Charakteristika der Spielfigur bzw. des Spielers zusammen hängen ab. Das Lösen von Rätseln, der Aufstieg in der Spielerhierarchie oder der Aspekt des Kampfes sind nur für weniger als ein Drittel der Spieler sehr wichtige Elemente des Spiels. 
Abbildung 7: Wichtigkeit ausgewählter Spielaspekte Dieses Ergebnis wird auch durch die Auswertung der offenen Frage "Was reizt dich an UO besonders?" bestätigt, zu der sich 92 % der Teilnehmer äußerten. Es dominieren mit etwa 70% der Antworten Aussagen, die die Bedeutung sozialer Aspekte wie die "hohe Interaktivität des Spiels", die Möglichkeiten zur "Kommunikation", "Freundschaften", das virtuelle "Leben in der Gilde", das sich bewegen in einer "virtuellen Welt" und das "Rollenspiel" für die Spieler betonen. Auf die eigene Spielfigur bezogene Möglichkeiten wie die Ansammlung von Vermögen werden nur von wenigen Spielern als Reiz des Spiels genannt. Die 'Gesellschaft' der Spielfiguren - Makro- und Mesophänomene in OnlinespielenIm folgenden wird die Untersuchungsperspektive gewechselt und das Augenmerk zunächst auf die Onlinewelt der Spielfiguren gelegt. Auch wenn die ?ußerungen der Spieler, ihnen sei die Entwicklung einer eigenen "Gesellschaft" besonders wichtig, differenziert betrachtet werden muss - es handelt sich letztlich um von den Spielern gesteuerte Figuren - so lassen sich doch auf der Ebene der Gesamtheit aller Figuren analog zur gesamtgesellschaftlichen Ebene in der Offline-Welt emergente Makrophänome untersuchen. Am einfachsten, da quantifizierbar, sei dies am Beispiel der Vermögensverteilung erläutert. Grundsätzlich ist diese Untersuchungsperspektive jedoch auch auf andere Makrokonstellationen übertragbar, die sich aus der Aggregation der Figureneigenschaften herleiten. Alle Spieler beginnen mit dem gleichen Vermögen als Grundausstattung. Es stellt sich also die Frage, welche Verteilung sich nach einer mittleren Teilnahmedauer am Spiel von etwa 14 Monaten einstellt und welche Ursachen dies hat. Die beobachtete Verteilung des Vermögens der Spieler, gemessen am Besitz von "Gold Pieces" ist extrem ungleich. Die 20% reichsten Figuren besitzen 83 % des gesamten Vermögens. Gleichermaßen verzerrte Verteilungen finden sich in der Offline-Welt in Schwellenländern wie Brasilien oder Südafrika (UNDP 1999). Eine naheliegende Erklärung dafür wäre, dass das Vermögen der Spieler mit der Teilnahmedauer zunimmt und damit die erhaltene Verteilung lediglich die unterschiedlich lange Teilnahme wiedergibt. Eine Untersuchung des Zusammenhangs zwischen Teilnahmedauer und Vermögen der Spielfigur zeigte jedoch, dass damit nur etwa 5 % der beobachteten Varianz in den Vermögen erklärt wird. Auch wenn man die Verteilung um die extrem hohen und wenigen "Ausreißer" bereinigt, kommt man für das darunter liegende Feld der Vermögenswerte nur zu 8 % erklärter Varianz. Die Teilnahmedauer alleine liefert also keine ausreichende Erklärung. Insbesondere für die Akquisition sehr hoher Vermögen scheint es andere Ursachen zu geben. Einen Anhaltspunkt liefert die Untersuchung der sozialen Einbettung der Spielfiguren in der Spielwelt. Ebenso wie im Alltagsleben liegt die Hypothese nahe, dass Figuren mit exponierter Position innerhalb des Interaktionsnetzwerks verbesserten Zugang zu Ressourcen haben und durch Makler-Funktionen anderen verschlossene Profite abschöpfen können. Um nähere Auskünfte über die Vernetzung der Spielfiguren (entsprechend ihrer Interaktionen im Spiel) zu erhalten, wurden die Mitglieder der Gilde "Protectors of Moonglow" nach den Charakteren (Spielfiguren) gefragt, zu denen in UO regelmäßiger Kontakt besteht. Die genannten Beziehungen wurden schließlich zusammengefasst und in einen Graphen übertragen, der das soziale Netzwerk innerhalb der Gilde repräsentiert. Abbildung 8 zeigt das Netzwerk der Gilde und wurde um Nichtmitglieder an der Peripherie bereinigt, die im Zuge der Befragung auch als regelmäßige Kontaktfiguren genannt wurden.  Abbildung 8: Das Netzwerk der Gilde "Protectors of Moonglow" Insgesamt lässt die Auswertung der jeweils genannten häufigen Kontaktfiguren den Schluss zu, dass für diese mit etwa 67 % die Gildenmitglieder dominieren. Die Gilde stellt demnach für die Mitglieder das wesentliche soziale Umfeld dar. In der Abbildung ist deutlich eine zentrale Spielfigur zu erkennen (a84), deren Position im Netz eine hohe Grad-Zentralität aufweist, d.h. die Figur verfügt über eine hohe Anzahl von Kontakten zu anderen Figuren. Die Figur a84 ist weiblich (männlicher Spieler) und verfügt über dreimal so viel Vermögen wie die zweitreichste Figur der Gilde. Interessant ist, dass diese Figur in der Gilde kein offizielles Amt bekleidet. Sie erweist sich dadurch vielmehr als "Strippenzieher" im Hintergrund. Eine etwas geringere, aber gegenüber den anderen Gildenmitgliedern noch vergleichsweise hohe Grad-Zentralität haben die Akteure a78, a80, a92, a114. Die Figur a78 ist ebenfalls weiblich (männlicher Spieler) und verfügt über ein durchschnittliches Vermögen. Als Gildenmeisterin nimmt Figur a78 ein zentrales, offizielles Amt ein. Der dazugehörige Spieler zeichnet für die Homepage der Gilde verantwortlich. Aus der Abbildung wird deutlich, dass die Figur a78 über gute Kontakte in fast alle Bereiche des Netzes verfügt. Figur a80 repräsentiert den Schatzmeister der Gilde, hat männliches Spielgeschlecht (ebenfalls männlicher Spieler), und verfügt nur über ein unterdurchschnittliches privates Vermögen. Die häufigsten Kontakte der Figur innerhalb UO sind - wie für einen "Schatzmeister" erwartet, sehr eng an die Kernclique des Netzes geknüpft. Die Figur a92 ist männlich (ebenfalls männlicher Spieler), verfügt über ein durchschnittliches Vermögen und bekleidet in der Gilde das offizielle Amt eines Beraters. a114 ist der Gilden-?lteste. Er hat "Zauberkräfte" und ist ein vergleichsweise guter Kämpfer. Es zeigt sich also, dass mit Ausnahme der Figur a84 alle zentralen Akteure des Netzwerks auch ?mter in der Gilde bekleiden. Das weit über dem Durchschnitt liegende Vermögen der Ausnahme-Figur a84 erhärtet die Ausgangshypothese, dass gutes "Networking" auch in der Onlinewelt zu Erfolg (vereinfacht gemessen am Besitz) verhilft. Die Untersuchung ließe sich nun weiter ausdehnen auf die hinter den Figuren liegenden individuellen Eigenschaften der Spieler. Insbesondere liegt die Frage nahe, ob die soziale Positionierung der Figur im Spiel abhängig ist von der sozialen Positionierung des Spielers in der Offlinewelt, d.h. ob Dominanz in Offline-Gruppen mit einer Dominanz in Online-Gruppen korreliert ist oder, ob die gegenüber der Face-to-Face-Kommunikation restringierte Interaktion zu diesbezüglichen Verschiebungen führt. Wir lassen diese Frage für weitere Untersuchungen offen. MMPOGs bieten jedoch ein ideales Untersuchungsfeld um dieser Frage nachzugehen, die sich verallgemeinert auch in anderen computervermittelten Interaktionssituationen stellt. Spielwelt und AlltagslebenDie starke Interaktivität der Spieler von UO über ihre Spielfiguren, aber auch das Spiel begleitend über IRC und E-Mail, lassen eine Verschränkung der Spielerbeziehungen in der Online- und der Offline-Welt vermuten. Die sozialen Beziehungen zwischen den Spielern von UO sind fast ausschließlich Beziehungen zwischen jungen Männern. Der Frauenanteil ist mit 3 % im Vergleich zum Durchschnitt aller Internetnutzer extrem gering. Gegenüber MUDs scheint in UO der Tausch von Geschlechterrollen im Spiel eine geringere Häufigkeit aufzuweisen. Ein derartiges "Genderswapping" ist in UO nur für 14 % der männlichen Spieler festzustellen bzw. für 12 % der Gesamtpopulation. Keine der wenigen Frauen spielte eine Figur männlichen Geschlechts. In einer Untersuchung von 199 MUD-Spielern aus 35 MUDs ergab sich ein Durchschnittswert von etwa 20 % der Spieler, die Online eine andere Geschlechterrolle annehmen (Mc Kenna, Lee 1996). Ultima Online stellt allerdings auch keine Mischwesen oder geschlechtslose Wesen zur Wahl. 
Abbildung 9: Von den Spielern wahrgenommene Zusammenhänge zwischen sozialen Beziehungen in der Spielwelt und im Alltagsleben Den Formen und dem jeweiligen Stellenwert, den die Spieler ihren Beziehungen beimessen, wurde im Rahmen der strukturierten Befragung nachgegangen. Abbildung 9 zeigt, dass den Spielern reine UO-Beziehungen weniger wichtig sind als Offline-Freundschaften. Auch schätzt nur ein geringer Teil der Spieler sein Sozialverhalten als durch das Spiel verändert ein. Nur 40 % möchten ihre Spielpartner auch Offline treffen. Andererseits haben die meisten Spieler in UO einen festen Kreis an Interaktionspartnern und geben an, in UO schneller und leichter jemanden kennen zu lernen als außerhalb davon. Die Tiefe dieser Beziehungen bzw. die emotionale Bindung hierbei wurde jedoch in der Befragung nicht weiter geprüft. In einer offenen Frage zur beobachteten Veränderung des Sozialverhaltens durch das Spiel war ein häufig genannter Aspekt das reduzierte Zeitbudget für andere Aktivitäten und Hobbies. Viele gaben an, abends weniger auszugehen. Einige erklärten, dass der Kontakt zu Freunden, die nicht UO spielen, nachgelassen hätte. Dabei habe ausgleichend gewirkt, dass neue soziale Beziehungen hinzukamen, mit diesen Kontakten allerdings in vielen Fällen hauptsächlich über Ultima Online gesprochen wurde. Ein insgesamt atypisches aber dafür umso dramatischeres Bild der Veränderungen im Alltagsleben durch UO zeichnete ein Spieler im Rahmen eines offenen Interviews per Email: " [...] Ich war von UO seit Anfang an begeistert. [...] Die ersten Kontakte mit UO waren, da ich auch noch in einem Internat war, sehr kurz. Als ich aber kurze Zeit später das Internat verließ und nach Hause (zu meinen Eltern) zog, wurde aus dem Teilzeitspaß, geradezu ein Fulltimejob, oder besser gesagt eine Sucht! Alles andere in meinem Leben kam zu kurz. Ich vernachlässigte meine eigentliche Arbeit, die Schule, andere Aktivitäten (wobei man hier sagen muss, dass ich zu Internatszeiten 5 mal die Woche Sport betrieben habe, und auf einmal so gut wie gar nicht mehr) und was am schlimmsten war: meine Freunde. Die hatte ich ja jetzt in UO, wobei die deutsche Szene damals noch sehr klein war. Ich saß wirklich ca. 10 Stunden pro Tag, am Wochenende sogar noch mehr vor dem Computer und habe gezockt. Mein einziger Ausweg war das Wechseln in ein neues Internat, in dem ich auch meinen Schulabschluss beendet habe. [...]" DiskussionObwohl die Untersuchung ursprünglich nur als "fact finding mission" in die Spielwelt von Ultima Online vorgesehen war und sich die Ergebnisse der strukturierten Befragung auf ein Sample von nur etwa 100 Spielern beziehen, lassen sich doch durch Abgleich mit parallelen Untersuchungsmethoden belastbare Kernaussagen zusammenfassen:
Multiplayer-Onlinespiele wie UO bleiben ein lohnender Gegenstand für weitere Untersuchungen:
LiteraturARD/ZDF-Arbeitsgruppe Multimedia (2000): ARD/ZDF-Online-Studie 2000: Gebrauchswert entscheidet über Internetnutzung in: Media Perspektiven 8/2000, S. 338-349 Baur, Timo (2000): Virtuelles Britannia: Eine Feldstudie in der virtuellen Realität, unveröffentlichtes Manuskript, Ludwig-Maximilians-Universität München Berger, Andreas (1999): Spiel mit den Leben, Eine deskriptive und qualitative Analyse des Multiuserdungeons "Ultima Online", Wien [Online: http://www.univie.ac.at/Publizistik/mud/andreas1.htm] Breeze, Mary-Anne (1997): Quake-ing my boots:<<Examining>>clan:community< construction in an online gamer population, in: Cybersociology Magazine Issue Two: Feature Article [Online: http://www.socio.demon.co.uk/magazine/magazine.html] Epstein J, Axtell R. (1995): Growing Artificial Societies: social science from the bottom up, Brookings Institution Press, Washington GFK (2001): GFK Online-Monitor 7.Welle Mc Kenna, Lee (1996): A Love Affair with MUDs: Flow and Social Interaction in Multi-UserDungeons, Ohio, USA [Online: http://oak.cats.ohiou.edu/~sl302186/MUD1.HTM] Miller D., Slater D. (2000): The Internet, An Ethnographic Approach, Berg, Oxford, New York Reid, Elizabeth M. (1994): Cultural Formations in Text-Based Virtual Realities, Master's Thesis, Melbourne, Australia. 1994 [Online: http://home.earthlink.net/~aluluei/cult-form.htm] Schweizer, Thomas (1996): Netzwerkanalyse als Fundament der Sozialethnologie, Reimer, Berlin Simpson, Zachary B. (1999): The In-Game Economics of Ultima Online, Onlinepublikation [Online: http://www.totempole.net/uoecon/uoecon.html] UNDP (1999), World Inequality Database, United Nations Development Programme, The United Nations University
Bauss, Anne-Katrin
; Jonas, Kai; Sassenberg, Kai; Boos, Margarete Institution: Georg-August-Universität Göttingen
Entwicklung und Evaluation eines Online-E-Mail-Trainings Anne-Katrin Bauß, Kai J. Jonas, Kai Sassenberg & Margarete Boos Georg-August-Universität Göttingen Elektronische Post (engl. Electronic Mail, abgekürzt E-Mail) wird immer mehr zur organisationsinternen sowie -externen Kommunikation genutzt: Serviceleistungen und Produktanfragen spielen dabei ebenso eine Rolle wie internet- oder intranetbasierte Mailinglisten. E-Mail-Handbücher (z.B. Lutz & Schwertner, 1999, Flynn & Flynn, 1999) wie auch psychologische Untersuchungen zur Aneignungen neuer Kommunikationstechniken in Organisationen (z.B. Wiest, 1994) zeigen jedoch, daß das Schreiben von E-Mails Techniken und Kenntnisse - kurz Medienkompetenz - erfordert, die nicht von vornherein gegeben sind. Viele Mitarbeiterinnen und Mitarbeiter, die bisher noch keinen Kontakt mit den sogenannen "Neuen Medien" hatten fühlen sich anfangs schnell überfordert. Eine effiziente Nutzung von E-Mail ist somit nicht gewährleistet. Zwar erfolgt in manchen Unternehmen bei der Einführung von E-Mail eine kurze Einweisung. Diese beinhaltet meist aber nur technische Details und läßt konkrete E-Mail-Kommunikationstips außer acht. Am Beispiel der sogenannten Netiquette - den empfohlenen Verhaltensregeln im Netz - zeigt sich jedoch, daß erfolgreiche Netzkommunikation nicht auf den Erwerb technischer Kompetenz beschränkt ist, sondern zusätzlich soziale Kompetenz und Sachkenntnis erfordert. Da die bisher vorliegenden E-Mail-Trainings soziale Aspekte sowie spezifische Empfehlungen bei der Nutzung von E-Mail am Arbeitsplatz eher vernachlässigen, wurde in der folgenden Studie ein E-Mail-Kommunikationstraining speziell für den Arbeitsalltag konzipiert. Entwicklung eines Online-E-Mail-Trainings Neben alltäglichen Fragen, Problemen und Empfehlungen im Bereich E-Mail, die E-Mail-Praxisbüchern zu entnehmen waren (z.B. Flynn & Flynn, 1999; Schätzlein & Deutscher, 1998), basierten die Trainingsinhalte auf sechs Theorien bzw. Modellen zur computervermittelten Kommunikation (zusammengefaßt aus Döring, 1999, z.B. Theorie der sozialen Reizreduktion, Sproull & Kiesler, 1986; Theorie sozialer Informationsverarbeitung, Walther, 1992) und dem Verständlichkeitskonzept von Langer, Schulz von Thun & Tausch (1990). Zur Trainingsgliederung wurde das Modell "Vier Seiten einer Nachricht" (Schulz von Thun, 1981) herangezogen. Das Internet bietet in Form von Online- bzw. sogenannten virtuellen Trainings eine neue, mit vielen Vorteilen verbundene Form des Lehrens und Lernens (Scheuermann, 1998). Zeitliche und räumliche Flexibilität sowie eine nahezu unbegrenzte Teilnehmerinnen- und Teilnehmerzahl sind typische Merkmale dieser Weiterbildungsform. Da gleichzeitig der Umgang mit den neuen Informations- und Kommunikationstechnologien geübt wird, erschien die virtuelle Vermittlungsform beim E-Mail-Training als Methode der Wahl. Inhalte und Ablauf des Trainings Inhalte des Trainings waren Empfehlungen zur formalen Gestaltung einer E-Mail (z.B. begrenzte Verwendung von Akronymen, optimale Länge einer E-Mail, empfehlenswerte Gliederung einer E-Mail, Verwendung einer aussagekräftigen Betreffzeile), gefolgt von Anmerkungen über den "emotionalen" Inhalt einer E-Mail (z.B. Flaming, Wirkung von Großbuchstaben in E-Mails) sowie Hinweisen zur optimalen Selbstdarstellung via E-Mail (Erstellen einer Signatur, Aussagekraft der Kopfzeilen). Abschließend wurde im Rahmen der Erörterung der Vor- und Nachteile von E-Mail (z.B. Sicherheitsaspekt, Versenden von Dateien als Attachment, Weiterleiten einer Nachricht u.a.) der Aspekt der Medienwahl berücksichtigt. Die Teilnehmerinnen und Teilnehmer kommunizierten ausschließlich asynchron textbasiert via E-Mail mit der E-Mail-Trainerin. Während des gesamten Trainingszeitraums waren zwölf Trainingseinheiten zu bearbeiten, die im Intranet bzw. Internet einzusehen waren und deren antizipierte Bearbeitungsdauer bei 15 min lag. Die Trainingseinheiten endeten mit einer Übungsaufgabe, deren Lösungsvorschlag die Teilnehmerinnen und Teilnehmer der Trainerin per E-Mail zuschickten. Darauf folgte ein halbstandardisiertes E-Mail-Feedback, welches neben der Aufgabenlösung einen Hyperlink zur nächsten Trainingseinheit beinhaltete. Evaluation des Online-E-Mail-Trainings Ziel der Evaluation war eine Überprüfung der Wirksamkeit und Akzeptanz des Online-E-Mail-Trainings. 46 Teilnehmerinnen und Teilnehmer aus zwei Institutionen nahmen an der Evaluation im Zeitraum von Ende Mai bis Ende August 2000 teil. Zur Überprüfung der Hypothese, daß das E-Mail-Training eine Erhöhung der objektiven Medienkompetenz bewirkt, wurde die Hälfte der Teilnehmerinnen und Teilnehmer zunächst als Vergleichsgruppe nicht trainiert. Zwei E-Mail-Wissenstests, die zu verschiedenen Meßzeitpunkten bearbeitet wurden, dienten der Einschätzung der objektiven Medienkompetenz als Kriterium für den objektiven Lernerfolg. Die Trainingsgruppe bearbeitete jeweils vor und nach dem Training einen Wissenstest. Die Vergleichsgruppe erhielt die Tests in einem Abstand von zwei Wochen, der als optimale Trainingsdauer antizipiert worden war. Bei den E-Mail-Wissenstests handelte es sich um zwei fiktive E-Mails, in denen zwölf typische inhaltliche, stilistische und formale E-Mail-Fehler enthalten und von den Teilnehmerinnen und Teilnehmern zu identifizieren waren. Zu Beginn und am Ende des Trainings wurden außerdem jeweils Daten mittels Fragebögen erhoben. Diese konnten online ausgefüllt werden. Zu Beginn des Trainings wurde die subjektive Medienkompetenz, die Motive für die Teilnahme, die Erwartungen an das Training sowie soziodemographische Daten erfaßt. Der zweite Fragebogen nach dem Training enthielt Fragen zum Grad der Erwartungserfüllung, zur Gestaltung des Trainings, technischen Problemen, der Zufriedenheit mit einzelnen Trainingsinhalten sowie dem subjektiven Lernerfolg. Ergebnisse Objektiver und subjektiver Lernerfolg Hinsichtlich des objektiven Lernerfolgs ergaben sich deutliche Unterschiede in der objektiven Medienkompetenz vor und nach dem E-Mail-Training. Die Teilnehmerinnen und Teilnehmer der Trainingsgruppe (n=23) wiesen im E-Mail-Wissenstest nach dem Training eine signifikant höhere objektive Medienkompetenz auf als vor dem E-Mail-Training (M1= 5.26; SD1 = 2.18; t (22) = 8.535; p < .001). Zudem erhöhten sie ihre objektive Medienkompetenz zwischen den zwei Meßzeitpunkten signifikant stärker als die nicht trainierte Vergleichsgruppe (M3 = 0.22; SD3 = 1.57 und M4 = 3.70; SD4 = 2.08; t (44) = 6.414, p < .001). Der durchschnittliche subjektive Lernerfolg aller Teilnehmerinnen und Teilnehmer, die das Training vollständig bearbeitet hatten (n=36) betrug auf einer sechsstufigen Ratingskala (1 = sehr niedrig, 6 = sehr hoch) einen Mittelwert von 4.03 (SD=0.97). Reaktionen auf das Training Die durchschnittliche subjektive Medienkompetenz aller 46 Beteiligten betrug zu Beginn des Trainings auf einer sechsstufigen Ratingskala (1 = keine Erfahrung, 6 = sehr viel Erfahrung) einen Mittelwert von 2.62 (SD = 0.79). Dabei fiel auf, daß das theoretische Vorwissen im Bereich Internet/E-Mail aus Internet-Einführungskursen und eigener Lektüre besonders gering eingestuft wurde, was die Wichtigkeit eines E-Mail-Trainings unterstreicht. Dementsprechend hoch fiel die intrinsische (M = 4.96, SD = 0.90) und extrinsische Motivation (M = 3.48, SD = 1.33) zur Teilnahme am Training aus. Besonders positiv bewerteten die Teilnehmerinnen und Teilnehmer den virtuellen Ablauf, der die zeitliche und räumliche Flexibilität des Trainingsablaufs ermöglichte. Auch die individuelle Betreuung sowie die übersichtliche Gliederung und abwechslungsreiche Gestaltung der Trainingsseiten fanden großen Anklang. Lediglich zwei der zwölf Übungen sowie die zu antizipierende Bearbeitungsdauer der einzelnen Trainingseinheiten wurden von den Teilnehmerinnen und Teilnehmern als veränderungswürdig bewertet. Anmerkungen von Teilnehmerinnen und Teilnehmern zur Bearbeitungsdauer der einzelnen Trainingseinheiten verdeutlichen, daß die antizipierte Dauer von 10-15 auf 20 bis 30 min erhöht werden sollte. Die durchschnittliche Trainingsdauer von 23.17 Tagen (SD = 12.46) spricht auch für die Anhebung der zu antizipierenden Bearbeitungsdauer für das gesamte Training. Die Trainingsdauer schwankte dabei zwischen einer sehr kurzen Bearbeitungsdauer von drei Tagen bei zwei Personen und einer maximalen Dauer von 50 Tagen bei einer anderen Person. Diskussion Die klassische Wirkungsanalyse, die sich mit dem objektiven, trainingsbedingten Lernerfolg - der Erhöhung der objektiven Medienkompetenz - befaßt, wurde in der vorliegenden Evaluation um eine Analyse des subjektiven Lernerfolgs ergänzt. Dieser war zu entnehmen, daß die Teilnehmerinnen und Teilnehmer ihren subjektiven Lernerfolg nach dem E-Mail-Training durchgehend als sehr hoch empfanden. Es kann angenommen werden, daß vor allem das subjektive Empfinden der Teilnehmerinnen und Teilnehmer, durch das Training einige neue Kenntnisse im Bereich E-Mail gewonnen zu haben, ihr Interesse an der Nutzung von E-Mail fördern und ihre Sicherheit im Umgang mit dem neuen Medium erhöhen kann. Ein Ziel des E-Mail-Trainings, die anfängliche Überforderung der Mitarbeiterinnen und Mitarbeiter mit dem neuen Medium E-Mail am Arbeitsplatz zu verringern, kann somit als erreicht angesehen werden. Diese positive Wirkung des E-Mail-Trainings, die aus den Bewertungen des subjektiven Lernerfolgs und der positiven Reaktionen auf das Training hervorging, wird gleichzeitig unterstrichen durch den objektiven Lernerfolg der Teilnehmerinnen und Teilnehmer, der aus den zwei Wissenstests hervorging.. Für die Weiterentwicklung des Trainings kann aus den Erfahrungen dieser Studie abgeleitet werden, daß vor allem die zu antizipierende Bearbeitungsdauer der einzelnen Trainingseinheiten von ursprünglich 15 min auf 20 bis 30 min erhöht werden sollte. Zu berücksichtigen ist dabei vor allem die zu Beginn nötige Eingewöhnungszeit an die Techniknutzung und die virtuelle Lernumgebung, mit der die Mehrzahl der Teilnehmerinnen und Teilnehmer aus dieser Studie nach eigener Einschätzung bisher kaum Erfahrung hatte. Außerdem erscheint die Kombination des virtuellen Vermittlungsform mit einer herkömmlichen Einführungsveranstaltung zum Kennenlernen der Trainerin sowie .dem Abklären von technischen Fragen vorteilhaft, um die gewisse Anonymität beim ausschließlich asynchron textbasiert ablaufenden Training zu verringern. Literaturangaben: Döring, N. (1999). Sozialpsychologie des Internet: die Bedeutung des Internet für Kommunikationsprozesse, Identitäten, soziale Beziehungen und Gruppen. Göttingen: Hogrefe. Flynn, N. & Flynn, T. (1999). Professionelle E-Mails: Schreiben, Texten, Gestalten und Verwalten. Wien: Ueberreuter. Langer, I., Schulz von Thun, F. & Tausch, R. (1999). Sich verständlich ausdrücken (6. Aufl.). München: Reinhard. Schätzlein, E. & Deutscher, E. (1998). Praxisbuch Geschäftsbriefe. Effizient und kundenorientiert schreiben. Brief, Fax und E-Mail: Analysen und Verbesserungsvorschläge. Niedernhausen/TS.: Falken. Schulz von Thun, F. (1981). Miteinander reden: Störungen und Klärungen: Psychologie der zwischenmenschlichen Kommunikation. Reinbek bei Hamburg: Rowohlt. Wiest, G. (1994). Computergestützte Kommunikation am Arbeitsplatz. Die Aneignung neuer Kommunikationstechniken in Organisationen am Beispiel von Electronic Mail. Weiden: Schuch.
Boos, Margarete
; Institution: Georg-Elias-Müller-Institut für Psychologie, Georg-August-Universität Göttingen
Boudourides, Moses A.
; Institution: Computer Technology Institute and Department of Mathematics, University of Patras
1. Introduction Internet research (Jones, 1999) is recently concentrating the interest of many scholars not only because of the ubiquitousness of this new medium. Some, as Paccagnella (1997), hope that these studies could transcend the traditional quality/quantity divide in social research (cf., Miles & Huberman, 1994, pp. 40-43). In fact, the idea of an interpretive social science combined with statistical methods is not new at all. For instance, Max Weber (1949 [1922]) advocated the interplay between explanation (Erklären) and understanding (Verstehen). More recently, Pierre Bourdieu has made extensive use of correspondence analysis because the latter as a relational technique of data analysis corresponds exactly to what, in his view, “the reality of the social world is” and “it is a technique which ‘thinks’ in terms of relation” (Bourdieu & Wacquant, 1992, p. 96). In the sequel, we intend to overview three different approaches (social network analysis, ethnography and chaos theory) and exhibit some examples of their contributions to Internet research. 2. Social Network Analysis A social network is a set of actors and relations occurring among them. Actors can be individual people, objects or events as far as certain relations hold them all together; actors can be also aggregate units such as organizations, institutions, communities, groups, families etc. The very idea of the social network approach is that relations or interactions between actors are the building blocks or the key factors that sustain and define the network (Wellman, 1988; Wasserman & Faust, 1994). Typically interactions between actors result from exchange of resources, either material or informational, such as goods, money, information, services, social or emotional support, trust, influence etc. Each kind of resource exchange is considered a social network relation and actors maintaining the relation are said to maintain a tie. The strength of a tie may range from weak to strong depending on the quantity, quality and frequency of the exchanges between actors (Marsden & Campbell, 1984). Patterns of who is tied to whom reveal the structure of the underlying network: they show how resources flow among actors and how actors are interconnected in the network. A few very well known examples of social network analyses are: Granovetter (1973, 1974) who investigated exchange of job information among acquaintances and found that weak ties are quite operationally strong for the diffusion of such information. Wilson (1997) found that the urban poor in isolated Black ghettoes lack connections with sources of work. Burt (1992) studied the dependency of social capital on ‘structural holes’ (which are particular kinds of network positioning in which a focal actor is connected to other actors which themselves are not connected with one another); thus, according to Burt, social capital is not a direct attribute of actors but rather of their ability to sustain flexible configurations within a network. Now, computer networks in general and in particular the Internet are clearly social networks (Wellman et al., 1996). In these social networks, actors may be human, such as users, communicants, information producers and consumers, citizens, public or market organizations etc., or non-human, such as computer machines, information databases, (hyper-) documents, multimedia resources etc. Relations among the human Internet actors refer to informative and communicative uses, access, provision, procurement, commerce, work, education etc. Although human actors are always beneath the non-human ones, typical relations among the latter consist of information (data) flows, traffic, exchanges of e-mails and postings in web pages, links, connections, network topologies etc. In this way, there are applications of social network analysis to study the Internet such as: Garton, Haythornthwaite and Wellman (1999) tried to assess the role of e-mail and desktop videoconferencing within the context of overall communication. Haythornthwaite (2000) collected data from four computer-supported distance-learning classes in order to build a picture of the size and composition of personal online networks. Haythornthwaite (2001) has studied the strength of interpersonal ties among new media communicants arguing that, when the medium changes, weak ties are more vulnerable to dissolution while strong ties remain more robust. As another example, we will refer to the work currently done in the 5th FP IST-Eurostat project EICSTES (‘European Indicators, Cyberspace and the Science-Technology-Economy System’). Among other data (collected by automatic intelligent agents scanning various Search Engines), we are measuring the number of links among almost all of the University sites in the 15 EU countries: Austria (at), Belgium (be), Denmark (dk), Finland (fi), France (fr), Germany (de), Greece (gr), Ireland (ie), Italy (it), Luxembourg (lu), the Netherlands (nl), Portugal (pt), Spain (es), Sweden (su) and UK (uk). The following two sociograms show the relational positioning of the EU countries according to the incoming and outgoing links of their University sites, respectively (obtained by MDS while the clustering in groups of countries has resulted by SPSS factor analysis): Another application of social network analysis to the Internet concerns the communicative activities of the members of a mailing list. The motivation of this application comes from the fact that social network analysis can not only simplify the complex interpersonal connections in various social networks but it can also aid in investigating conspiratorial crime (Davis, 1981). As an example, let us consider the members of a mailing list who, by exchanging e-mails, participate in multiple threads of discussions. By processing the archives of the mailing list, we can extract data on the members’ participations in such threads of messages and from these data we can derive the corresponding sociograms of interactions among the mailing list members. In such networks, the proximity between nodes (representing participants) is manifesting the extent of their interaction through their participation in a large number of common threads of discussions. On the other side, a possible divergence or isolation of certain nodes (participants) will indicate their reluctance to interact within the group of recipients of the mailing list. For instance, we have applied the above ideas to the mailing list COMMORG, in which the discussions were about a 5th FP IST programme. The communicants in the mailing list were grouped according to the location of the participant institution at the project: Rome (coordinator), Milan, Patras, Amsterdam, Nijmegen, Manchester and Surrey. The following sociogram maps the relational positioning of communicants according to their interactions in the mailing list through their participation in threads of messages (obtained by MDS and the clustering in two groups having resulted by SPSS factor analysis): 3. Ethnography Let us first start with a very short outline of ethnography. At the heart of ethnographic methods lies the ‘reflexive turn’ in anthropology and sociology, “based upon the human capacity for participant observation and the capability for reflecting upon it” (Titscher et al., 2000, p. 91). “We act in the social world and yet are able to reflect upon ourselves and our actions as objects in that world” (Hammersley & Atkinson, 1995, p.25). In particular, ethnography analyzes human practices in the context of culture. Culture “denotes an historically transmitted pattern of meanings embodied in symbols, a system of inherited conceptions expressed in symbolic forms by means of which men communicate, perpetuate and develop their knowledge about and attitudes towards life” (Geertz, 1979, p. 89). So, doing ethnography “in its most characteristic form [it] involves the ethnographer participating, overtly and covertly, in people’s daily lives for an extended period of time, watching what happens, listening to what is said, asking questions – in fact, collecting whatever data are available to throw light on the issues that are the focus of the research” (Hammersley & Atkinson, 1995, p. 1). In this way, ethnographic methods are trying to interpret data (such as texts) extracted from the flow of social discourse against the background of cultural structures. “Doing ethnography is like trying to read (in the sense of ‘construct a reading of’) a manuscript […] written not in conventionalized graphs of sound but in transient examples of shaped behavior” (Geertz, 1973, p. 10). At the same time, ethnographic analyses are concerned with using their data in order to attain a reconstruction of key events in social discourse, a disclosure of emergent cultural patterns. For the visualization of these patterns it is often suggested that “maps, flowcharts and matrices of these patterns all help to crystallize and display consolidated information” (Fetterman, 1989, p. 95). However, we need to stress that, in ethnographic studies, data analysis is not a separable phase from data collection, as a dialectic interplay between them is commonly postulated (Hammersley & Atkinson, 1995, p. 205). Now, it should be mentioned that the heterogeneity of ethnographical studies has made ethnography to appear as “one of those catchall words whose meaning is extremely general and vague” (Harper, 1999, p. 241). Two representative examples of classical ethnographical research are Goffman’s studies of how inmates in an asylum deal with their predicament through personal and social habits (Goffman, 1959, 1961); and Skolnick’s study of the way police officers are compromised by tensions between ‘due processes’ and what they perceive as ‘moral justice’ in their dealings with criminals (Skolnick, 1966). Furthermore, various hybrid approaches (combining ethnography, audience research, discourse analysis, textual analysis, autobiography etc.) have been and are applied to online analyses of the Internet and cyberculture. As a matter of fact, the Internet provides easily and inexpensively a plethora of digital data (from logs, messages and links to online interviews, surveys and polling) in order to develop longitudinal strategies of research comparing virtual life, communities and patterns over different periods of time and different geographical, social or cultural contexts. In this way, investigating the new ethnography required by the Internet (the ‘virtual ethnography’), Christine Hine (2000) is led to rethink traditional ways of studying ‘culture’ and ‘society.’ Some examples of ethnographic-type analyses of the Internet are: Paccagnella (1997) who studied as a participant observer the Italian virtual community named cyber_punk hosted by a non-profit BBS network over a period of 18 months. Denzin (1999) who tried to interpret the gendered ‘narratives of self’ in a newsgroup focusing on recovery from alcoholism. Rodino (1997) who observed the multiple and even contradictory ways of performing gender on an IRC channel. Baym (1995, 1998, 2000) who conducted a three-year study of the newsgroup rec.arts.tv.soap devoted to the recreational discussion of daytime soap operas. McLaughlin, Osborne and Smith (1995) who collected all articles posted in five newsgroups for three weeks in 1993 and analyzed episodes of normative discourse such as remedial or corrective sequences generated by an unacceptable post/reply or habitual pattern of the same communicant. Tepper (1997) who analyzed the use of humor as a policing mechanism on the newsgroup alt.folklore.urban. Hine (2000) who performed an ethnographic analysis of the Louise Woodward case, a teenage British nanny tried in Boston for the murder of a child who had been in her care. Branwyn (1994) who studied cybersex. Correll (1995) who observed a lesbian net café. Dibbell (1994) who gave an autobiographical account of a rape scenario played on a LambdaMoo. Markham (1998) who conducted online interviews in order to research real experiences in virtual spaces. Argyle (1966) who explored her own reactions to the death of a mailing list member to which she was participating, whom she had never met. Aycock and Buchignani (1995) who created some fictional reflections on the online activities of somebody who subsequently murdered four people at Concordia University in 1992. 4. Chaos Theory Analysis In this section we will present the results on a chaotic time series analysis of ‘ping’ data that we have obtained in the project SOEIS (‘Self-Organization of the European Information Society’). Here, the Internet data come from the ‘symbolic-representational’ character of digital information flows on the Internet. Apparently, these data are semantically context-free in the tradition of Shannon and Weaver’s classical communication theory. More specifically, one way to estimate the traffic on the Internet is by measuring the round-trip times for ICMP ping packets sent from one host to a second one. In this way, we obtain a time series (herein called ‘ping time series’), which we process through linear statistical methods and methods of chaotic non-linear analysis. Thus, we may investigate whether certain patterns emerge, i.e., there exists some kind of structure in the data, or the data are completely random, such as, e.g., the outcome of a random number generator. Certainly, one expects that, if any, the underlying mechanism is a complicated one that cannot be identified using the classical statistical tools, such as autocorrelation and Fourier spectrum analyses. (General literature on the field: Kay, 1988, Priestley, 1988, Tsonis, 1992.) In our work (Kugiumtzis & Boudourides, 1998) we examined a specific time series composed of ping times in between two hosts, one at the Democritus University of Thrace in Greece and the other at the University of California at Irvine in USA. This ping time series (measured at the scale of 15 sec) was following a repeated pattern, composed of a background, corresponding to a subsided Internet traffic, and succeeded by a sudden peak, corresponding to a short congestion period of the order of a minute or less. In the measured set of round trip times, a data window of larger magnitude was detected corresponding to a large congestion period of more than half an hour, during which the net was overloaded. The presence of this data window introduced nonstationarity and, therefore, it altered the results of some of the applied methods. Particularly, the inclusion of the long congestion period resulted substantially larger estimated linear correlations over many lags, which was apparently a misleading result. Nevertheless, removing the long congestion period, no correlation was detected. Moreover, the False Nearest Neighbors method suggested erroneously that there was more structure in the long congestion period data. The findings of the applied methods have not given any definite evidence whether the ping data were simply white noise or not. Obviously, the data was following a nonsymmetrical distribution resembling the lognormal distribution and, so, the data was not white noise of a Gaussian or uniform type. Some methods, such as the estimation of the autocorrelation, mutual information and correlation dimension, suggested that there was no correlation and structure in the ping data. On the other hand, the prediction with Autoregressive models and the Local Linear Prediction, as well as the Largest Lyapunov Exponent method, indicated that there were small correlations and some structure in the data, as they have given different results than those expected for the white noise case. 5. Conclusions Although the Internet is a network, the well known ‘identity fluidity’ in it (Jordan, 1999) undoubtedly contrasts its rigid structural modality. As a matter of fact, all social networks suffer a similar theoretical vacillation. According to a common criticism of social network analysis, the latter is imputed on its static structuralism, which is incapable to grasp the dynamic and transformative attributes of human agency (Emirbayer & Goodwin, 1994; Emirbayer & Mische, 1998). Social action is the key concept to assist a theoretical understanding of the interplay between structural relations and discursive processes, i.e., social network analyses and ethnographic studies. Because “social action is interaction that induces interpretations and thus builds continuing relations” (Mische & White, 1998, p. 695). One of the ways that has been suggested to achieve a commingling of ‘conversations and situations’ is by conducting a paradigm shift, an exploration of new operational metaphors to describe social topologies (Urry, 2000, 31, 38-39). From the network paradigm, grounded in an imagery of atomic particles, it has been suggested to pass to the flow paradigm, grounded on an imagery of fluids, where “neither boundaries nor relations mark the difference between one place and another; instead, sometimes boundaries come and go, allow leakage or disappear altogether, while relations transform themselves without fracture” (Mol & Law, 1994, p. 643). Such a ‘phase transition’ (a liquidation of solid structures) is assumed to be produced by two interacting kinds of uncertainty (White, 1992, pp. 102-115). On the one side, there is ambiguity, designating uncertainty in purely cultural context. On the other side, there is what Harrison White calls ‘ambage,’ designating uncertainty in purely social-structural contexts. Ambiguity is about fuzzy meanings and interpretations while ambage “concerns the concrete world of social ties, in networks of ties and corporates among nodes” (p. 107). According to White, “A polymer gel is more like social networks. These very long molecules reptate through messy, inhomogeneous environments which include other such chains and induce new ties” (p. 70). “We are creatures living within social goos, shards, and rubbery gels made up by and of ourselves” (p. 337). The above metaphors designate some possible future directions towards which social networks might develop in order to synthesize adequately social structural and cultural analyses and to reconcile the structure/agency (or social topology/dynamics) dichotomy. It is interesting that, by highlighting processes of uncertain interactions and dynamic social change, these directions appear to approach the fractal landscapes of nonlinear dynamics and complex systems by following certain precipitous non-Euclidean sticky pathways. References [1] Argyle, K. (1996). Life after death. In R. Shields (ed.), Cultures of Internet: Virtual Spaces, Real Histories, Living Bodies, pp. 133-142. Thousand Oaks, CA: Sage. [2] Aycock, A., & Buchignani, N. (1995). The e-mail murders: Reflections on “dead” letters. In S.G. Jones (ed.), CyberSociety: Computer-Mediated Communication and Community, pp. 184-231. Thousand Oaks, CA: Sage. [3] Baym, N.K. (1995). The emergence of community in computer-mediated communication. In S.G. Jones (ed.), CyberSociety: Computer-Mediated Communication and Community, pp. 138-163. Thousand Oaks, CA: Sage. [4] Baym, N.K. (1998). The emergence of on-line community. In S.G. Jones (ed.), CyberSociety 2.0: Revisiting Computer-Mediated Communication and Community, pp. 35-68. Thousand Oaks, CA: Sage. [5] Baym, N.K. (2000). Tune In, Log On: Soaps, Fandom, and Online Community. Thousand Oaks, CA: Sage. [6] Bourdieu, P., & Wacquant, L.J.D. (1992). An Invitation to Reflexive Sociology. Cambridge, UK: Polity Press. [7] Branwyn, G. (1994). Compu-sex: Erotica for cybernauts. In M. Dery (ed.), Flame Wars: The Discourse of Cyberculture, pp. 223-236. Durham, NC: Duke University Press. [8] Burt, R. (1992). Structural Holes. Chicago: Chicago University Press. [9] Callon, M. (1986). The sociology of an actor network. In M. Callon, J. Law & A. Rip (eds.), Mapping the Dynamics of Science and Technology. London: Macmillan. [10] Callon, M., & Courtial, J.-P. (1997). Using scientometrics for evaluation. In M. Callon, P. Larédo & P. Mustar (eds.), The Strategic Management of Research and Technology: Evaluation of Programmes, pp. 165-219. Paris: Economica International. [11] Collins, H.M. (1994). Bruno Latour: We Have Never Been Modern. Isis, vol. 85, no. 4, pp. 672-674. [12] Correll, S. (1995). The ethnography of an electronic bar: The lesbian café. Journal of Contemporary Ethnography, vol 24, no. 3, pp. 270-298. [13] Davis, R.H. (1981). Social network analysis: An aid in conspiracy investigations. FBI Law Enforcement Bulletin, vol. 50, no. 12, pp. 11-19. [14] Denzin, N. (1999). Cybertalk and the method of instances. In S.G. Jones (ed.), Doing Internet Research: Critical Issues and Methods for Examining the Net, pp. 107-125. Thousand Oaks, CA: Sage. [15] Dibbell`, J. (1994). A rape in cyberspace: Or, how an evil clown, a Haitian trickster spirit, two wizards, and a cast of dozens turned a database into a society. In M. Dery (ed.), Flame Wars: The Discourse of Cyberculture, pp. 237-261. Durham, NC: Duke University Press. [16] Emirbayer, M., & Goodwin, J. (1994). Network analysis, culture, and the problem of agency. American Journal of Sociology, vol. 99, pp. 1411-1454. [17] Emirbayer, M., & Mische, A. (1998). What is agency? American Journal of Sociology, vol. 103, pp. 962-1023. [18] Fetterman, D.M. (1989). Ethnography Step by Step. Newbury Park, CA: Sage. [19] Garton, L., Haythornthwaite, C., & Wellman, B. (1999). Studying on-line social networks. In S.G. Jones (ed.), Doing Internet Research: Critical Issues and Methods for Examining the Net, pp. 75-105. Thousand Oaks, CA: Sage. [20] Geertz, C. (1973). The Interpretation of Cultures. New York: Basic Books. [21] Goffman, E. (1959). The Presentation of Self in Everyday Life. Harmondsworth: Penguin Books. [22] Goffman, E. (1961). Asylums. Chicago: Aldine. [23] Granovetter, M. (1973). The strength of weak ties. American Journal of Sociology, vol. 78, pp. 1360-1380. [24] Granovetter, M. (1974). Getting a Job. Cambridge, MA: Harvard University Press. [25] Hammersley, M., & Atkinson, P. (1995). Ethnography, Principles in Practice, 2nd edition. London: Routledge. [26] Harper, R. (2000). The organization in ethnography: A discussion of ethnographic fieldwork programs in CSCW. Computer Supported Collaborative Work, vol. 9, pp. 239-264. [27] Haythornthwaite, C. (2000). Online personal networks: Size, composition and media use among distance learners. New Media and Society, vol. 2, no. 2, pp. 195-226. [28] Haythornthwaite, C. (2001). The strength and the impact of new media. In the Proceedings of the IEEE Hawaii International Conference On System Sciences, January 3-6, 2001, Maui, Hawaii. [29] Hine, C. (2000). Virtual Ethnography. London: Sage. [30] Jones, S. (1999). Doing Internet Research: Critical Issues and Methods for Examining the Net. Thousand Oaks, CA: Sage. [31] Jordan, T. (1999). Cyberpower: The Culture and Politics of Cyberspace and the Internet. London: Routledge. [32] Kay, S.M. (1988). Modern Spectral Estimation: Theory and Applications. New Jersey: Prentice Hall. [33] Kugiumtzis, D., & Boudourides, M.A. (1998). Chaotic analysis of Internet ping data: Just a random number generator? SOEIS project conference, Bielefeld, Germany, March 27-28, 1998. Electronic document: http://www.math.upatras.gr/~mboudour/articles/ping.ps. [34] Latour, B. (1987). Science in Action. Cambridge, MA: Harvard University Press. [35] Markham, A.N. (1998). Life Online: Researching Real Experience in Virtual Space. Walnut Creek, CA: AltaMira Press. [36] Marsden, P., & Campbell, K.E. (1984). Measuring tie strength. Social Forces, vol. 63, pp. 482-501. [37] McLaughlin, M.L., Osborne, K.K., & Smith, C.B. (1995). Standards of conduct on Usenet. . In S.G. Jones (ed.), CyberSociety: Computer-Mediated Communication and Community, pp. 90-111. Thousand Oaks, CA: Sage. [38] Miles, M.B., & Huberman, A.M. (1994). Qualitative Data Analysis, second edition. Thousand Oaks, CA: Sage. [39] Mische, A., & White, H. (1998). Between conversation and situation: Public switching dynamics across network domains. Social Research, vol. 65, no. 3, pp. 695-724. [40] Mol, A., & Law, J. (1994). Regions, networks and fluids: Anaemia and social topology. Social Studies of Science, vol. 24, pp. 641-671. [41] Paccagnella, L. (1997). Getting the seat of your pants dirty: Strategies for ethnographic research on virtual communities. Journal of Computer-Mediated Communication, 3(1). http://www.ascusc.org/ jcmc/vol3/issue1/paccagnella.html. [42] Priestley, M.B. (1988). Non-linear and Non-stationary Time Series Analysis. New York: Academic Press. [43] Rodino, M. (1997). Breaking out of binaries: Reconceptualizing gender and its relationship to language in computer-mediated communication. Journal of Computer-Mediated Communication, 3(3). http:// www.ascusc.org/jcmc/vol3/issue3/rodino.html. [44] Silverman, D. (1993). Interpreting Qualitative Data: Methods for Analysing Talk, Text & Interaction. London: Sage. [45] Skolnick, J. (1996). Justice Without Trial: Law Enforcement in a Democratic Society. New York: Wiley. [46] Tepper, M. (1997). Usenet communities and the cultural politics of information. In D. Porter (ed.), Internet Culture, pp. 39-54. New York: Routledge. [47] Titscher, S., Meyer, M., Wodak, R., & Vetter, R. (2000). Methods of Text and Discourse Analysis, translated by B. Jenner. London: Sage. [48] Tsonis, A.A. (1992). Chaos: From Theory to Applications. New York: Plenum Press. [49] Urry, J. (2000). Sociology Beyond Societies: Mobilities for the Twenty-first Century. London: Routledge. [50] Wasserman, S., & Faust, K. (1994). Social Network Analysis: Methods and Applications. Cambridge, UK: Cambridge University Press. [51] Weber, M. (1949). The Methodology of the Social Sciences. Edited by E.A. Shils & H.A. Finch. Glencoe, IL: The Free Press. [52] Wellman, B. (1988). Structural analysis: From method and metaphor to theory and substance. In B. Wellman & S.D. Berkowitz (eds.), Social Structures: A Network Approach, pp. 19-61. Cambridge, UK: Cambridge University Press. [53] Wellman, B., Salaff, J., Dimitrova, D., Garton, L., Gulia, M., & Haythornthwaite, C. (1996). Computer networks as social networks: Collaborative work, telework, and virtual community. Annual Review of Sociology, vol. 22, pp. 213-238. [54] White, H.C. (1992). Identity and Control: A Structural Theory of Social Action. Princeton, NJ: Princeton University Press. [55] Wilson, W.J. (1997). When Work Disappears: The World of the New Urban Poor. New York: Alfred A. Knopf.
Buchanan, Tom
; Reips, Ulf-Dietrich Institution: Department of Psychology, University of Westminster, London
In the first few years of online research, there have been rapid advances in a number of areas. Some of this research has been devoted to an exploration of the critical question of whether the Internet is an appropriate medium for psychological research. Such explorations of validity issues have on the whole been encouraging: Krantz & Dalal (2000), for instance, provide a review of studies which permit comparison of online and offline work, and suggest that by and large we can do valid research online.
Other types of studies have looked at online research methodology: what are the strengths and weaknesses of different techniques, what are the advantages and potential problems we may encounter? Dillman, Tortora, Conradt and Bowker (1998), for example, have shown that it is best to keep online questionnaires as simple as possible to reduce dropout rate. Musch, Broeder and Klauer (2001) have shown that the "randomised response technique" can be used to control for the possibility that people might give misleading answers to sensitive questions. Reips (2000) lists some of the strengths and weaknesses of online research, and suggests techniques for overcoming some of the problems.
Studies are also being published which move beyond methodological issues, and focus on important psychological phenomena. For these, the online environment may simply be the medium and not the focus of research (though there will indubitably be many for which it is both). An example is a study by Rogers et al (in press) looking at links between drug use and self-reported memory problems. This has supported laboratory findings with data from the much larger samples obtainable via the Internet.
As well as advances in psychological aspects of online research, there have been technological advances. As hardware and software develop, the range of techniques and tools we can use grows, and there is increasing sophistication in web research techniques.
While most web experiments used to be conducted using basic HTML and CGI combinations (and many still are) there are now many other techniques which have been adopted by online researchers. These often allow better visual presentation and more interactivity, achieving more control over the experimental environment through technologies such as Javascript, Java applets, and systems such as the Macromedia Authorware Web Player (formerly called Shockwave). All of these have been used in online research projects.
Many web researchers have already capitalised on the technological opportunities available to us. This is clearly a sign of progress, as the field develops. However, it may also bring problems.
The key question is whether or not all potential participants will have the software configurations required to participate in the study. In most cases, they probably will – but if an experiment requires the user’s browser to interpret anything other than plain HTML, there is a risk that some people will not be able to participate or will have a different experience of the experiment in terms of stimulus presentation (e.g. Burt et al, 2001).
Research using advanced techniques makes the assumption that everyone has the appropriate software available, or that if not then they are willing and able to install it (e.g. download plugins and players). There are ways of doing this relatively easily: for instance, studies employing Javascript based routines can screen people out or request that they use Javascript-enabled browsers. However, there are some (admittedly few) browsers which cannot handle Javascript, and there are some web users who prefer to disable Javascript in their browsers. This might be done for security reasons, to speed up their browsing, or to prevent annoying page redirections and popup windows. Might it be the case that people who use Javascript enabled browsers differ psychologically in some way (perhaps less security conscious, or less reluctant to hand control of their browser to a website) from those who do not?
As another example, some studies make use of video or audio players (e.g. the Authorware web player). These will advise potential participants that they need to install the relevant player. Again, this is easily done – the software can usually be downloaded freely.
However, some people may be unwilling to do this. Download times are frequently long (for example, at the time of writing the Authorware Web Player takes 11 minutes to download on a 56K modem – assuming optimal conditions). Depending on participants’ patience, the cost to them of being online for so long, level of confidence in their ability to install the player, and fear of introducing a virus or otherwise harming their system, some people may well choose not to download and install such players.
As well as those who are unwilling, there may be others who are unable to download and install players. This may be due to factors such as their connection speed, the power of the machine they are using, corporate or institutional policies (many participants in online studies are students sitting in computer labs – and educational institutions frequently forbid installation of software on classroom machines), and availability for their platform. At the time of writing, for instance, the Authorware Web Player was not available for all platforms. There was no EPOC version, and versions available for some other platforms (e.g. Linux and some Macs) were only compatible with Netscape and not other browsers – so one might have to install a different browser to participate in a study, not just the plugin!
Therefore, the possibility arises that by using advanced techniques one is preventing some potential participants from taking part in one’s study. Given the huge numbers of participants potentially available, though, does it matter if a few are screened out? It might.
Whether or not there is a problem will probably depend on the reasons for exclusion, especially if these are psychological in nature. If those who participate are psychologically different from those who might wish to but cannot, biases may be introduced which could affect experimental outcomes.
A related issue is the possibility that there might be psychological differences between different groups of computer users. If an experiment relies on software which will not run on a particular computer platform or operating system (as in the case of the web player described above), and if users of that system (who are thus excluded from participation) are in some way psychologically different from users of other systems, bias may again be introduced.
At least one computer company has made a lot of money from the suggestion that their users of their machines are different: Apple’s highly successful “Think Different” marketing campaign introduced the idea that Macintosh users were somehow different and more creative, by using advertising images of artists, athletes, scientists and various exceptional people. As well as such marketing ploys, there have been suggestions in the literature (e.g. Turkle, 1995) that Macintosh and PC users did differ in the way they thought and preferred to interact with their machines. Such suggestions are mainly anecdotal in nature, but the suggestion that PC and Macintosh users might differ in personality is worthy of exploration.
The goals of this project were, accordingly, to investigate (1) whether users of different computing platforms differed in personality, and (2) whether people using Javascript-enabled browsers differed from those unable or unwilling to use Javascript.
2. Method
The instrument used to assess personality was an existing online Five Factor personality inventory (Buchanan, Goldberg & Johnson, 1999) which provides indices of the five domains of the Five Factor Model (as described by Costa and McCrae, 1992) - Openness, Conscientiousness, Extraversion, Agreeableness and Neuroticism. The inventory has 42 items and is based on an IPIP inventory developed by Goldberg (1999). The five scales are acceptable in terms of internal consistency, and there is some preliminary evidence (based on correlations with self-reports of relevant behaviour) of validity.
For the purposes of the current study, a few additional questions were added to the end of the existing questionnaire. These included demographic information, and a question about the type of computer the respondent was using (PC, Mac, Other, Don’t Know). Participants were also asked whether their data could be used in analysis (so that people who did not consent, or who had not answered the questions seriously, could indicate that this was the case).
Participants found the inventory either via search engines or through links from other sites. Having completed the inventory, they receive instant feedback on their scores. Recruiting for this study was thus completely passive: no attempts were made to solicit volunteers; these were people who were actively looking for a personality test to complete. During the period of this study, an average of ten to fifteen people were completing the inventory every day.
The study was set up so that Javascript users and non-users were automatically assigned to different conditions. On arrival at the first page, a Javascript routine immediately redirected participants to an informed consent page. Those participants who did not have Javascript enabled obviously were not redirected. They instead saw a message saying the page had moved and asking them to click on a provided link. That link took them to another informed consent page. People entering through each of these two routes had an identical experience from that point on: the only difference between the two conditions was the datafile in which their responses were eventually logged. Having indicated their consent, participants were presented with the inventory and additional questions. On submitting their data, they were presented with an automatically generated description of their scores and a debriefing page.
3. Results
Prior to analysis, the dataset was screened for possible multiple submissions or data unusable for other reasons. 526 submissions were excluded because they came from IP addresses from which a response had previously been recorded, and might thus be duplicate submissions from the same person. 253 submissions were excluded because the responded had indicated that their data should not be used for analysis. Finally, 4 submissions were excluded because of implausible patterns of demographic responses (e.g. education levels which did not match their responses. Following this screening, 2148 apparently valid responses from unique IP addresses remained.
These comprised 865 men (40.3% of sample) and 1283 women (59.7% of sample). The most commonly reported location was the USA (51.8%), followed by Europe (31.0%). The largest proportion (46.9%) was employed for wages. There was also a considerable number who were students (41%). In terms of the main variables of interest, the majority of participants were PC users using Javascript enabled browsers. 1626 reported using PCs, 114 indicated that they were using a Mac, 211 were using another (unspecified) platform and 197 reported that they did not know what type of computer they were using. 1996 were using Javascript enabled browsers and 152 were not.
Javascript users and non-users did not differ significantly on any of the five personality dimensions assessed. They did however differ in level of education: a Mann-Whitney test indicated that Javascript users were significantly less educated (U=133321.5, p<.021). The modal level of education for those using Javascript enabled browsers was “Some college/university”. The modal level of education for those whose browsers were not Javascript enabled was “College/University graduate”.
When users of different computing platforms were compared, it was found that people who reported using Macs and PCs differed on one personality dimension: Openness (t(1738) = 4.60, p < .0005). Mac users were significantly higher in Openness (Mean = 28.04, SD = 4.93) than PC users (Mean = 25.84, SD = 4.94). There were no other significant differences between users of different computers.
4. Discussion
The results of this study appear to indicate people who used Javascript differed in education level from those who did not, and that Macintosh and PC users differed in levels of Openness. How are these differences to be explained?
A possible explanation for the Javascript results makes the assumption that people deliberately turned off Javascript functionality in their browsers (whether for security reasons, or to speed up browsing). In order to turn off this functionality, one needs to know what Javascript is, and why one might wish to disable it. Then, assuming one knows that it can be turned off, one needs to know how to actually do so at a mechanical level – an option that is well hidden in some modern browsers. It seems reasonable that possession of this knowledge will be a function of length of experience with using the Internet, which in turn is likely to correlate with education: the more time one has spent in education, the more likely one is to have used computers at an “expert” level for a longer period of time.
The difference between PC and Macintosh users is somewhat more interesting. People who score low on the dimension of Openness can be characterised as “down to earth”. They may be conventional and conservative in behaviour and outlook, less interested in art and culture, more practical in nature. High scorers, on the other hand, are likely to be more imaginative, more creative, more likely to seek out cultural and educational experiences. The fact that Macintosh users tended to score higher is consistent with both popular stereotypes and Apple’s marketing campaign – people low in Openness might be reasonably be expected to be less likely to “Think Different”. Might they thus be less likely to choose a Macintosh computer?
Another possibility is that some characteristics of the hardware and software being used influenced the way in which people responded. Despite some degree of convergence, the “look and feel” of PCs and Macs are still different (compare, for instance, the appearance of a colourful, futuristic looking iMac with a conventional desktop PC).
A third possibility is that the difference is an artefact. Macintosh computers are frequently used in creative, artistic settings: they are, for instance, well suited to art and design applications, manipulation of graphics, editing music and video. Therefore, people working in such settings—whom one might expect to be high in Openness—might be likely to end up using Macs rather than PCs, simply because those are the machines used in their workplace (or study environment). It could therefore be that more Open people simply happened to participate using Macs, not PCs, because those were the machines sitting on their desks.
It is clear that further work is required to uncover the reasons for the PC-Mac difference. However, whatever the ultimate explanation for the differences observed, the fact that there were differences at all has implications for online research.
It seems clear that if the current study had been accessible only to people with Javascript enabled browsers, or required software which would run only on a PC and not a Macintosh, a number of potential participants would have been excluded. Furthermore, there is evidence that the people who would have been excluded differed significantly from the rest of the sample in ways that could conceivably affect experimental outcomes. The possibility of technologically-caused biases seems to be a very real one.
In some circumstances, biases may not cause problems. For instance, Schwarz and Reips (1999) found no difference in results obtained with parallel CGI and Javascript versions of a study on the hindsight bias (despite a 13% higher dropout rate in the CGI condition). In other circumstances, they might be very problematic. Any work which seeks to obtain samples representative of some larger population will need to ensure that sections of that larger population are not exclude for technical reasons. Any work which relies on reference to norms (if that is in fact a meaningful concept in any non-finite Internet population) must take account of the fact that different norms might be needed for participants with different hardware and software setups.
The studies most likely to be at risk of problems are those where the phenomenon under investigation is linked to the construct with respect to which there is bias. For example, there are indications that Openness correlates with use of illicit drugs--people high in Openness are more likely to take substance-related risks (Furnham & Heaven, 1999). If a study like that of Rogers et al (in press) which seeks to recruit from drug-using populations excludes people high in Openness, a substantial proportion of the population of interest may be excluded. Similarly, Openness has been found to correlate with concern for social welfare (Furnham & Heaven, 1999). Some online studies have asked about issues such as donations to charity. Had they excluded people particularly high or low on Openness, could the results have been affected?
There are “real world” implications as well, especially with the growing use of online psychometric tests for personnel recruitment and selection. Imagine the scenario where an online recruitment agency wished to select applicants for a post in a creative industry where Openness was an important predictor of job performance—yet did this using a website which could not be properly viewed on a Macintosh. The most suitable candidates might thus be excluded from the selection process.
One might query whether there is actually a real problem here. With respect to the comparisons made in this study, almost all browsers nowadays are Javascript enabled, and almost all web content is accessible on both PC and Macintosh platforms. While the effect size (especially for the PC / Macintosh user comparison) is medium – of the order where it could importantly influence experimental results – relatively small numbers of people are affected by it. However, the fact that differences were found even for these comparisons suggests that in cases where potential participants are required to download and install players or other software, there may be bigger and more important differences. This is a question which can only be resolved, however, by further research.
It should also be noted that situations are likely to change over time, depending on the penetration of the technology used. At the time of writing, most web users will be using browsers capable of handling Javascript. Two years ago that might not have been the case. Obviously, the more people adopt a new technology the smaller the problem becomes. Other factors may also influence people’s willingness to download and install software – after a heavily publicised virus outbreak, for instance, they may be more cautious.
This study appears to have demonstrated that users of different hardware and software configurations can differ psychologically. It follows from this that if certain groups of users are excluded from participating in a study, the samples obtained in that study may be biased. Under some circumstances, this might affect core findings. We know of situations (parallel Javascript and CGI conditions) where findings have not been affected, but can envision situations where they might. On the basis of these observations, it seems prudent to recommend that online researchers should use the most basic and platform-independent technologies with which their research objectives can be achieved. There may well be times when the cutting edge of Internet technology is not the best tool for the job.
5. References
Buchanan, T., Goldberg, L.R., & Johnson, J.A. (1999, November). WWW personality assessment: Evaluation of an online Five Factor Inventory. Paper presented at the meeting of the Society for Computers in Psychology, Los Angeles, CA.
Burt, M., Little, A., Tiddeman, B., Penton-Volk, I., & Perrett, D. (2001). Experimenting with the web: Illustrative studies investigating facial attractiveness. Proceedings of The British Psychological Society, 9, 165.
Costa, P. T., Jr., & McCrae, R. R. (1992). Revised NEO Personality Inventory (NEO-PI-R) and NEO Five-Factor Inventory (NEO-FFI): Professional Manual. Odessa, FL: Psychological Assessment Resources.
Dillman, D. A., Tortora, R. D., Conradt., J., & Bowker, D. (1998, August). Influence of Plain vs. Fancy design on response rates for web surveys. Paper presented at Joint Statistical Meetings, Dallas, Texas.
Furnham, A., & Heaven, P. (1999). Personality and Social Behaviour. London: Arnold.
Goldberg, L. R. (1999). The Development of Five-Factor Domain Scales from the IPIP Item Pool. [On-line]. Available URL: http://ipip.ori.org/ipip/memo.htm
Krantz, J. H., & Dalal, R. (2000). Validity of Web-based psychological research. In M. H. Birnbaum (Ed.), Psychological Experiments on the Internet (35-60). San Diego: Academic Press.
Musch, J., Broeder, A., & Klauer, Ch. (2001). Improving survey research on the World-Wide Web using the Randomized Response Technique. In U.-D. Reips & M. Bosnjak (Eds.). Dimensions of Internet Science, (179-192). Lengerich: Pabst Science Publishers.
Reips, U.-D. (2000). The Web experiment method: Advantages, disadvantages, and solutions. In M. H. Birnbaum (Ed.), Psychological Experiments on the Internet, (69-117). San Diego: Academic Press.
Rodgers, J, Buchanan, T, Scholey, A.B., Heffernan, T.M., Ling, J., & Parrott. A. (In Press). Differential effects of ecstasy and cannabis on self-reports of memory ability: a web-based study. Human Psychopharmacology (special edition: The neuropsychopharmacology of MDMA).
Schwarz, S., & Reips, U.-D. (2001). CGI versus Javascript: A Web experiment on the Reversed Hindsight Bias. In U.-D. Reips & M. Bosnjak (Eds.). Dimensions of Internet Science, (75-90). Lengerich: Pabst Science Publishers.
Turkle, S. (1995). Life on the Screen: Identity in the age of the Internet. New York: Simon & Schuster.
Bunz, Ulla K.
; Institution: Communication Studies, University of Kansas
Please note that this is a very abbreviated version of the paper presented. A full copy of the paper (approx. 48 pages double spaced incl. references and statistical tables) can be obtained from Ulla Bunz ulla@ukans.edu. RATIONALE It's clear that the conceptualization and measurement of any set of skills is extremely difficult. It should not be surprising therefore that scholars, researchers and practitioners interested in assessing computing/technological understanding and skills have been challenged to develop measurement tools that adequately capture and assess components of these skill sets. Recently a national level board of scientists and practitioners in the United States was formed to make some sense of this developing area. In their response to this challenge, the Committee on Information Technology Literacy (CITL) of the National Research Board issued a report, Being fluent with information technology. In this monograph, the Committee focused on "fluency" and distinguished it from other commonly used terms including literacy and competency. According to the report, fluency is "a term connoting a higher level of competency" (Committee on Information Technology 1999, p. 2). Some of the differences between fluency and competency are first, that fluency entails a lifelong learning process; second, that fluency implies personalization of skills on levels of sophistication; and third, that fluency is composed of three kinds of knowledge, contemporary skills, foundational concepts, and intellectual capabilities. Previous research developed measuring instruments for computer literacy, computer experience, computer expertise, computer knowledge etc. However, our social and technological environment is constantly changing as information technology (IT) becomes ubiquitous, and apart from specific computer skills required by some experts (programming, operating system knowledge, hardware expertise, etc.), most people's daily environment (in developed countries) now demands a rather broad, far ranging IT skill set that has not been necessary in the past. Foremost among these fluencies are "information seeking" and "information dissemination" skills including email use and the ability to effectively utilize the World Wide Web. It is critical that we develop measures that adequately tap this increasingly important set of competencies. Thus, the purpose of this study was to develop an instrument to assess people’s ability to use these information seeking and dissemination skills, including skills that involve computer use, email and effective use of the web. This instrument was not designed to be another "computer literacy," experience, expertise or knowledge scale. Instead we took our cues from the recent CITL monograph, and attempted to assess more general "fluency" skills. In addition, though computer fluency, email fluency and web fluency can be expected to be related, this study presumed that email and web fluency were not necessarily subsumed by "computer fluency." Specifically then, the purpose of this study was to develop what we hope is a more general and useful measure, the Computer-Email-Web Fluency (CEW Fluency) scale. LITERATURE Over the last few years a considerable body of literature has developed to describe computer usage and attitudes toward computers, computer anxiety, computer stress, perceptions of computers (i.e., Bear, Richards & Lancaster 1987; Coovert & Goldstein 1980; Crable , Brodzinski & Scherer 1991; Durndell, Macleod & Siann 1987; Edwards 1957; Gardner, Discenza & Dukes 1993; Harrison & Rainer 1992; Heinssen, Glass & Knight 1987; Hudiburg, Brown & Jones 1993; Igbaria & Chakrabarti 1990; Kay 1993b; Loyd & Gressard 1984; Maurer 1994; Nickell & Pinto 1986; Pope-Davis & Twing 1991; Woodrow 1991; etc.). This broad array of research is multi-disciplinary and incorporates a wide variety of perspectives and topics. However, at its foundation this research is directed at influencing a person’s ability to use a computer efficiently. This study was less interested in people’s reservations towards technology, and more in their own perceptions of their ability of fluency in using the computer for email communication, and information access. Hence, this review focuses more on scales that measure computer expertise, experience, or literacy. Educators have been aware of the need to develop a concept of computer literacy for a long time (Molnar 1978; Watt 1980). In the computer and technology context, literacy has been defined and described repeatedly. According to Rhodes (1986), an individual is computer literate when he or she is able to use the computer to satisfy personal needs. After reviewing the literature (i.e. ISACS 1985; Johnson et al. 1980; Levin 1983; Longstreet & Sorant 1985), LaLomia and Sidowski (1990) conclude that the definition of computer literacy varies depending on the study, but usually includes one or more of the following factors: programming and operating skills, knowledge and awareness of computers, and positive attitude toward computers. Watt (1980, p. 3), as quoted in Levine and Donitsa-Schmidt (1997) defines computer literacy as the "collection of skills, knowledge, understanding, values, and relationships that allow a person to function comfortably as a productive citizen in a computer-oriented society." With this definition, Watt comes close to the definition of information fluency (Committee on Information Technology Literacy 1999) discussed earlier. Along with numerous definitions, conceptual and theoretical discussions (i.e., Baxter 1984; Cheng, Plake & Stevens 1985; Ganske & Hamamoto 1984; Kay 1990; Levinson 1986), there is a growing body of literature to assess computer experience, expertise or literacy statistically (i.e., Anderson et al 1979; Bitter & Davis 1985; Born & Cummings 1994; Gabriel 1985a & b; Montag 1984). Good overview-reviews can be found in LaLomia and Sidowski (1990), Miller, Stanney, and Wooten (1997), Moroz and Nash (1997), and most of the articles reviewed in detail in the long version of this paper, especially Panero, Lane and Napier (1997), Potosky and Bobko (1998), or Smith et al. (1999). SCALE DEVELOPMENT & CONCLUSIONS The Computer-Email-Web Fluency scale was developed in several steps that are summarized here. First, a focus group/Q-methodology (McKeown & Thomas 1988) pilot study was conducted. A total of thirty-two subjects in seven groups of three to six people were asked to sort possible questions for the measure. Confusing questions were reworded and several new questions were added to create a 52-item instrument. In the following two pilot studies, the instrument was administered to a total of 284 subjects. The 52 items were divided into three subscales: 19 items for computer skills; 18 items for email skills; 15 items for Internet skills. All items began with the words "I can …" followed by the task, followed by the answer options, a 4-point Likert scale (Very well, well, not so well, not at all). Basic frequencies, including means, standard errors, modes, and standard deviations were assessed for all items. Coefficient alphas were determined for the items of each subscale and for the overall scale, consisting of 52 items. A principal-component factor analysis followed by a varimax rotation was used to determine the factor validity. Finally, a correlation matrix was used for all remaining 21 items, and between the four resulting factors to demonstrate internal validity of the CEW Fluency scale. Internal reliability for the subscales ranged from .92 to .93, with the total scale showing a total reliability of .96. Through factor analysis, the 52-item instrument was reduced to a 21-item instrument. After this factor analysis, the internal reliabilities of the subscales still ranged from .82 to .89. Overall, the purpose of Pilot Two & Three was to identify statistically clean subscales of the CEW Fluency Scale. Originally, items were divided into three subscales, computer skills, email skills, and web skills. The principal-components factor analysis rotated into four factors, separating Internet skills into two subscales, web navigation skills and web editing skills. While not predicted, these results are reasonable. In accordance with results from Pilot One it can be assumed that a person may have (basic) web navigation skills without (intermediate) web editing skills. Alpha coefficients of all four subscales showed high internal subscale reliability. In addition, results from the principal-components factor analysis and correlations showed strong internal validity for the total scale. Results showed that the subscales were related to each other at a medium level, yet warrant differentiation from each other and the skills they measure. This also implies that using email and World Wide Web use are viewed separately from "computer skills." These skills are related but separate and thus, this new scale is not simply a new computer experience, expertise, or literacy scale. Finally, a fourth pilot study was conducted. The CEW Fluency scale, the Computer Use Scale (Panero, Lane & Napier 1997), and items from the Georgia Tech WWW User Survey (Georgia Tech 1998) were included for a total of 77 items. Basic frequencies, including means, standard errors, modes, and standard deviations were assessed for all items. Coefficient alphas were determined for the items of each subscale and total scale of the CEW Fluency and the CUS scales. A correlation matrix was used to assess how each item or each subscale related to the subscales of the CEW Fluency scale, and to the total scale. Correlations between individual items of the CEW Fluency scale and other items will be discussed were appropriate. One-way analysis of variance (ANOVA) and Tukey Post Hoc tests were used to detect differences between the subscales and the total CEW Fluency scale, and several other questions. Finally, regression analysis was employed to investigate the interrelationship of the highly correlated variables. The purpose of this study was to continue the validation process of a new measure of computer, email, and web fluency (CEW Fluency). The sample consisted of 143 student volunteers enrolled at a large U. S. midwestern university. Based on the Georgia Tech (1998) survey instructions, subjects in this study were ranked into experience categories depending on the number of Internet and World Wide Web related tasks they had performed. According to this ranking most subjects were classified as novices or as having intermediate World Wide Web skills. Subjects report using the Internet for no longer than six years and have taken two or fewer classes on either computer or Internet related topics. A large majority of subjects in this sample access the Internet from home on a daily basis, and from school at least on a weekly basis, but mostly the time spent online is comparatively short. As can be expected in a sample drawn from a student population, most subjects use the web for educational or information gathering purposes. Specifically, subjects indicated they use the web mostly for online chat or discussion, or for ordering products. Subjects reported their self-assessed computer-email-web fluency to be very high, especially regarding computer, email, and web navigation fluency. Web editing fluency was reported at a slightly lower level, mostly due to a wide variation regarding subjects’ ability to create a website. Reliabilities of the subscales and the total scales were lower than during the previous study, but still within acceptable range (between .64 and .79). Correlations between the subscales were higher than in the previous studies. The scale needs more testing before its stability can be ascertained. The computer use scale (Panero, Lane & Napier 1997) used in this study also resulted in slightly lower reliabilities than reported by the authors. This could possibly be due to the homogeneity of the student sample. CEW Fluency scores were correlated to a number of demographic variables, including gender, major, or ability to access the Internet from home. However, a variety of interesting findings did emerge. Overall, results indicated that the longer subjects had been using the Internet, the greater their overall CEW Fluency. Results indicated that subjects had to be classified at least at an "intermediate" level of web expertise to have higher CEW Fluency. Results also indicated that there was no statistical difference between "experience" and "expertise" with regard to web editing fluency. Overall, the more comfortable subjects felt with computers or the Internet, the higher their reported CEW Fluency. One exception to this overall trend was that only subjects who felt very comfortable with the computer reported high web editing fluency. Also, only subjects who felt very comfortable with the Internet reported high computer fluency. No systematic trend was found for the relationship between Internet comfort level and subjects’ web navigation fluency. Subjects reported that they must feel at least somewhat satisfied with their current Internet skills in order to report high CEW Fluency. Equally, subjects who used computers frequently on the Computer Use Scale (Panero, Lane & Napier 1997) reported higher CEW Fluency. Regression analysis revealed that, despite being highly correlated, subjects’ perceived level of comfort using a computer, the length of time they have been using the Internet, and subjects’ computer use according to the Computer Use Scale all made independent contributions to the variance explained in CEW Fluency. Since the measures utilized in the investigation used self-report, results might not be surprising. Subjects who feel like they have more experience and a higher comfort level tend to self-report higher CEW Fluency. Clearly further investigations are needed to compare self-reported CEW Fluency to actual ability to perform CEW tasks in a laboratory situation. In addition, further studies may be needed to expand the CEW Fluency scale to include more sophisticated items. It might also be necessary to develop and test this expanded version of the scale with subjects other than university students. At this point this study provides preliminary support for the CEW Fluency. In summary then, the purpose of this project was to develop a new scale based on existing literature and computer literacy and expertise scales. The Computer-Email-Web Fluency scale differs from the existing scales because it incorporates email and web items. Support was found that email and web skills are to be differentiated from computer skills. Thus, the CEW Fluency scale can be differentiated from existing scales. More research is clearly needed both to establish and to test the utility of this instrument. REFERENCES Anderson, R. E., Hansen, T. P., Johnson, D. C., & Klassen, D. L. (1979). Minnesota Computer Literacy Awareness Assessment (Technical Report). St. Paul, MN: Minnesota Educational Computing Consortium. Badagliacco, J. M. (1990). Gender and race differences in computing attitudes and experience. Social Science Computer Review, 8, 42-64. Ballance, C. T., & Balance, V. V. (1993). Relating self-rated computer experience to computer stress. Psychological Reports, 72 (2), 680-682. Baxter, H. J. (1984, February). Computer literacy: Is it worth the effort? Personal Software, 37-41. Bear, G. G., Richards, H. C., & Lancaster, P. (1987). Attitudes towards computers: Validation of a computer attitudes scale. Journal of Computing Research, 32 (2), 207-219. Bitter, G. G., & Davis, S. J. (1985). Measuring development of computer literacy among teachers. AEDS Journal, 18 (4), 243-253. Born, R. G., & Cummings, C. W. (1994). An assessment model for computer experience, skills, and attitudes of undergraduate business students. Journal of Computer Information Systems, 35 (1), 41-53. Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56 (2), 81-105. Cassel, R. N., & Cassel, S. L. (1984). Cassel computer literacy test (CMLRTC). Journal of Instructional Psychology, 11, 3-9. Cheng, T. T., Plake, B., & Stevens, D. J. (1985). A validation study of the computer literacy examination: Cognitive aspect. AEDS Journal, 18, 139-152. Cockrell, K., Cockrell, D., & Harris, E. L. (1998). Generational variability in the understanding and use of technology. Alberta Journal of Educational Research, 44 (1), 111-114. Committee on Information Technology Literacy (1999). Being fluent with information technology. Washington, D. C.: National Academy Press. Compeau, D., Higgins, C. A., & Huff, S. (1999). Social cognitive theory and individual reactions to computing technology – A longitudinal study. MIS Quarterly, 23 (2), 145-158. Coovert, M. D., & Goldstein, M. (1980). Locus of control as a predictor of users’ attitudes toward computers. Psychological Reports, 47, 1167-1173. Crable, E. A., Brodzinski, J. D., & Scherer, R. F. (1991). Psychology of computer use: XXII. Preliminary development of a measure of concerns about computers. Psychological Reports, 69, 235-236. Davis, F. D., Bagozzi, R. P., & Warshaw, P. R. (1989). User acceptance of computer technology: a comparison of two theoretical models. Management Science, 35, 982-1003. Durndell, A., Macleod, H., & Siann, G. (1987). A survey of attitudes to knowledge about and experience of computers. Computer Education, 11 (3), 167-175. Edwards, A. L. (1957). Techniques of attitude scale construction. New York: Appleton-Century-Crofts. Egan, D. E. (1988). Individual differences in human-computer interaction. In M. Helanander (Ed.), Handbook of human-computer interaction, pp. 543-568. Amsterdam: North-Holland. Ellsworth, R., & Bowman, B. E. (1982). A "beliefs about computers" scale based on Ahl’s questionnaire items. The Computing Teacher, 10 (4), 32-34. Fishbein, M., & Azjen, I. (1975). Belief, attitude, intention and behavior: an introduction to theory and research. Massachusetts: Addison-Wesley. Gabriel, R. M. (1985a). Assessing computer literacy: A validated instrument and empirical results. AEDS Journal, 18 (3), 153-171. Gabriel, R. M. (1985b). Computer literacy assessment and validation: Empirical relationships at both student and school levels. Journal of Educational Computing Research, 1 (4), 415-425. Ganske, L., & Hamamoto, P. (1984). Response to crisis: A developer’s look at the importance of needs assessment to teacher educators in the design of computer literacy training programs. Educational Computer Technology Journal, 32 (2), 101-113. Gardner, D. G., Discenza, R., & Dukes, R. L. (1993). The measurement of computer attitudes: An empirical comparison of available scales. Journal of Educational Computing Research, 9, 487-507. Geissler, J. E., & Horridge, P. (1993). University students’ computer knowledge and commitment to learning. Journal of Research on Computing in Education, 25, 347-365. Georgia Tech (1998). WWW user survey. Available online at http://www.cc.gatech.edu/gvu/user_surveys/ Harrison, A. W., & Rainer, R. K. (1992). An examination of the factor structures and concurrent validities for the Computer Attitude Scale, the Computer Anxiety Rating Scale, and the Computer Self-Efficacy Scale. Educational and Psychological Measurement, 52, 735-745. Heinssen, R. K., Glass, C. R., & Knight, L. A. (1987). Assessing computer anxiety: development and validation of the computer anxiety rating scale. Computers in Human Behavior, 3, 49-59. Hudiburg, R. A., Brown, S., & Jones, T. M. (1993). Psychology of computer use: XXXIX. Measuring computer users’ stress: the computer hassles scale. Psychological Reports, 73, 923-929. Igbaria, M., & Chakrabarti, A. (1990). Computer anxiety and attitudes towards microcomputer use. Behaviour and Information Technology, 9 (3), 229-241. ISACS (1985, November). Mission: define computer literacy. The Computing Teacher, 10-15. Jay, G. M. & Willis, S. L. (1992). Influence of direct computer experience on older adults’ attitudes toward computers. Journal of Gerontology, 47 (4), 250-257. Jiang, J. J., Motwani, J., Cheung, W. M., & Cheng, C. H. (1999). Attitudes toward the Internet/WWW – A comparison of students in US, France, and Hong-Kong. Journal of Computer Information Systems, 39 (3), 1-5. Johnson, D. C., Anderson, R. E., Hansen, T. P., & Klassen, L. (1980, February). Computer literacy – What is it? Mathematics Teacher, 91-96. Kay, D. S., & Black, J. B. (1990). Knowledge transformations during the acquisition of computer expertise. In S. P. Robertson, W. Zachary, & J. B. Black (Eds.), Cognition, computing, and cooperation, pp. 268-303. Norwood, NJ: Ablex. Kay, R. (1990). The relation between computer literacy and locus of control. Journal of Research on Computing in Education, 22 (4), 464-474. Kay, R. (1992). An analysis of methods used to examine gender differences in computer-related behavior. Journal of Educational Computing Research, 8 (3) 277-290. Kay, R. (1993a). A practical research tool for assessing ability to use computers: The Computer ability survey (CAS). Journal of Research in Computing in Education, 26, 16-27. Kay, R. (1993b). An explanation of and practical foundations for assessing attitudes toward computers: The Computer Attitude Measure (CAM). Computers in Human Behavior, 9, 371-386. Kim, J., & Mueller, C. W. (1978). Factor analysis. Statistical methods and practical issues. Beverly Hills, CA: Sage. Klassen, D. L., Anderson, R. E., Hansen, T. P., & Johnson, D. E. (1980). A study of computer literacy in science education: Final report. 1978-1980. St. Paul: Minnesota Educational computing consortium. Krissoff, A., & Konrad, L. (1998). Computer training for staff and patrons: a comprehensive academic model. Computers in Libraries, 18 (1), 28-31. LaLomia, M. J., & Sidowski, J. B. (1990). Measurements of computer satisfaction, literacy, and aptitudes: A review. International Journal of Human-Computer Interaction, 2, 231-253. Lee, J. A. (1986). The effects of past computer experience on computerized aptitude test performance. Educational and Psychological Measurement, 46, 727-733. Levin, D. (1983, March). Everyone wants "computer literacy" so maybe we should know what it means. The American School Board Journal, 25-28. Levine, T., & Donitsa-Schmidt, S. (1998). Computer use, confidence, attitudes, and knowledge – A causal-analysis. Computers in Human Behavior, 14 (1), 125-146. Levinson, E. M. (1986). A review of the computer aptitude, literacy, and interest profile (CALIP). Journal of Counseling and Development, 64, 658-659. Longstreet, W. S., & Sorant, P. E. (1985). Computer literacy – Definition? Educational Horizons, 63 (3), 117-120. Loyd, B. H., & Gressard, C. (1984). Reliability and factorial validity of computer attitude scales. Educational and Psychological measurement, 44, 501-505. Maurer, M. M. (1983). Development and validation of a measure of computer anxiety. Unpublished Master’s Thesis. Iowa State University. Maurer, M. M. (1994). Computer anxiety correlated and what they tell us: A literature review. Compuers in Human Behavior, 10, 369-376. McKeown, B., & Thomas, D. (1988). Q methodology. Newbury Park, CA: Sage. Miller, L. A., Stanney, K. M., & Wooten, W. (1997). Development and evaluation of the Windows-computer-experience-questionnaire (WCEQ). International Journal of Human-Computer Interaction, 9 (3), 201-212. Molnar, A. R. (1978). The next great crisis in American education: computer literacy. AEDS Journal, 11 (1), 11-20. Montag, M. (1984). Development and validation of a criterion-referenced computer literacy assessment instrument. Unpublished master’s thesis, Iowa State University, Ames, IA. Montag, M., Simonson, M. R., & Maurer, M. M. (1984). Standardized Test of Computer Literacy (STCL). Amers: Iowa State University Research Foundation. Moroz, P. A., & Nash, J. B. (1997). Assessing and improving the factorial structures of the computer self-efficacy scale. Paper presented at the Annual Meeting of the American Educational Research Association, Chicago, IL, March 24-28. Murphy, C. A., Coover, D., & Owen, S. V. (1989). Development and validation of the Computer self-efficacy Scale. Educational and Psychological Measurement, 49, 893-899. National Assessment of Educational Progress (1986). A framework for assessing computer competence: defining objectives. Available at ED 273683. Nickell, G. S., & Pinto, J. N. (1986). The computer attitude scale. Computers in Human Behavior, 2, 301-306. Panero, J.C., Lane, D. M., & Napier, H. Al. (1997). The computer use scale: four dimensions of how people use computers. Journal of Educational Computing Research, 16 (4), 297-315. Pope-Davis, D. B., & Twing, J. S. (1991). The effects of age, gender, and experience on measures of attitude regarding computers. Computers in Human Behavior, 7, 333-339. Poplin, M. S., Drew, D. E., & Bable, R. S. (1984). Manual for the computer aptitude, literacy, and interest profile. Austin, TX: PRO-ED. Potosky, D., & Bobko, P. (1998). The computer understanding and experience scale – A self-report measure of computer experience. Computers in Human Behavior, 14 (2), 337-348. Prumper, J., Zapf, D., Brodbeck, R. C., & Frese, M. (1992). Some surprising differences between novice and expert errors in computerized office work. Behaviour and Information Technology, 11, 319-328. Rawstorne, P., Caputi, P., & Smith, B. L. (1998). A study of the psychometric properties of the subjective computer experience scale: Working Paper 1. Unpublished manuscript, University of Wollongong, Wollongong, Australia. Rhodes, L. A. (1986). On computers, personal styles, and being human: A conversation with Sherry Turkle. Educational Leadership, 43 (6), 12-16. Shashaani, L. (1994). Gender-differences in computer experience and its influence on computer attitudes. Journal of Educational Computing Research, 11 (4), 347-367. Simonson, M. R., Maurer, M., Montag-Toradrdi, M., & Whitaker, M. (1987). Development of a standardized test of computer literacy and a computer anxiety index. Journal of Educational Computing Research, 3 (2), 231-247. Sit, R. A., & Fisk, A. D. (1999). Age-related performance in a multiple-task environment. Human Factors, 41 (1), 26-34. Smith, B. L., Caputi, P., & Rawstorne, P. (2000). Differentiating computer experience and attitudes toward computers: an empirical investigation. Computers in Human Behavior, 16 (1), 59-81. Smith, B. L., Caputi, P., Crittenden, M., Jayasuriya, R., & Rawstorne, P. (1999). A review of the construct of computer experience. Computers in Human Behavior, 15, 227-424. Todman, J., & Monaghan, E. (1994). Qualitative differences in computer experience, computer anxiety, and students use of computers: a path model. Computers in Human Behavior, 10 (4), 529-539. Torardi, M. M. (1985). The development of a computer literacy assessment instrument. Paper presented at the Annual Convention of the Association for Educational Communications and Technology, Anaheim, CA, January 17-23. Available at ED 256342. Torkzadeh, G., & Koufteros, X. (1994). Factorial validity of a computer self-efficacy scale and the impact of computer training. Educational and psychological measurement, 54 (3), 813. Watt, D. H. (1980). Computer literacy: what should schools be doing about this? Classroom Computer News, 1 (2), 1-26. Woodrow, J. E. J. (1991). A comparison of four computer attitude scales. Journal of Educational Computing Research, 7 (2), 165-187.
Bunz, Ulla K.
; Institution: Communication Studies, University of Kansas
THEORETICAL BACKGROUND Web Credibility Credibility on the World Wide Web involves more than large numbers of people downloading the information provided on a website. This is easily measurable and can offer comforting data in form of hits, which some (Paine, cited in Holtz, 1999) define as "an acronym for How Idiots Track Success." Cutlip, Center and Broom’s (1985) definition of credibility in the public relations context suits itself well for a general online context, too. The authors state, "The credibility of the communicator is determined by a person’s intentions, trustworthiness, and expertness, as these qualities are perceived by the target audience." On the Internet, credibility refers to a number of factors, such as the currency of its imagery, the perceived trustworthiness of the source, or the perceived trustworthiness of the information itself. As to measuring the perceived credibility of a website, there is much talk, but comparatively little research. The literature agrees that trust is a major issue online, and beyond simple WebTrust security issues that McKeon (1998) and Borkowski (1998) discuss. Usually, in interactions, trust is the result of experience, and thus, some of the same rules apply online and offline. These include background checks on both people and organizations, providing personal information sparingly, and checking for privacy statements (Goldberg 1998). But beyond just trusting the information providers, the web credibility issue also refers to the actual credibility of the information itself. In printed academic journals peer review is common to prevent the spread of false or unqualified information. Though these journals are developing online too, most website information remains un-reviewed. Due to the pure volume of this information, the Internet user can easily fall prey to false information. The source doesn’t even always have to be bad intention, but simply may not know better. In general, the surprisingly sparse literature on web credibility is divided into two fields. One field, mostly librarians, researches the quality of writing and the content of written sources provided. Kirk (1996) establishes six criteria for this kind of credibility under the guideline of caveat lector (Let the reader beware). They include checking for authorship, publishing body, point of view/bias, literature, accuracy, and currency. He also says that if something seems too good to be true, it probably is. The other field concerned with web credibility is non-literary. Most websites including all the commercial websites fall into this category. In a widely quoted article Alexander and Tate (1999) and also Rettig and LaGuardia (1999) define criteria that should help establish the credibility of such a site. These include: authority, accuracy, objectivity, currency, audience, interaction features, content, design, usability and medium. Alexander and Tate also recommend to look at some specific usability issues such as the page titles and URL’s because they tell users about the source, the use of frames, and features such as site maps and internal search engines. The problem is that even pages that follow all these criteria may appear very credible, while really are phony (Critchfield 1998). So, while there is awareness, there is no solution as of yet. Web users must rely on their own critical thinking abilities, experience, and recommendations from sources they trust because they have established their expertise in the field of interest. Usability and Design Principles The term "usability" was well chosen, because the concept behind it is just that, the ability to use. More specifically, usability describes the ease of use a website provides. Usability is not a web specific term, but has been applied to the web for several years now. It really implies two components, format and design, but most people who talk about usability refer only to the design part. The format usability part is closely related to the way librarians and writers describe literary credibility online. Of course, as Critchfield (1998) points out, a well designed website appears more credible, regardless of true credibility of the information provided. But Morkes and Nielsen (1997) discuss some criteria that will help text online to have usability beyond credible content. For example, the authors point out that people online do not read, but they scan. Thus, text and pages both should be kept short and concise. The writing style should contain factual information. People will simply not read very much online. Conventional writing guidelines still apply, such as organization into paragraphs, etc., but Morkes and Nielsen recommend using summaries and the inverted pyramid style where specific information comes last. Internal search engines are also useful for searching text, and with these we are entering the domain of the design part of usability. Binstock (1999) points out that designs need to be intuitive. This is strongly supported by Krug (2000). To Binstock, navigation and content are part of design, while Nielsen (2000) separates them. In any case, a web designer must create his or her page knowing what users will expect from the site, how they will access it, for what reasons, and how they will move within it. Testing is absolutely crucial, as Binstock (1999) points out. He recommends not letting testing confirm design, but to let it lead design. In a way, a website is never finished, and the usability of the site changes constantly, simply because users change. Nielsen (2000) has analyzed a variety of websites over years, monitoring their development and design changes. One lesson many successful sites have learned is to use screen real estate wisely. Screen real estate refers to the space visible on the screen, and far too often most space is taken up for advertisements, navigational devices, and window controls, leaving little space for actual content. Others completely clutter their pages. Nielsen points out that white space is not bad if it is used for a purpose, such as assuring cross platform and resolution independent design. As pointed out, internal search engines are looked upon favorably by users, and they are considered to provide usability. The reason is convenience. Of course, as Nielsen (2000) points out, the way results are reported is important, because it provides much information about the structure of the site. Just as search engines, links help people navigate within the site, and they can provide credibility by providing outside information. As Spool (1997) points out, users use text links before they click on images, and the graphic design of those images actually has little effect on usability. The better one can predict what links lead to, the easier it is to find desired information, and thus, the higher the usability. Spool makes an interesting observation. He says that browsing and information seeking are two completely different activities, and thus preference and usability assessments don’t always match. Instone (1997) provides a nine step usability list. 1) Visibility of the system status refers to knowing where I am and where I can go next. Site maps, page titles and the like help here. 2) Match between the system and the real world is reached through using lay language and a logical order of information that doesn’t necessarily reflect the organization of the organization. 3) Use control and freedom is given through variable screen width and fonts, a home button etc. 4) Consistency and standards in visual patterns, titles, headers, and design helps navigation and understanding. 5) Error prevention requires continuous updating and testing of the website. 6) Recognition rather than recall means to include instructions, repeat buttons and links, provide site maps and image maps. 7) Flexibility and efficiency of use is given through not using frames, easy bookmark titles, long-term URL’s etc. 8) Aesthetic and minimalist design means that simple is better, and that less pertinent information should be linked at progressive levels of detail. 9) Help functions should be designed to offer solutions rather simply stating that there is a problem. Probably one of the most important lessons to understand concerning usability is that usability is never perfect, and never finished. To achieve usability on a site, it has to be tested and improved constantly. Visual Rhetoric Visual rhetoric as a field is developing, especially with a focus on art. In the online context, some well known rhetorical principles can be applied easily without requiring art education. One example are Aristotle’s three means of persuasion, ethos, pathos, and logos, which are taught in any Liberal Arts Public Speaking course. Logos, originally referring to logic, equally refers to logical construction of a site. Is information located where it would b expected? Is navigation through the site intuitive? Ethos in the Aristotelian sense refers to the credibility of the speaker. In the online context, ethos refers more to the credibility of both information and owner of the website. Who are the sources for the information presented? Is text written well? Pathos refers to emotion and liking, and in the online context can be compared to the "warm fuzzy" feeling that people get when looking at a website. Do users return to a site because they like it? Is the site visually appealing? Rhetoric here has less to do with linguistic or discursive formations, and more with a combination of usability notions such as format and design with emotion. An example may be a Usenet site that has much logos, as information is arranged logically in threads, much ethos, as information is provided by people who may be friends, but little pathos, as the site itself, disregarding the content, is comparatively boring in its black-and-white text-only design. However, visual rhetoric is more than principles of speech applied to a visual context. One of the particular strengths of visual rhetoric is the way in which it can express metaphor and even form community. The power of metaphor lies in connecting an unfamiliar concept, service or product with something familiar. Here, this combination is of something visual and something linguistic. Good examples are the metaphors that are used to describe the Internet, such as "Information highway," "Cyberspace," or "surfing the Net," and "downloading." In the online context, a visual cue or symbol, usually culturally biases, reminds the viewer of a familiar concept, stimulating symbolic meaning, such as the dove representing peace, or the stature of liberty representing freedom. In this way, visual metaphors use a concrete form to represent abstract ideas. Online examples are the a house icon to represent "go to the homepage," or the email icon to represent "send me a message." Through metaphorical means, visual rhetoric can create community. Historically, a community was a group of people living in the same town or neighborhood. Today, the Internet has collapsed all geographic boundaries and allowed the creation of "virtual communities," communities of people scattered worldwide who meet in an electronic environment to exchange ideas, share common resources and offer each other support. This feeling of community is usually created through a combination of both language and visual aids. For example, using inclusive language or providing feedback options such as the email address or personalizing sites with the help of cookies are more linguistic devices. Membership only pages or "other people who bought this book" on Amazon.com are combination examples, and the use of school colors, logos, or photographs are visual means. The combination of form and color is a specifically successful visual rhetoric device. In general, color focuses attention, reveals organization, and makes things more interesting and realistic. However, color can also interfere through association. It can distract, tire the eyes, and is unpredictable as it is displayed slightly differently on different computers. A yellow circle on a white background doesn’t signify much, but in context and displayed on a blue background, it immediately signified "sun." Thus, when creating a website, one must pay close attention to messages implied in certain colors by themselves or in combination with others, the form of any graphics, the arrangement of information on a site, and the combination of text and graphic to send unified messages.
WEBSITE ASSIGNMENT Technology classes in communication programs are abounding. Some are more theoretical, some more practical. Some take a technical perspective, others a rhetorical. Despite numerous differences in the make-up of these technology classes, many have one thing in common: the website assignment. Conveniently, this assignment can be sold as a "real world" application exercise with the goal of making it more attractive to the students. After teaching ten technology classes in the past four semesters, I have learned that most students are eager to learn how to make a website, but unless the assignment is carefully crafted and directed by the instructor, the students gain little more than technical expertise at a very low level. The main problem with the website assignment is the time allowed for its completion. The website is usually not the only assignment in the class, but in order to create even basic websites, a number of skills must be taught, such as a graphical website design program or basic HTML code, navigation of the web for information retrieval, and a file transfer protocol (FTP) program to upload the sites. If the instructor wants the sites to have any level of sophistication, usually a the basics of scanning and a graphics program must be taught, plus lectures of conceptual issues such as web credibility, usability, audience targeted message design, visual rhetoric and visual design. Finally, class time must be allowed for students to work on their websites. However, even this level of commitment does not always lead to "good" sites, as I have also learned from experience. Unfortunately, once uploaded most student sites are still immediately identifiable as such. The goal, then, is to turn the website assignment into a task that is enjoyable for the students, and manageable for the instructor during the time allowed. As the end result of the assignment will be publicly available, students ought to be proud of their work, rather than regarding it as "just another assignment completed." Ideally, students will learn not just how to create a website, but also understand how to direct the communicative power such a document can have. The most successful strategy according to my experience is based on van Hoosier-Carey’s (1997) recommendations. Van Hoosier-Care describes the website assignment as a rhetorical exercise in the technical communication classroom. To him, the website truly is a written rhetorical document whose graphical elements are less important than the message they send. I disagree with him on this account. However, many of the recommendations he makes are what has evolved in my classroom as effective solutions to problems resulting from "just another assignment" and "let’s just upload the site for now" attitudes. One of the first problems are the seemingly different goals of instructor and students. These goals are not actually opposites, but may seem difficult to combine. Instructors want to teach students both technical and communicative or rhetorical skills. The website assignment seems a suitable tool as knowing how to create a website is heralded as the new "skill to have" for the job market for communication graduates. Students often are eager to learn how to make a website, but get frustrated easily by details. In order to save time, they often forego slightly more effective, visually more pleasing, and rhetorically more persuasive websites for those which, in technological terms, can be compared to the drawings of five-year olds. A combined goal can be reached simply by structuring the assignment in a slightly different way. The following paragraphs will discuss each step in making the website assignment a valuable exercise.
Step 1 – Lecture When grammar school children learn how to read, they are not presented with a copy of Homer and asked to "figure out" the rest for themselves. Instead, they learn the letters of the alphabet first. Similarly, students about to design a website must be taught the principles that make up a website, the conceptual issues. In two or three one-hour lectures principles of web credibility, usability, and visual rhetoric can be discussed with references to other topics such as intellectual property, graphic design, and audience targeted message design. It helps to consistently show website examples that apply these principles to varying degrees, so that students can learn how to spot both good and bad examples. As Spool (1997) points out, a website can look beautiful, yet fail to convey any meaning. By following the lecture, the students’ view is sharpened from the website as a whole to the components and the thought that went into the creation of a website. Step 2 – Analysis Exercise Directly following the days of lecture, students are given a homework assignment. The instructor provides each one with a website address and asks the students to analyze the website according to the principles discussed in class. These websites can be chosen arbitrarily, but some should be "good" and some should be "bad" examples. About four to six students should always be given the same website address. During the next class session, the class is divided into small groups depending on website reviewed. Students are asked to share their observations. Usually, 15 minutes are enough for this part of the exercise. The remaining class time is spent on showing each website to the whole class while the group that reviewed this site shares their criticism or praise of these sites. The purpose of this exercise is to practice the theoretical skills acquired through lecture, but also to give students possible examples and ideas of what they want their own websites to look like or not. Step 3 – Conceptualizing the Website At this point, students usually want to begin designing their website by sitting down at the computer and typing in HTML code or using a graphical user interface program. Instead, students must remain in their project groups and begin the conceptual process of designing a website. As December and Ginsburg (1995, pp. 130-132) point out, this consists of:
If possible, students should be given a class session to talk about these issues. At this point, the instructor also should talk to each group and provide feedback. If no class time can be spared for this step and groups are required to meet outside the classroom, each group should make an appointment with the instructor for feedback purposes. Students tend to try to skip this step, but it is vitally important to understand these underlying conceptual issues, as otherwise the website will fail to communicate anything other than "This was a class assignment." Step 4 – Preparing the Design Closely related and possibly intertwined with the conceptualization of the website is its preparation on paper. Students should be required to prepare a story board for their website, drawing the connections and links between pages, and the graphical arrangement of text and image for each page. No great artistic skill is required, as the main purpose of this step is to understand the site’s functionality, and not to present its beauty. Step 5 – Analysis Exercise Just as in the previous analysis exercise, the purpose is to detect strengths and weaknesses. The difference is that before, arbitrary online sites were analyzed. This time, each group presents their results from Step Three and Four, defending their ideas before the class. Feedback and criticism from the class help greatly to improve the site, as many times class members notice what team members have overlooked, as van Hoosier-Carey (1997) also points out. Step 6 – Designing the website If this has not happened yet, students can be taught how to use the basics of a website development program in two or three class sessions. As they already have their designs in mind, the learning process is more rapid, because students automatically apply the new skills to their individual needs. Students will require about two class sessions to put the website together. Most of the work has already been done on paper, so lengthy discussions on where to find link addresses or what images to include will not hinder the technical process. Step 7 – Presenting and Redesigning the Website No website is ever perfect, and no good website is ever finished. Instead, websites should be thought of as processes in constant evolution. When the students have completed the website design step and have uploaded their site, they deserve to present their work in class once again, this time with the seemingly finished project. However, many times little kinks need to be fixed, or ideas that worked conceptually cause problems in application. The presentation of the website should be thought of as the final rehearsal. Students should be encouraged to make repairs and minor changes before supplying the instructor with the URL of their site for grading. CONCLUSION The seven steps discussed present a simple but effective plan of turning the website assignment into a useful project. Adding a few simple requirements such as the conceptualization stage and the paper design stage do not require much time, but result in higher quality websites. As communication scholars, we should be concerned with the messages we sent out to the Internet. In technical writing courses, a sloppy memo with formatting errors would never be accepted. Uploading a website with poor navigation or no conceptual backbone is the online version of a sloppy memo. The website assignment allows the unique opportunity to combine theory with application in a way satisfying both to the instructor and to the students. However, just as a website needs a purpose, the website assignment needs to have a purpose beyond simply being an "assignment." Hopefully, the content and tips provided in this paper will help to develop and implement website assignments as valuable exercises, leaving behind websites that are there just to establish presence.
REFERENCES Adler, P. (Ed.) (1992). Usability: turning technologies into tools. New York: Oxford University Press. Alexander, J. E., & Tate, M. A. (1999). Web wisdom: how to evaluate and create information quality on the web. New Jersey: Lawrence Erlbaum Associates. Borkowski, M. (1998). Credibility key to e-commerce. Canadian Electronics, 13 (7), 4. Coe, M. (1996). Human factors for technical communicators. New York: John Wiley & Sons. Critchfield, R. (1998). Credibility and web site design. Available at http://www.warner.edu/critchfield/hci/critchfield.html Cutlip, S. M., Center, A. H., & Broom, G. M. (1985). Effective public relations. 6th Ed. Englewood Cliffs, NJ: Prentice Hall. December, J., & Ginsburg, M. (1995). HTML and CGI unleashed. Indianapolis, IN: Sams.net. Dennison, R. F. (1999). Web searching – A group project. The Technology Teacher, 58 (8), 6. Dillon, A. (1994). Designing usable electronic text. Southport: Burgess Science Press. Goldberg, B. (1998). Is trust different in cyberspace? Executive Excellence, 15 (11), 15-16. Goubil-Gambrell, P. (1996). Designing effective Internet assignments in introductory technical communication courses. IEEE Transactions on Professional Communication, 39, 224-231.
Hix, D., & Schulman, R. S. (1991). Human-computer interface development tools: a methodology for their evaluation. Communications of the ACM, 34 (3), 74-87. Holtz, S. (1999). Public relations on the net. New York: Amacom. Holtze, T. L. (2000). Applying learning style theory to web page design. Internet Reference Services Quarterly, 5 (2), 71. Jordan, P. W. (1998). An introduction to usability. Bristol, PA: Taylor & Francis. Kaufer, D. S., & Butler, B. S. (1996). Rhetoric and the arts of design. Mahwah, NJ: Erlbaum. Kirk, E. (1996). Evaluating information found on the Internet. Available at http://milton.mse.jhu.edu:8001/research/education/net.html Kostelnick, C. (1996). Supra-textual design: the visual rhetoric of whole documents. Technical Communication Quarterly, 5, 9-33. Krug, S. (2000). Don’t make me think!: a common sense approach to web usability. Indianapolis, IN: Que. Mayhew, D. (1999). The usability engineering lifecycle: a practitioner’s handbook for user interface design. San Francisco, CA: Morgan Kaufmann. McKeon, P. (1998). Electronic commerce--bridging the security gap with WebTrust. Accountancy Ireland, 30 (3), 12-13. Nielsen, J. (1993). Usability Engineering. Boston, MA: AP Professional. Nielsen, J. (2000). Designing web usability. Indianapolis, IN: New Riders. Norman, D. (1988). The design of everyday things. New York: Doubleday. Radosevich, L. (1997, December). Fixing web-site usability. InfoWorld, 19 (50), 81-82. Rettig, J., & LaGuardia, C. (1999, July/August). Beyond ‘beyond cool’: reviewing web resources. Online, 23 (4), 51-55. Rubin, J. (1994). Handbook of usability testing: how to plan, design and conduct effective tests. New York: John Wiley & Sons. Scarcella, J. A. (1999). Web authoring – How do I get started? The Technology Teacher, 59 (1), 13. Scarcella, J. A. (1999). Web authoring – How do I get started? The Technology Teacher, 59 (1), 13. Schriver, K. A. (1997). Dynamics in document design. New York: John Wile. Spool, J. (1997). Web site usability: a designer’s guide. North Andover, MA: User Interface Engineering. Van der Meij, H. (1997). The ISTE approach to usability testing. IEEE Transactions on Professional Communication, 40 (3), 209-223. Van Hoosier-Carey, G. (1997). Rhetoric by design: using web development projects in the technical communication classroom. Computers and Composition, 14 (3), 395-407. Virzi, R. A. (1992). Refining the test phase of usability evaluation: how many subjects is enough? Human Factors, 34 (4), 457-468. Wagner, P. D., & Wagner, T. A. (1997). The world wide web in the classroom. The Technology Teacher, 56 (5), 22. Witmer, D. F. (1998). Introduction to computer-mediated communication: a master syllabus for teaching communication technology. Communication Education, 47 (2), 162.
Cornelius, Caroline
; Institution: eResult GmbH - eCommerce Research & Consulting, Göttingen
Fokus-Gruppen werden in der Marktforschung immer dann durchgeführt, wenn neue Produkte, Dienstleistungen und Werbemittel entwickelt und evaluiert werden sollen und bei welchen entweder die Bedürfnisse oder die Zusammensetzung der Zielgruppe unbekannt sind, so dass eine explorative und qualitative Vorgehensweise angezeigt ist. Immer wieder wird hervorgehoben, dass in Fokus-Gruppen im Vergleich zu Befragungen die Gruppendynamik genutzt werden soll, um ein möglichst grosses Spektrum an Meinungen zu erheben, wobei weitgehend ungeklärt bleibt, worin diese Gruppendynamik besteht und wie sie ausgelöst wird (vgl. z.B. Bristol & Fern, 1996; Melchers, 1994). Zeigt sich hier bereits ein theoretisches und methodologisches Defizit, verschärft sich dieses, wenn man Fokus-Gruppen online durchführen will, da Effekte der computervermittelten Kommunikation (cvK) auf die unspezifizierte "Gruppendynamik" wahrscheinlich, aber nicht vorhersagbar sind. Die Vorteile von Online-Fokus-Gruppen im Vergleich zu Face-to-Face (FtF) werden gegenwärtig vor allem darin gesehen, dass sie zeit- und kostenökonomisch, flexibel und international durchzuführen sind. Sie wirken aufgrund des "Reiz des Neuen" (noch) als Incentive bei der Rekrutierung. Die früher aufwendig zu erstellenden Transkripte der Diskussionen werden als automatische Protokolle gleich mitgeliefert, was eine erhebliche Erleichterung der anschliessenden quantitativ-qualitativen Analyse und Ergebnispräsentation darstellt. Unerlässlich sind Online-Fokus-Gruppen in der e-Commerce-Forschung, da nur mit ihnen Websites ohne Medienbruch evaluiert werden können. Das textbasierte Medium "Computerkonferenzen" ermöglicht so Fokus-Gruppen zu einer breiteren Facette von Fragestellungen, in dichteren Zeitintervallen und/oder mit grösseren Stichproben. Auf Seiten der Auftraggeber jedoch stossen Online-Fokus-Gruppen auf eine geringe Akzeptanz, weil für diese nicht durchschaubar ist, welche Effekte das Medium auf die Qualität der Ergebnisse hat. Vorbehalte gegen Online-Fokus-Gruppen können nur dann aufgelöst werden, wenn die Marktforschung diese Effekte kontrollieren und kreativ zur Beantwortung von Fragestellungen einsetzen kann. Die "Gruppendynamik" in Online-Fokus-Gruppen In der Literatur hält sich die Vorstellung, dass die Teilnehmenden an Online-Fokus-Gruppen aufgrund der visuellen Anonymität mehr Offenheit im Anwortverhalten, mehr Selbstoffenbarungen und weniger soziale Erwünschtheit zeigen als in FtF-Gruppen (Joinson, 2001). Dabei wird jedoch übersehen, dass nicht Merkmale des Mediums per se zu diesen Gruppenergebnissen führen, sondern dass spezifische Variablen im Design der Online-Fokus-Gruppen oben genannte Effekte hervorrufen aber auch unterdrücken können. Entscheidender als das Medienmerkmal "visuelle Anonymität" ist das Ausmaß an psychologischer Anonymität, welche gezielt und fein abgestuft manipuliert werden kann, eben weil sich die Teilnehmenden nicht sehen und hören können (Postmes, Spears & Lea, 1999). So kann entsprechend der Fragestellung entschieden werden, ob keine, falsche oder persönliche Informationen über die anderen Teilnehmenden gegeben werden sollen. In FtF wirken ideosynkratische Merkmale von Gruppenmitgliedern, wie z.B. Attraktivität oder Charisma, auf die Gruppendynamik und erschweren deren Vorhersage. Diese Merkmale sind in cvK ausgefiltert oder abgeschwächt, so dass soziale Kontexthinweise eine höhere Relevanz gewinnen als in FtF. Je nachdem, ob diese Hinweise Informationen über den sozialen Status und die Zugehörigkeit zu einer sozialen Gruppe oder persönliche Informationen geben, sehen sich die Teilnehmenden als Vertreter sozialer Kategorien und als homogene Gruppe oder als unterscheidbare Individuen. Bislang zeigt weder die FtF- noch die cvK-Gruppenforschung, dass Gruppendiskussionen Meinungsvielfalt und Divergenz fördern, aber unzählige Studien und Praktiker berichten, dass Gruppenprozesse dazu tendieren zu konvergieren. So tritt in Fokus-Gruppen häufig das Phänomen auf, dass sich "schweigende Mehrheiten" bilden, die einem "Vielredner" zustimmen (Lamnek, 1998). Während in FtF-Gruppen diese Konvergenz als Konformität mit einem attraktiven oder statushöheren Gruppenmitglied oder der Majorität auftritt, tritt sie in cvK-Gruppen als Orientierung an der jeweils relevanten Gruppennorm auf, welche den Teilnehmenden zugänglich gemacht wurde (Postmes et al., 1999). In der Marktforschung gibt es jedoch nur wenige Bereiche, in welchen eine solche Konvergenz der Einstellungen der Fragestellung angemessen ist. Der breiteste Anwendungsbereich von Fokus-Gruppen findet sich in der Evaluation von neu entwickelten Produkten und Dienstleistungen, wobei viele und unterschiedliche Meinungen und Einstellungen erhoben werden sollen. Die Optimierung der Passung zwischen Fragestellung und Design Der zentrale Vorteil von Online-Fokus-Gruppen gegenüber FtF-Fokus-Gruppen, nämlich die gezielte Manipulation eines Gruppenkontexts zur Optimierung der Passung zwischen Fragestellung und Design, wurde in der Marktforschung bisher noch nicht erkannt und genutzt. Die Fragestellung determiniert auf der einen Seite, welche Ergebnisse von einer Gruppe erwartet werden und auf der anderen Seite, welche Ressourcen die Gruppe benötigt, um diese Ergebnisse zu erzielen. Die vier häufigsten Fragestellungen der Marktforschung sind im Bereich der Entwicklung die Ideenfindung und das Lösen von Problemen, und im Bereich der Evaluation die Erhebung von Meinungen und Einstellungen zu Produkten, Dienstleistungen und Werbemitteln und die Erhebung von Werten und Normen einer Zielgruppe. In einem Kreismodell können der jeweiligen Fragestellung Gestaltungsempfehlungen von Fokus-Gruppen zugeordnet werden, welche die Passung von Gruppenkontext und -ergebnissen erhöhen. Dies geschieht in Anlehnung an das Group Task Circumplex Modell von McGrath (1984), welches zunächst Gruppenaufgaben in motorische, kreative, intellektuelle Aufgaben oder Verhandlungsaufgaben unterscheidet, um dann die spezifischen Anforderungen zu beschreiben, welche die jeweilige Aufgabe an die Gruppe stellt. Das Kreismodell zur Optimierung der Passung zwischen Fragestellung und Design von Fokus-Gruppen unterscheidet hingegen zwischen Fragestellungen im Bereich der Entwicklung (Ideenfindung und Problemlösen) und der Evaluation (Erhebung von Einstellungen und von Werten und Normen), um dann den spezifischen Gruppenkontext zu beschreiben, welcher die Produktivität der Gruppe erhöht (siehe Abbildung).
Als Faktoren, welche die Produktivität in Abhängigkeit von der Fragestellung erhöhen oder reduzieren können, wurden die Gruppenzusammensetzung, die Anonymität, die Kommunikationsqualität und die Moderationsmethode ausgewählt. Diese Faktoren sind in Bezug auf die Fragestellungen und das Medium bereits untersucht wurden, so dass Gestaltungsempfehlungen auf einer empirischen Basis möglich sind. Die folgenden Designs für die Fragestellungen Problemlösen, Ideenfindung, Bewertung und Erhebung von Werten und Normen einer Zielgruppe werden an Beispielen aus der e-Commerce-Marktforschung dargestellt. In diesem Anwendungsbereich können Online-Fokus-Gruppen am elegantesten umgesetzt werden, auch wenn weitere Anwendungsfelder bereits erschlossen werden. Problemlösen bei der Entwicklung eines Produkts oder einer Dienstleistung Online-Fokus-Gruppen bieten sich an, wenn räumlich getrennte Expert/innen z.B. ein Problem bei der Entwicklung einer Software oder der Einrichtung eines Internet-Portals lösen sollen. Die Gruppenzusammensetzung sollte nach dem Merkmal Expertise heterogen sein, um den potentiellen Leistungsvorteil der Gruppe gegenüber dem einzelnen Individuum tatsächlich nutzen zu können (Boos & Sassenberg, 2000). Die Heterogenität kann jedoch leistungsmindernd wirken, wenn Status, Geschlecht etc. die Einflussmöglichkeiten auf die Lösung behindern. Deshalb sollte Bekanntheit zwischen den Gruppenmitgliedern hergestellt werden, indem individuierende Information über ihre Expertise gegeben wird, ansonsten aber die Anonymität aufrecht erhalten werden (Wood & Karten, 1986). Der Leistungsvorteil einer heterogenen Expertenrunde besteht im wechselseitigen Fehlerausgleich und in einer verstärkten Auseinandersetzung mit der Aufgabe aufgrund der konfligierenden Meinungen. Je divergenter jedoch die Problemrepräsentation in der Gruppe, desto aufwendiger ist der Kommunikationsprozess, um eine Übereinstimmung hinsichtlich der Problemlösung herzustellen. Der Kommunikationsprozess sollte deshalb durch eine Steigerung der Kommunikationsqualität mit Hilfe eines vorgeschalteten Chat-Trainings und einer strukturierenden Moderationstechnik unterstützt werden. Bei der Durchführung von Expertenrunden haben sich Softwarelösungen für die Gruppenarbeit bewährt, welche die Visualisierung von Problemfeldern und die Abstimmung unterstützen, wie z.B. die Metaplan- oder die Delphi-Technik, sowieso neuere Mediationstechniken.
Ideenfindung bei der Entwicklung einer Website Wenn noch keine Beta-Version einer Website vorliegt, sondern es darum geht, möglichst viele kreative Ideen von möglichst unterschiedlichen Expert/innen oder Zielgruppenmitgliedern zu sammeln, sind Online-Fokus-Gruppen besonders empfehlenswert. Die Gruppenzusammensetzung sollte möglichst heterogen sein, um die Diversität zu fördern. Die visuelle Anonymität des Mediums sollte so genutzt werden, dass Bewertungsängste reduziert werden. Die größte Menge an Ideen ist zu erwarten, wenn Ideen nicht durch andere Gruppenmitglieder rezipiert oder bewertet werden, so dass die Produktionsblockierung in Gruppen reduziert wird (Diehl & Stroebe, 1991). Das Medium Computerkonferenzen zeichnet sich dadurch aus, dass aufgrund des Tippaufwandes und der Simultanität eine hohe kognitive Belastung entsteht, welche die Rezeption der Nachrichten von anderen Gruppenmitgliedern und die Bezugnahme auf diese drastisch reduziert. Im Gegensatz zur Produktionsblockierung in FtF tritt in cvK eine Aufmerksamkeitsblockierung auf, deren Effekt auf die Ideengenerierung vorteilhaft und nur für Problemlöse- und Entscheidungsfindungsgruppen problematisch ist (Straus, 1996). Deshalb sollte auf jede Intervention durch Trainings zur Steigerung der Medienkompetenz verzichtet werden, welche die Kommunikationsqualität und damit die Rezeption und die Bewertung von Ideen der anderen Gruppenmitglieder steigern könnte. Auch eine Moderation ist überflüssig, da weder eine Strukturierung anhand eines Leitfadens noch eine Unterstützung des Gesprächs zur Erhöhung der Kommunikationsqualität erforderlich sind. Die Ideensammlung sollte lediglich angeregt und auf ein Thema fokussiert werden, indem eine Zielsetzung vorgegeben wird. Teilnehmende an Computerkonferenzen orientieren sich zwar weniger an den Gesprächsbeiträgen der anderen Gruppenmitglieder, aber dafür um so stärker an einer vorgegebenen Makrostruktur bzw. an einem Thema (Matheson, 1992). Erhebung von Einstellungen am Beispiel "Evaluation einer Website" Wenn der Prototyp einer Website vorhanden ist oder der Relaunch einer bereits etablierten Website bevorsteht, können Online-Fokus-Gruppen als ein Modul in eine Usability-Studie integriert werden. Da bei dieser Fragestellung ein möglichst großes Spektrum an Meinungen und Bewertungen erhoben werden soll und eine kontroverse Diskussion ohne die sonst in Gruppen auftretende Konformitätsneigung erwünscht ist, sollte die Gruppe so heterogen wie möglich zusammengesetzt sein und als einzelne Individuen mit einer hohen Qualität kommunizieren. Heterogenität kann nach den Variablen Geschlecht, Alter, Familienstand, sozioökonomischer Status, Bildung, Expertise, Ethnizität und sexueller Orientierung hergestellt werden. Optimal ist eine Mischung, welche den Merkmalen verschiedener Zielgruppen entspricht. Damit sich die Teilnehmenden nicht als homogene Gruppe sondern als Individuen wahrnehmen, sollten sie in einer Vorstellungsrunde miteinander vertraut gemacht werden. Bekanntheit kann z.B. durch die Gabe biographischer Informationen hergestellt werden (Rezabek, 2000), welche aber nicht die Zugehörigkeit zu einer sozialen Kategorie salient machen sollten, wie z.B. die Angabe von "typisch weiblichen" oder "typisch männlichen" Hobbys (Postmes et al., 1999). Medienangepasstes Kommunikationsverhalten muss trainiert werden, damit die Simultanität des Mediums nicht zu konversationalen Chaos führt (Cornelius, 2001). In Chats treffen Nachrichten nicht in der intendierten Reihenfolge der Sender/innen ein, sondern im linearen Verarbeitungsmodus des Programms. Aufgrund der visuellen Anonymität können Gespräche nicht nonverbal reguliert werden. Wenn sich die Teilnehmenden nicht an das Medium anpassen, indem sie explizite verbale Bezüge auf Personen und Themen herstellen, kann kein gegenseitiges Verständnis stattfinden. Dies lässt sich jedoch effizient durch ein kurzes Chat-Training ausgleichen. Um es dem Moderator zu ermöglichen, auf den thematischen Leitfaden und die Inhalte zu fokussieren, kann ein Ko-Moderator zur Gesprächskoordination eingesetzt werden. Diese/r kann das gegenseitige Verständnis und letztlich auch die Lesbarkeit der Protokolle noch weiter steigern, indem er oder sie gesprächsfördernde Verhaltensweisen, wie Nachfragen, Spiegeln, Zusammenfassen etc., ausübt. Sowohl die Vertrautheit als auch die erhöhte Kommunikationsqualität steigern die Divergenz und die Diversität der Einstellungen.
Erhebung der Normen und Werte einer Zielgruppe Wenn die Normen und Werte einer bereits definierten aber weitgehend unbekannten Zielgruppe erhoben werden sollen, um eine Marketingstrategie zu entwickeln oder der Kontakt zum Kunden verloren gegangen ist, wird empfohlen, die Online-Fokus-Gruppe homogen nach dem für die Zielgruppe relevanten Merkmal zusammen zu setzen (z.B. entsprechender Medienkonsum bei Splatter-Film-Fans). Die Gruppenmitglieder dürfen vor der Diskussion nicht miteinander vertraut gemacht werden, es darf keine biographische Information über sie gegeben werden und sie sollten sich über Pseudonyme einloggen, welche ihre Zugehörigkeit zur Ingroup salient machen. Die so hergestellte Anonymität erhöht die Orientierung an Gruppennormen (Postmes et al., 1999). Eine Erhöhung der Kommunikationsqualität durch ein Chat-Training oder Moderationstechnik sind nicht notwendig, weil es in solchen Gruppen allein auf die wahrgenommene Gruppenzugehörigkeit und nicht wie in Gruppen, die auf persönlichen Beziehungen basieren, auf die Kommunikationsqualität ankommt (Prentice, Miller & Lightdale, 1994). Da die Moderation aufgrund fehlender Information nicht an die Normen und Werte der Zielgruppe angepasst werden kann, sollte auf sie verzichtet werden. Ein Moderator oder eine Moderatorin, welche/r schnell als Mitglied der Outgroup erkannt wird, schadet der Diskussion mehr, als dass er/sie sie fördern könnte. Statt dessen sollte das interessierende Thema vorgegeben werden. Vor der Diskussion kann eine gruppenbildende Maßnahme, z.B. in Form eines online-games, durchgeführt werden. Fazit An dieser Stelle sei nur das kurze Fazit gezogen, dass zwar jeder Teilausschnitt des Kreismodells gut untersucht ist, aber nicht das Modell im Ganzen. So wurde beispielsweise bisher nicht untersucht, ob eine hohe Kommunikationsqualität in cvK tatsächlich der Ideenfindung hinderlich ist oder die Identifikation mit der Ingroup reduziert, sondern lediglich, dass eine hohe Kommunikationsqualität für diese Anwendungsbereiche nicht erforderlich ist. Auch zum Medienvergleich FtF- und Online-Gruppendiskussionen liegen derzeit noch zu wenige Studien vor, da die Faktoren Gruppenzusammensetzung, Anonymität und Kommunikationsqualität meist nur innerhalb eines Mediums variiert worden sind. Da Fokus-Gruppen in der Marktforschung als qualitatives Instrument eingesetzt werden und der Erkenntnisgewinn meist schon nach zwei bis drei Diskussionen gesättigt ist, können hier keine Fallzahlen entstehen, welche vergleichende, empirische Studie ermöglichen würden. So müssen Einzelergebnisse aus sozial- und kommunikationspsychologischen Studien zusammengetragen werden, die zusammengesetzt ein ausreichend klares Bild vermitteln, um das Design von Online-Fokus-Gruppen zu optimieren. Literatur Boos, M. & Sassenberg, K. (2000). Koordination in verteilten Arbeitsgruppen. In E. H. Witte & C. Bleich (Hrsg.), Leistungsverbesserungen in aufgabenorientierten Kleingruppen. Pabst. Bristol, T. & Fern, E.F. (1996). Exploring the atmosphere created by focus group interviews: comparing consumers' feelings across qualitative techniques. In Journal of the Market Reserach Society, Vol 8 (2) Cornelius, C. (2001). Gegenseitiges Verständnis in Computerkonferenzen. Voraussetzungen und Folgen konversationaler Kohärenz in Entscheidungsfindungsgruppen im Medienvergleich. Münster: Waxmann. Diehl, M. & Stroebe, W. (1991). Productivity loss in brainstorming groups: Toward the solution of a riddle. Journal of Personality and Social Psychology, 53, 497-509. Joinson, A. (2001). Self-disclosure in computer-mediated communication: The role of self-awareness and visual anonymity. In European Journal of Social Psychology, 31, 177-192. Lamnek, S.(1998). Gruppendiskussion- Theorie und Praxis. Weinheim: Beltz PVU. Matheson, K. (1992). Woman and computer technology: communicating with herself. In M. Lea (Hrsg.), Contexts of computer-mediated communication (S. 66-88). New York, NY: Harvester Wheatsheaf. McGrath, J. E. (1984). Groups: Interaction and performance. Englewood Cliffs, N.J.: Prentice-Hall. Melchers, C.B.(1994): Gruppendiskussion in der Marktforschung. In Planung & Analyse 2/1994, S. 5-9 und S. 32-36. Postmes, T, Spears, R. & Lea, M. (1999). Social identity, normative content and 'deindividuation' in computer-mediated groups. In N. Ellemers, R. Spears & B. Doosje (Hrsg.), Social identity: context, commitment and content (S. 164-265). Oxford: Blackwell. Prentice, D. A., Miller, D. T. & Lightdale, J. R. (1994). Asymmetries in attachments to groups and to their members: distinguishing between common-identity and common-bond groups. Journal of Personality and Social Psychology, 20(5), 484-493. Rezabek, R.J. (2000) Online Focus Groups: Electronic discussions for research. In Forum Qualitative Sozialforschung, (1) 1, URL: http://qualitative-research.net/fqs/fqs.htm Straus, S. G. (1996). Getting a clue. The effects of communication media and information distribution on participation and performance in computer-mediated and face-to-face groups. Small Group Research, 27(1), 115-142. Wood, W. & Karten, S. J. (1986). Sex differences in interaction style as a product of perceived sex differences in competence. Journal of Personality and Social Psychology, 50 (2), 341-347.
Creß, Ulrike
; Barquero, Beatriz; Hesse, Friedrich W. Institution: Psychologisches Institut, Eberhard-Karls-Universität Tübingen
Online-Lernmaterialien
in der Hochschullehre: Wie Studierende sie nutzen und beurteilen - Ergebnisse
einer Evaluationsstudie Creß, U., Barquero, B. & Hesse, F.W. Universität Tübingen Kontakt: u.cress@iwm-kmrc.de Einleitung Mit der Möglichkeit, Lernmaterialien für die Hochschullehre auch über das Internet anzubieten, verknüpfen sich derzeit hohe Erwartungen. Durch die Zeit- und Ortsunabhängigkeit, die der Einsatz von Medien ermöglicht, erhoffen die Hochschulen, neue und breitere Zielgruppen erschließen zu können. Daneben besteht die Aussicht, die Qualität der Lehre zu verbessern, indem den Studierenden z.B. zu den Lehrveranstaltungen aktuell ergänzende Materialien online angeboten werden können, die der Vor- und Nachbereitung ihrer Arbeit dienen sollen (Tissue, Earp & Yip, 1996). In geeigneten Themenbereichen können den Studierenden darüber hinaus über das Internet interaktive Programme zur Verfügung stehen, mit deren Hilfe sie auch außerhalb des Labors eigenständig Simulationen oder Experimente durchführen können. Dadurch kann in stärkerem Maße entdeckendes Lernen gefördert werden (vgl. Rieber, 1991). Insgesamt nähert dies die Hoffnung, dass durch die neuen Medien den Studierenden ein flexibleres Lernen ermöglicht werden kann, das in höherem Maße auf ihre individuellen Bedürfnisse zugeschnitten ist, als dies bei der traditionellen Hochschullehre möglich war (Hesse & Schwan, im Druck). Diese Vorteile des Lernens mit Medien sind aber auch mit hohen Ansprüchen an den Lernenden gekoppelt (Lawless & Brown, 1997; Marchionini, 1990; Weidenmann, 1995). Diese müssen fähig sein, mit der benutzten Software zurechtzukommen, sich in dem großen Umfang der ihnen angebotenen Informationen zurechtzufinden und ihre Handlungen mit den vielfältigen Interaktionsmöglichkeiten solcher Lernmaterialien selbst zu steuern. Wenn Studierende über diese Fähigkeiten nicht verfügen oder keine geeignete Unterstützung dabei erhalten, können Schwierigkeiten auftreten, die eine optimale Nutzung dieser Lernmaterialien behindern. Spezifische Stärken und Probleme, die mit den Einsatz von
Online-Lernmaterialien verknüpft sind, wurden in zwei Tübinger Verbundprojekte
durch eine Evaluationsstudie untersucht: das Verbundprojekt „VirtuGrade“ (7
Teilprojekte), seit 1998 vom Land Baden-Württemberg gefördert, und das
Verbundprojekt „Multimediagestützter Studiengang Bioinformatik“ (7
Teilprojekte), 1999-2000 von der Deutschen Telekom und dem Land
Baden-Württemberg gefördert. Die in beiden Projekten entwickelten Materialien wurden in Lernszenarien angeboten, denen eine unterschiedliche Konzeption des Medieneinsatzes zugrunde liegt. Im folgenden sollen zwei Szenarien herausgegriffen werden, in denen Online-Materialien eine unterschiedliche Funktion zukommt: das Ergänzungsszenario und das Workshopszenario (vgl. das Stoffvermittlungsparadigma und das Problemlösungsparadigma in Döring, 1997). Im Ergänzungsszenario werden typische Präsenzveranstaltungen wie Vorlesung, Übung und Seminar durch die multimediale, netzbasierte Präsentation von Lerninhalten ergänzt. Diese werden zumeist als Vorlesungsskript bzw. -folien dargestellt, bestehen überwiegend aus Texten, statischen Bildern und Graphiken, enthalten aber z.T. ebenfalls Animationen, Simulationen, kleine interaktive Programme (Applets) und Videosequenzen. Die Funktion der Online-Materialien besteht in diesem Szenario vor allem darin, dass Lernende unzureichendes Vorwissen nacharbeiten und das in der Veranstaltung Präsentierte elaborieren können. In diesem Szenario stehen auch Kommunikationstools (E-Mail, Diskussionsforum, Chat) zur Verfügung, die den Studierenden ermöglichen, Fragen an Dozenten oder Kommilitonen zu stellen oder Kommentare zu den Materialien zu äußern. Die Funktion dieser Kommunikationstools steht aber im Hintergrund, da Studierenden und Dozenten vorwiegend während der Präsenzveranstaltung miteinander kommunizieren. Einen ganz anderen Stellenwert als im Ergänzungsszenario haben die Online-Materialien im Workshopszenario. Hier entfällt die wöchentliche Präsenzveranstaltung und statt dessen erstellen die Studierenden gemeinschaftlich die Lernmaterialien (quasi als „Referate“), die über das Internet der Gesamtgruppe präsentiert werden und in der (computervermittelten) Diskussion kommentiert, weiterentwickelt und verbessert werden. Bei der Zusammenarbeit der Studierenden kommt der telematischen Kommunikation eine wichtige Funktion zu. Grundlage dafür ist ein gemeinsames Repository, in welchem alle Teilnehmer Dateien lesen, bearbeiten und ablegen können. Andere Kommunikationsmittel wie E-Mail und Chat stehen den Teilnehmern ebenfalls zur Verfügung. Unsere Evaluationsstudie zielte darauf, Erkenntnisse darüber zu gewinnen, wie Studierenden beider Settings die jeweiligen multimedialen Angebote nutzen und bewerten, und welche Faktoren Einfluss auf ihre Nutzung und Bewertung ausüben. Evaluationsmethode Zu Beginn jeder Lehrveranstaltung wurde den Studierenden ein Vorfragebogen zu ihren individuellen Lernvoraussetzungen ausgeteilt (Motivation zur Teilnahme an der Lehrveranstaltung, Vorwissen zum jeweiligen Lerninhalt, Computererfahrung und Einstellung zum computerunterstütztem Lernen und zur netzbasierten Kommunikation). Am Ende der Lehrveranstaltung erhielten die Studierenden einen Nachfragebogen mit Fragen bzgl. ihrer Nutzung der multimedialen Materialien und ihrer Bewertung unterschiedlicher Aspekte der besuchten Lehrveranstaltung (Gestaltungs- und Navigationsaspekte der Materialien, Aufbereitung des Lerninhalts, instruktionale Maßnahmen wie Visualisierungen und Hilfestellungen, gestellte Lernaufgaben und erhaltene Betreuung). Außerdem wurden sie im Nachfragebogen erneut über ihre Einstellung zu computervermitteltem Lernen und Kommunikation befragt. Abhängig von den technischen Möglichkeiten der einzelnen Teilprojekte wurden neben diesen subjektiven Daten aus den Fragebögen auch Server-Protokolldaten ausgewertet, die objektive Informationen über die Nutzung der Online-Materialien durch die Studierenden geben konnten: z.B. wie oft und wie lange sich die Teilnehmer mit diesen Materialien beschäftigt hatten oder welche Materialien sie am häufigsten und intensivsten bearbeitet hatten. Ergebnisse bzgl. des
Ergänzungsszenarios Aus 7 Teilprojekten, in denen die multimedialen Lernmaterialien als Ergänzung einer Präsenzveranstaltung angeboten wurden (Ergänzungsszenario), liegen von 244 Teilnehmern komplette Datensätze (Vor- und Nachfragebogendaten) vor. Diese zeigen eine suboptimale Nutzung der Online-Materialien durch die Studierenden: diese äußerten, sich im Durchschnitt nur 17% ihrer gesamten Lernzeit mit den multimedialen Lernmaterialien beschäftigt zu haben, 44% dieser Materialien bearbeitet zu haben, und die angebotenen interaktiven Möglichkeiten (z.B. interaktive Grafiken, Simulationen) relativ selten benutzt zu haben (Mittelwert: 2,83 auf einer Skala von 1-nie bis 7-sehr häufig). Um den möglichen Einfluss individueller Lernervoraussetzungen auf die Nutzung dieser Materialien zu untersuchen, wurden schrittweise Regressionsanalysen durchgeführt. Dabei wurden 1) die Motivation zum Lernen mit Medien, das Alter der Studierenden und ihre Voreinstellung zum computervermittelten Lernen (CVL) als Prädiktoren für die Lernzeit mit den Online-Materialien [R = 0,30, R2 = 0,09, F(3,207) = 6,62, p < 0,001], 2) die Computererfahrung der Studierenden sowie ihre Einstellung zum CVL im Vergleich zu traditionellen Lernformen als Prädiktoren für den Anteil der bearbeiteten Online-Materialien [R = 0,32, R2 = 0,10, F(2,205) = 11,71, p < 0,001], und 3) ihre Computererfahrung, ihre Motivation zum Lernen mit Medien und die Anzahl der Semester ihrer bisherigen Universitätsausbildung als Prädiktoren für die Häufigkeit der Nutzung der interaktiven Komponenten [R = 0,44, R2 = 0,19, F(3,221) = 17,53, p < 0,001] ermittelt. Die Bewertung unterschiedlicher Aspekte der multimedialen Lehrveranstaltungen durch die Teilnehmer war insgesamt mittelmäßig, mit Durchschnittswerten um den Mittelpunkt einer Skala von 1-sehr negativ bis 7-sehr positiv. Schrittweise Regressionsanalysen wurden ebenfalls durchgeführt, um den Einfluss der individuellen Lernervoraussetzungen sowie der Nutzungsvariablen auf die Bewertung dieser Aspekte zu erforschen. Dabei wurden folgende Variablen als Prädiktoren der Bewertung seitens der Studierenden gefunden: 1) ihre Motivation zum Lernen mit Medien und die pro Tag am Computer verbrachte Zeit als Prädiktoren für ihre Bewertung der Gestaltung der Materialien [R = 0,30, R2 = 0,09, F(2,197) = 9,61, p < 0,001], 2) die Lernzeit mit den Online-Materialien und ihre Voreinstellung zum CVL als Prädiktoren für ihre Bewertung der Inhaltsaufbereitung [R = 0,36, R2 = 0,13, F(2,198) = 14,83, p < 0,001], 3) die Lernzeit mit den Online-Materialien, die Häufigkeit ihrer Nutzung von interaktiven Komponenten und ihr Vorwissen zum Lerninhalt als Prädiktoren für ihre Bewertung der instruktionalen Maßnahmen [R = 0,31, R2 = 0,10, F(3,197) = 7,10, p < 0,001], 4) die Lernzeit mit den Online-Materialien, die intrinsische Motivation der Studierenden und den Anteil der bearbeiteten Online-Materialien als Prädiktoren für ihre Bewertung der gestellten Lernaufgaben [R = 0,39, R2 = 0,15, F(3,168) = 10,15, p < 0,001], 5) ihr Vorwissen zum Inhalt und ihre Einstellung zum CVL als Prädiktoren für ihre Bewertung der erhaltenen Betreuung [R = 0,35, R2 = 0,12, F(2,197) = 13,60, p < 0,001], 6) ihre Einstellung zum CVL vor ihrer Teilnahme an der Lehrveranstaltung, die Häufigkeit ihrer Nutzung von interaktiven Komponenten sowie die pro Tag am Computer verbrachte Zeit als Prädiktoren für ihre Einstellung zum CVL am Ende der Veranstaltung [R = 0,60, R2 = 0,36, F(3,195) = 35,93, p < 0,001], 7) ihre Einstellung zum CVL im Vergleich zum traditionellen Lernen am Anfang der Lehrveranstaltung, die Häufigkeit ihrer Nutzung von interaktiven Komponenten sowie die Anzahl der Semester ihrer bisherigen Universitätsausbildung als Prädiktoren für ihre Einstellung zum CVL vs. traditionellem Lernen am Ende der Veranstaltung [R = 0,46, R2 = 0,21, F(3,196) = 17,66, p < 0,001]. Da in den unterschiedlichen Lehrveranstaltungen nicht dieselben Server-Protokolle erhoben werden konnten, waren die Daten zur Nutzung der Online-Materialien auf der Basis der objektiven Log-Daten nicht über alle Projekte vergleichbar. Im folgenden soll deshalb eine typische Lehrveranstaltung für das Ergänzungsszenario als Fallbeispiel dienen. Dabei stand eine Vorlesung im Zentrum der Lehrveranstaltung, zu der die Studierenden begleitend die Möglichkeit hatten, ein Online-Lehrbuch zu nutzen. Dieses Online-Lehrbuch enthielt neben dem erklärenden Text mehrere kleine Applets, mit denen die Studierenden interaktiv Übungen durchführen konnten. Die Analyse der Server-Protokolle ergab, dass alle 21 Teilnehmer im Laufe des Semesters 3235 Zugriffe auf das Online-Lehrbuch tätigten. Allerdings zeigten sich extrem große Unterschiede zwischen den Teilnehmern. Allein auf einen Teilnehmer fielen ca. 600, d.h. 19% aller Zugriffe. Zwei weitere Teilnehmer tätigten jeweils ca. 300 Zugriffe, drei Teilnehmer zwischen 100 und 200 Zugriffe und 14 Teilnehmer weniger als 100 Zugriffe im gesamten Semester. Insgesamt fielen 50% aller Zugriffe auf die ersten 40 Seiten des Lehrbuchs, das insgesamt 257 Seiten umfasste. Auf einer Seite, die vom Umfang her etwa einer knappen Buchseite eines Lehrbuchs entspricht, verblieben die Studierenden im Durchschnitt 88 Sekunden, wobei auch hier starke Unterschiede zwischen den Teilnehmern bestanden (zwischen 10 Sekunden und 140 Sekunden). Bei den Seiten des Lehrbuchs mit interaktiven Applets verweilten die Studierenden durchschnittlich ca. 3 Minuten. Auf das ganze Semester bezogen bedeutet dies, dass sich die Studierenden durchschnittlich 3,7 Stunden mit dem Online-Lehrbuch beschäftigten. Auch hier bestand eine große Varianz: Eine Person war ca. 25 Stunden im Semester eingeloggt, 2 Personen zwischen 5 und 10 Stunden und die anderen 20 Personen weniger als 2 Stunden. Diese Daten aus der Analyse von den Log-Files einer Vorlesung mit begleitenden Online-Materialien stimmen mit den oben genannten Daten aus den Fragebögen bzgl. der suboptimalen Nutzung dieser Art Materialien in sieben anderen Teilprojekten überein. Ergebnisse bzgl. des
Workshopszenarios Aus 2 Teilprojekten, in denen das Workshopszenario durchgeführt wurde, liegen von 81 Teilnehmern komplette Datensätze (Vor- und Nachfragebogendaten) vor. Auch in diesem Szenario gaben die Studierenden an, im Durchschnitt 17% ihrer Lernzeit mit dem Lernen des Online-Materials zugebracht zu haben. Dabei bearbeiteten sie durchschnittlich 75% der Materialien, also deutlich mehr als im Ergänzungsszenario. Im Workshopszenario können Merkmale des Lernprozesses (Anteil der bearbeiteten Online-Materialien, Lernzeit mit Online-Materialien) nicht von den Lernervoraussetzungen prädiziert werden. Allein die Bewertung des Lerninhalts und der Online-Materialien werden zu 16% bzw. 9% durch die intrinsische Motivation zu Beginn der Lehrveranstaltung bestimmt (r = 0,42, p < 0.001; r = 0,35, p < 0.01). Computererfahrung, die Einstellung zum computerbasierten Lernen vor Besuch der Lehrveranstaltung und die Motivation, mit Medien zu Lernen, haben keinen nennenswerten Einfluss auf die Nutzung der Online-Materialien und die Bewertung unterschiedlicher Elemente der Lehrveranstaltung. Die Protokolldaten, die in Workshopszenarien aufgezeichnet werden konnten, waren je nach verwendeter Software unterschiedlich. Den folgenden Daten liegt ein Seminar zugrunde, das mit BSCW, einer von der GMD entwickelten Software (http://bscw.gmd.de/), durchgeführt wurde. Aufgezeichnet wurde hier, welche Person welche Dateien wann erstellt hatte und welche Dateien wann von wem gelesen wurden. So konnte bei der Evaluation zwischen aktiver und passiver Partizipation (Dateien schreiben vs. Dateien lesen) unterschieden werden. Das Seminar des SS 1999 erstreckte sich über 80 Tage. Im ersten Drittel des Seminars sollten die Studiereden selbständig Aufgaben bearbeiten und im BSCW ablegen. Im zweiten Drittel sollten sie darauf aufbauend kooperativ Texte erstellen, die im dritten Drittel gemeinsam diskutiert wurden. Die Log-Files ergaben, dass sich die Studierenden im Durchschnitt alle 3,22 Tage eingeloggt hatten. Zur aktiven Partizipation: Insgesamt wurden im Laufe des Seminars 142 Objekte (d.h. Textdateien) erstellt. Diese verteilten sich auf Studierenden und Dozenten wie folgt: Die 11 Teilnehmer erstellten zusammen ca. zwei Drittel aller Objekte (2 Teilnehmer erstellten jeweils 2 Objekte, 2 jeweils 5 und die anderen 7 zwischen 9 und 14 Objekte), die beiden Dozenten das andere Drittel. Zur passiven Partizipation: Jeder Studierenden griff im Laufe des Semesters auf durchschnittlich 88 der 142 Beiträge zu (ein Student öffnete nur 37 Beiträge, ein weiterer 53, die anderen 9 öffneten zwischen 78 und 129 Beiträge). Ein weiteres Maß zur passiven Partizipation stellt die Lesesättigung dar. Sie gibt an, nach welcher Zeit ein erstellter Beitrag von 25%, 50% oder 75% aller Teilnehmer gelesen wurde. Die Analyse der Log-Files zeigte, dass ein Beitrag im Durchschnitt bereits nach einem Tag von 25% aller Teilnehmer gelesen wurde und nach 5 Tagen von der Hälfte aller Teilnehmer. Bei Beiträgen, die von mehr als 75% aller Personen gelesen wurden, wurde diese Schwelle nach ca. 9 Tagen überschritten. Dabei ließ sich kein Unterschied in der Lesesättigung in Abhängigkeit davon feststellen, ob der Beitrag von einem Studierenden oder einem Dozenten erstellt worden war. Diskussion der
Befunde Die Ergebnisse unserer Evaluationsstudie zeigten, dass die Nutzung und die Bewertung von Online-Materialien seitens der Studierenden im Ergänzungsszenario nicht nur durch die dem spezifischen Lernszenario zugrundeliegende Medienkonzeption bedingt werden, sondern auch durch individuelle Lernvoraussetzungen der Studierenden (vgl. Hasebrook, 1995; Hiltz, 1994; Kozma, 1991, u.a.). In Ergänzungsszenarien wurden die Online-Materialien und ihre Interaktionsmöglichkeiten suboptimal genutzt. Sofern diese Materialien didaktisch nicht eng an die Lehrveranstaltung angebunden sind, und die Studierenden auf diese Weise (z.B. im Rahmen spezifischer Aufgaben) aufgefordert werden, sie zu nutzen, verwenden die Studierenden diese kaum (vgl. Hiltz, 1997). In der Nutzung der Online-Materialien gab es große Unterschiede zwischen den Teilnehmern. Diese sind u.a. durch unterschiedliche individuelle Lernervoraussetzungen zu erklären, wie ihre Motivation zum Lernen mit Medien, ihre Computererfahrung und ihre Einstellung zum CVL. Auch ihre Bewertung der multimedial aufbereiteten Lehrveranstaltungen wurde durch individuelle Faktoren (spezifische Lernervoraussetzungen und Ausmaß ihrer Nutzung der Online-Materialien) bedingt. Dies deutet darauf hin, dass bei ungünstigen individuellen Lernvoraussetzungen der Teilnehmer (z.B. geringer Motivation zum Lernen mit Medien, geringer Computererfahrung, negativer Einstellung zum CVL) spezifische instruktionale Maßnahmen ergriffen werden sollten, um diese negativen Voraussetzungen zu kompensieren. Ein anderes Nutzungsbild hat das Workshopszenario aufgewiesen, bei dem Studierende nicht nur auf entwickelte Materialien zurückgreifen können, sondern bei dem die kollaborative Erstellung der Studienmaterialien ein wichtiger Bestandteil der Lehrveranstaltung ist. Durch die enge instruktionale Einbindung der Materialien, deren Bearbeitung verpflichtend ist, kommen hier die Lernvoraussetzungen der Studierenden weniger stark zum Tragen. In diesem Szenario partizipierten fast alle Teilnehmer sowohl aktiv (durch die Erstellung von Textdateien oder Diskussionsbeiträgen) als auch passiv (durch das Lesen der von anderen Studierenden erstellten Beiträge). Zwar bestehen auch hier in der Nutzung der Materialien Unterschiede zwischen Studierenden, dennoch ist die Aktivität der Studierenden wesentlich homogener über die Gesamtgruppe verteilt und der Gesamtanteil der Aktivität der Studierenden liegt deutlich höher. Literatur Döring, N. (1997). Das WWW im Unterricht. Organisatorischer Rahmen, didaktische Grundlagen und praktische Beispiele. In D. Janetzko, B. Batinic, D. Schoder, M. Mattingley-Scott & G. Strube (Hrsg.). CAW-97. Beiträge zum Workshop „Cognition and Web“. IIG-Berichte 1/97. Freiburg. Elektronische Version. Hasebrook, J.P. (1995). Lernen mit Multimedia. Zeitschrift für Pädagogische Psychologie, 9 (2), 95-103. Hesse, F.W. & Schwan, S. (im Druck). Internet-Based Teleteaching. In W. Krank, J.F. Leonhard, H.W. Ludwig & E. Straßner (Eds.), Media: Technology, History, Communication, Aesthetics. An International Handbook of International Research. Handbook of Linguistics and Communication Science. Berlin: de Gruyter. Hiltz, S.R. (1994). The virtual classroom. Learning without limits via computer networks. Norwood, NJ: Ablex Publishing
Corporation. Hiltz, S.R. (1997). Impacts of college-level courses via
Asynchronous Learning Networks: Some Preliminary Results. Journal of Asynchronous Learning Networks, 1 (2). Electronic
version. Kozma, R.B. (1991). Learning with Media. Review of Educational Research, 61 (2),
179-211. Lawless, K.A. & Brown, S.W. (1997).
Multimedia learning environments: Issues of learner control and navigation. Instructional Science, 25, 117-131. Marchionini, G. (1990). Evaluating Hypermedia-Based Learning. In D.H. Jonassen & H. Mandl (Eds.), Designing Hypermedia for Learning. Berlin, Heidelberg: Springer Verlag. Rieber, L.P. (1991). Animation, Incidental Learning, and
Continuing Motivation. Journal of
Educational Psychology, 83 (3), 318-328. Tissue, B.M., Earp, R.L. & Yip, C.-W. (1996). Design and Student Use of World Wide Web-Based Prelab Exercises. The Chemical Educator, 1 (1). Electronic version. Weidenmann, B. (1995). Multicodierung und Multimodalität im Lernprozess. In L.J. Issing & P. Klimsa (Hrsg.) Information und Lernen mit Multimedia [S. 65-84]. Weinheim: Psychologie Verlags Union.
Deutschmann, Marc
; Institution: FB1 – Soziologie , Gerhard-Mercator-Universität Duisburg
Diemers, Daniel
; Institution: Institute for Sociology, University of St. Gallen
Duda, Sabrina
; Schießl, Michael ; Hess, Jan Michael; Institution: eye square, Berlin
Eichstaedt, Jan
; Institution: Universität der Bundeswehr, Hamburg
Wouldn’t it be great? Early on Friday morning, you, a researcher, interested in reaction times, have a bright idea for a very telling experiment on latencies. As the idea might really be insightful, you want to know the outcome immediately. So you modify a JAVAapplet of the experiment's prior version to incorporate your new idea. It only takes you another half an hour to write down the short instruction in HTML and add an applet tag. Then you switch back to very old and puzzling data on verbal reports. After a nice day with qualitative data, your quantitative collection of the latencies is complete. The deviations look good. The differences in average latencies fit your hypotheses and the effect is huge and, of course, highly significant. Have a nice weekend! Unfortunately so far, this is only a fairy tale, because of the inaccuracy of latencies measured with applets. It is much more probable that the latencies actually measured by the applet are so inaccurate that everything looks like a mess. There are quite a few studies using Internet technique on measures other than latencies (e.g. Janetzko, Hildebrandt, & Meyer, 1999; Klauer, Musch, & Naumer, 2000; Krantz, Ballard, & Scher, 1997; Reips, 1996; 2000; Welch & Krantz, 1996). To measure latencies, JAVAapplets are a step in the right direction, because they run on client side and therefore no net lag can obscure latencies. At first glance this enables us to measure social-cognition-based measures like implicit product attitudes by the implicit association test (IAT; Greenwald, McGhee, & Schwartz, 1998), which is based on latency measurement. The IAT would be of great virtue for online marketing research. Participants of an IAT categorize stimuli of two different categories or domains, each in two subcategories, using only two response keys. Because one of the categories consists of positive or negative adjectives and the other consists of the attitude objects, subcategory memberships can correspond to an evaluative dimension. If they are compatible, categorizing will be fast. However, if they are incompatible, categorizing will be slow and the latency difference between compatible and incompatible condition will yield a compatibility effect. This compatibility effect is used to indirectly measure the participant's attitude. Some researchers hope that implicit attitudes measured by the IAT will have higher prognostic validity than classical explicit attitude measures in the field of marketing research (Plessner, Richter, & Wänke, 2000; Brunel, Collins, Greenwald, and Tietje, 1999; Maison, Greenwald, & Bruin, in press). In the domains of prejudice (Greenwald, McGhee, & Schwartz, 1998), self-esteem (Greewald & Farnham, 2000) or gender stereotypes (Nosek, Banaij, & Greenwald, 2000) the IAT has yielded promising results. Kim and Greenwald (1998) as well as Banse, Seise, and Zerbes (2001) provide evidence that participants of the IAT are not able to intentionally fake the measure. Thus, measuring consumer attitudes by the IAT would reveal the real attitude, even if the consumer couldn't verbally report on it or refused to do so. However, in most of the cited studies, strong valences of the attitude objects have been involved. Consumer attitudes may be much weaker and therefore the compatibility effect may be much smaller, too. So the inaccuracy of latencies measured by JAVAapplets may hinder the realization of this compelling chance for marketing research in the Internet. Chiefly, the inaccurate-timing problem lies in the ability of modern operating systems to do multi tasking. It might be possible that an implementation, which is accurate under normal conditions, becomes inaccurate when, for example, the mail client (running in addition to the web-browser and the virtual machine) begins to download an attachment. Or the browser, while displaying the experiment-program, may simultaneously request another page. The processor may become overloaded, if that second page contains elements which take up a lot of resources, like an animated GIF, another JAVAapplet etc. Since such activity cannot be controlled, applets which implement experiments on the Internet must be able to prevent the impairment of the measures which is provoked by such multi tasking. One way is to check whether the client system's performance is high enough. After successfully passing this test, latencies are recorded without further checking. Hecht, Oesker, Kaiser, Civelek, and Stecker (1999) have used this approach, although new sources of interference may arise later in the procedure. An ongoing check is desirable, but such checks consume valuable CPU-time and therefore may interfere with time-critical processes. However, Janetzko, Hildebrandt, and Meyer (1999; Hildebrandt, Meyer, & Janetzko, 1998) tested each measurement, even at later stages of the experiment. The inaccurate-timing filter identifies impaired measurements by testing whether the virtual machine makes false measurements of a sleep interval of, let's say, 50 ms. In order to initiate the sleep interval, the sleep(d) method is issued on the control thread, which suspends it for the specified duration d. Consequently, it takes up virtually no processing power. Nevertheless, the virtual machine measures, by a specialized method, whether the duration d is exceeded. Additionally, the filter records start time and end time of the sleep interval by another method. If everything functions well, end time minus start time has to be 50 ms. If something interferes, one of the two software clocks ought to be more affected than the other. This in turn leads to inconsistencies in the measurement of the sleep interval, which the filter detects. The control thread runs in parallel to the normal business of recording the latencies and testing whether the latency measurement is correct. Compared to Janetzko's et al. parallel evaluation of the system's capacity, the filter tests the system's ability to measure time intervals directly, rather than drawing on the system's global performance. So only the measurement of the sleep interval is iterated again and again until the latency is recorded. As the control thread measures nothing other than sleep intervals, it is designed to take up very little processing power, in order to avoid interference with the latencies' measurement. Measurements of the sleep interval that the control thread identifies as false are ruled out, thus preventing corruption of the reaction time’s statistics. However, the filter is not perfect and can never correct a false measurement. The implemented applet runs on all computer systems with full support of JDK 1.1 (Sun Microsystems, 1997). No additional permission by the client is required. To summarize, the approach is to give the virtual machine a chance to yield false time measurements by running two different software clocks at the same time. The inaccurate-timing filter was evaluated in three studies (Eichstaedt, in press) using 11 different client systems. The keystroke repetition rate was used as an external input of latencies at a reliable and known rate. The first study showed a much higher precision of native programs on computers in the laboratory compared to JAVAapplet-based measurement, even without any impairment by multi tasking. However, when using the inaccurate-timing filter, standard deviation of the latencies became substantially reduced compared to JAVAapplets without the filter. Nevertheless, native programs remained much more reliable than JAVAapplets, even when equipped with the filter. Thus, when possible, the laboratory is the better choice. But what, if there is no way round the Internet? The second study investigated what could happen in the worst case. The applet was running while calling additional web pages or running further applications in parallel. Errors in measuring reaction time were very much increased when the computer system ran additional processes. However, the filter diminished the standard deviation of the reaction time drastically by ruling out false measurements in all but one computer system. In order to test whether the filter would help to find differences in arithmetic means of latencies which would otherwise be missed, the third study compared different keystroke repetition rates. Without filter, the different keystroke repetition rates were more difficult to identify than with filter. The decline in standard deviation showed up again, when using the filter compared to not using it. On the other hand, this had a price, as the number of accepted measurements diminished greatly. Thus, the inaccurate-timing filter might enable applets to be used as the basis for latency measurement experiments with an accuracy previously not met by applets. On the other hand, differences in keystroke repetitions do not provide a good example with which real effects in the cognitive domain can be compared. This is due to the minimal variance of the keystroke differences' underlying process, which is of electronic rather than psychological origin. Therefore using a more relevant effect is desirable. The best candidate may be the compatibility effect obtained by the IAT, because it would demonstrate the inaccurate-timing filter's performance in a straight experiment which, nevertheless, allows us to use the filter in the field of consumer attitudes. Experiment 1 Greenwald's et al. (1998) first experiment was repeated. So the question remains the same. Would the IAT validely reveal attitudes for objects of intersubjectively obvious valences? Compared to Greenwald's et al procedure, the extension is to provide two classes of attitude objects marking two grades of valences. So the valence extremity was varied as one factor in the design to yield attitudes of two extremities, which were supposed to be reflected in the IAT-measure. If this is the result, it provides evidence that the IAT may be capable of reflecting attitude extremity (Abelson, 1995; Downing, Judd, & Brauer, 1992; Tesser & Mendolia, 1995). More important for the technical purpose of this paper, the lower attitude extremity of the two should show its compatibility effect only with the help of the inaccurate-timing filter. Therefore corresponding planned comparisons were calculated. Procedure. A Web-experiment was conducted by means of a JAVAapplet which applied the inaccurate-timing filter. The client computers were brought in the study by the participants. Also the potential interference of additional programs running in multi tasking was not controllable. In two successive IATs the participants had to distinguish pictures of spiders from pictures of butterflies in the category insects and smiling faces from angry faces in the category faces. A fixed RSI of 1000 ms was used. In the first step of the IAT-procedure each participant had to categorize the attitude objects into the two subcategories. This was done in two blocks, each containing 50 trials (category decisions). In the second step participants had to decide whether an adjective was positive or negative. In the third block both tasks, categorization and adjective-decision, followed in alternating succession in four blocks. The fourth step reversed the association of the subcategories to the answering keys in one block. The fifth step mirrored the third and used the key association of the fourth step for the categorization of the attitude objects. Then a second IAT-procedure followed, using the second category which omitted the obsolete second step (see Greenwald et al., 1998, Exp. 1, for details). 20 students of the University of the Federal Armed Forces Hamburg participated and got credit points for it. Results. For sake of brevity, only the compatibility and the category effects are reported. Both main effects are highly significant with means in the predicted directions (fig. 1), supporting the hypotheses.
However, only the planned comparison within the more extreme faces-category is significant. The less extreme insect category did not yield a significant compatibility effect (F(1,19)=4.279, p < .10). This changed when the inaccurate-timing filter was applied which allowed for significance (see fig. 1) also with insects as attitude objects. The difference in this category is only 40 ms., but the inaccurate-timing filter reveals this difference to be small but reliable. Experiment 2 Are product attitudes accessible with the same validity as those obvious object attitudes of Experiment 1? One product was chosen. In the standard version the IAT can only measure the attitude difference of two subcategories in comparison. This is a disadvantage, since explicit measures all are capable of measuring absolute attitudes of single objects. Procedure. In order to measure the product attitude of only one product pictures of the product were taken before and after use of this product. Specifically, a box of After Eight chocolates was photographed in an enticing manner with all those fine chocolate mints included and displayed (new After Eight) and, as a counter part, the leftovers of the packaging with not quite so enticing chocolate mint fragments were pictured (used After Eight). Obviously, attitudes should be more positive for new After Eight than for used After Eight. The material was run in an IAT with 10 students participating. Results. There was a main effect compatibility (F(1,9)=12.376; p< .01) with 655 ms in the compatible condition and 755 ms in the incompatible condition, substantiating that Greenwald's et al. results are replicable with a product attitude, too, thereby revealing an attitude for a single attitude object. Without the inaccurate-timing filter the compatibility effect missed the standard significance criterion (F(1,9)= 4.405575; p= .065). Discussion As regards technique, the inaccurate-timing filter did its job well enough to find existing effects which otherwise would have been missed. This enables us to apply the IAT in the field of online marketing research. As regards content, the results of Experiment 1 provide evidence that the IAT may be capable of depicting attitude extremity. Experiment 2's results show that product attitudes for a single product also are accessible. It would be interesting to compare the new/used-approach taken here with the go-nogo method of (Nosek & Banaji, submitted), which also allows us to measure attitudes for single objects. Measuring absolute attitudes seems to be inevitable in the realm of marketing research, because comparison of more than two products is necessary. So we have a context-free measurement of product attitudes. While the inaccurate-timing filter was applied to the IAT-procedure, it can also be useful in all application where latency effects are not expected to be huge but where, at the same time, the internet must be used. References Abelson, R.P. (1995). Attitude extremity. In: R.E. Petty & J.A. Krosnick (Eds). Attitude strength: Antecedents and consequences. Ohio State University series on attitudes and persuasion, Vol. 4. (pp. 25-41). Hillsdale, NJ: Lawrence Erlbaum Associates. Banse, R., Seise, J., & Zerbes, N. (2001). Implicit attitudes towards homosexuality: Reliability, validity, and controllability of the IAT. Zeitschrift für Experimentelle Psychologie, 48, 145-160. Brunel, F.F., Collins, C.M., Greenwald, A.G. & Tietje, B.C. (1999, October). Making the private public, accessing the inaccessible: Marketing applications of the Implicit Association Test. Paper presented at meetings of the Association for Consumer Research, Columbus, Ohio. Downing, J.W., Judd, C.M., & Brauer, M. (1992). Effects of repeated expressions on attitude extremity. Journal of Personality and Social Psychology, 63, 17-29. Eichstaedt, J. (in press). An inaccurate-timing filter for reaction-time measurement by JAVA-applets implementing Internet-based experiments. Behavior Research Methods, Instruments, & Computers, 33. Greenwald, A.G., McGhee, D.E. & Schwartz, J.L.K. (1998). Measuring individual differences in implicit Cognition: The implicit association test. Journal of Personality and Social Psychology, 74, 1464-1480. Greenwald, A.G. & Farmham, S.D. (2000). Using the Implicit Association Test to measure self-esteem and self-concept. Journal of Personality and Social Psychology, 79, 1002-1038. Hecht, H., Oesker, M., Kaiser, A., Civilek, H., & Stecker, T. (1999). A perception experiment with time-critical graphics animation on the word-wide web. Behavior Research Methods, Instruments, & Computers, 31, 439-445. Hildebrandt, M., Meyer, H. & Janetzko, D. (1998, October). JAVA-basierte Versuchsdurchführung: Potentiale und Probleme am Beispiel von Reaktionszeitexperimenten. [JAVA-based conducting of experiments: Potentials and problems shown by the example of reaction time experiments]. Paper read at German Online Research (28.-29. 10.), Mannheim. Janetzko, D., Hildebrandt, M., & Meyer, H. (1999, March). JAVA-basierte Versuchsdurchführung im WWW: Potentiale und Probleme am Beispiel von Reaktionszeiten. [JAVA-based experimenting in the WWW: Potentials and problems shown by the example of reaction times]. Abstract in: E. Schröger, A. Mecklinger, & A. Widmann (Eds.). Experimentelle Psychologie: 41. Tagung experimentell arbeitender Psychologen. Lengerich: Pabst. Kim, D.-Y. & Greenwald, A.G. (1998, May). Voluntary controllability of implicit cognition: can implicit attitudes be faked? Paper presented at meetings of the Midwestern Psychological Association, Chicago. Klauer, K.C., Musch, J. & Naumer, B. (2000). On belief bias in syllogistic reasoning. Psychological Review, 107, 852-884. Krantz, J.H., Ballard, J., & Scher, J. (1997). Comparing the results of laboratory and Word-Wide Web samples on the determinants of female attractiveness. Behavior Research Methods, Instruments, & Computers, 29, 264-269. Maison, D., Geenwald, A.G., & Bruin, R. (in press). The Implicit Association Test as a measure of implicit consumer attitudes. Polish Psychological Bulletin. Plessner, H., Richter, L. & Wänke, M. (2000, September). Implizite Einstellungen als Prädiktoren von Konsumverhalten: Anwendungen des Implicit Association Test. Vortrag auf dem 41. Kongreß der Deutschen Gesellschaft für Psychologie in Jena. Nosek, B. & Banaji, M.R. (submitted). The go/no-go association task. Manuscript submitted for publication. Yale University, New Haven, CT. Nosek, B., Banaji, M.R., & Greenwald, A.G. (2000). Math = Male, Me = Female, therefore Math ¹ Me. Manuscript submitted for publication. Yale University, New Haven, CT. Reips, U.-D. (1996, October). Experimenting in the World-Wide Web. Paper presented at the 1996 Society for Computers in Psychology conference, Chicago. Reips, U.-D. (2000). The Web Experiment Method: Advantages, Disadvantages, and Solutions. In M. H. Birnbaum (Ed.), Psychological Experiments on the Internet (pp. 89-114). San Diego, CA: Academic Press. Sun Microsystems (1997). JAVA development kit version 1.1. Available: http://java.sun.com/products/jdk/1.1/index.html. Tesser, A. M. L. & Mendolia, M. (1995). The impact of thought on attitude extremity and attitude-behavior consistency. In: R.E. Petty & J.A. Krosnick (Eds). Attitude strength: Antecedents and consequences. Ohio State University series on attitudes and persuasion, Vol. 4. (pp. 25-41). Hillsdale, NJ: Lawrence Erlbaum Associates. Welch, N. & Krantz, J.H. (1996). The World-Wide Web as a medium for psychoacoustical demonstrations and experiments: Experience and results. Behavior Research Methods, Instruments, & Computers, 28, 192-196.
Frick, Andrea
; Krist, Horst ; Huber, Susanne; Reips, Ulf-Dietrich ; Institution: Psychologisches Institut, Universität Zürich
Gadeib, Andera
; Institution: Dialego Online Market Research GmbH, Aachen
Geißler, Holger
; Müller-Peters, Horst Institution: psychonomics AG, Köln
Göritz, Anja S.
; Institution: Lehrstuhl für Wirtschafts- und Sozialpsychologie, Friedrich-Alexander-Universität Erlangen-Nürnberg
Gräf, Lorenz
; Institution: Globalpark GmbH, Hürth
Größler, Andreas
; Wilhelm, Oliver ; Institution: Department of Psychology, Georgia Institute of Technology, Atlanta
Hahn, André
; Jerusalem, Matthias Institution: Pixelpark AG, Berlin
Heidingsfelder, Martin
; Bamert, Thomas Institution: Rogator AG, Nürnberg
Heinicke, Anett
; Schumacher Jörg Institution: Institut für Angewandte Psychologie, Klinische und Gesundheitspsychologie, Universität Leipzig
Hemsing, Werner
; Institution: Globalpark GmbH, Hürth
Methodenvergleich unter Einsatz von Macromedia-FLASH-Technologie.
|
