|
|
|
|
GOR 2001 Homepage
Indices
Management - Staff only
|
GOR 2001 - contentThis is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/contrib/silberer-guenter/contrib/noller-stephan-poster/noller-stephan-poster Document. Main Author: Noller, Stephan Co-Authors: ; Institution: humanIT GmbH, St Augustin Contribution Title: Navigation in komplexen Hypertextsystemen – ein Webexperiment mit unterschiedlichen Visualisierungstools. Authors Email: stephan.noller@uni-koeln.de URLs:
Abstract German (version: 25/06/2002 - 07:47, size: 2190) German: Im einem Webexperiment sollte der Nutzen zusätzlicher Visualisierungstechniken bei der Navigation in einer komplexen Website untersucht werden. Als Untersuchungsmaterial wurde die Website des deutschen Bundestages herangezogen und für die Untersuchung so aufbereitet, daß schließlich ein Hypertext mit 3474 Seiten zur Verfügung stand. Die 185 Versuchspersonen sollten nach einer kurzen Einführungsphase 6 Aufgaben zum Inhalt der Site lösen. Es wurden 3 Bedingungen realisiert, wobei die Versuchspersonen randomisiert einer Bedingung zugewiesen wurden. Neben der nahezu unveränderten Site des Bundestages (Kontrollbedingung) wurde die Site in einem Fall in einem zusätzlichen Fenster durch ein hierarchisches Inhaltsverzeichnis dargestellt (dargestellt mit WebToc), dessen Einträge durchsucht werden konnten. In der zweiten Bildschirmhälfte wurden die Startseite bzw. die jeweils im Inhaltsverzeichnis angewählten Knoten angezeigt. Im anderen Fall wurde die Darstellung der Website vollständig durch das Visualisierungstool &#quot;Hyperbolic-Tree&#quot; ersetzt, wobei mit Hilfe von fisheye-Technik und speziellen Verzerrungen gleichzeitig alle Knoten am Bildschirm sichtbar waren; zusätzlich konnte in interessierende Bereiche &#quot;hineingezoomt&#quot; werden. Im Anschluß an die Fragenbearbeitung wurde räumliches Vorstellungsvermögen (&#quot;spatial ability&#quot;) als Kovariate erhoben sowie ein Fragebogen zur Usability vorgegeben. Entgegen den Erwartungen erwies sich die aufwändige Visualisierung durch den Hyperbolic-Tree als nicht vorteilhaft, und zwar sowohl hinsichtlich objektiver Maße (Lösungsgüte und Bearbeitungszeit) als auch in der Usability-Beurteilung; zudem ergab sich ein selektiver Dropout (in der Bedingung &#quot;Hyperbolic-Tree&#quot; war der Dropout am höchsten). Diese Befunde werden im Hinblick auf die Forschung zu Visualisierungstechniken und methodischen Problemen der Online-Forschung diskutiert. Zusätzlich werden praktische Hinweise zur Verbesserung der Navigationsmöglichkeiten in komplexen Websites abgeleitet. Article (version: 25/06/2002 - 07:47, size: 24608) Navigation in komplexen Hypertextsystemen Ein Navigationsexperiment zur Informationssuche im World-Wide Web Stephan Noller humanIT +49 2241 92926 44 noller@humanit.com ABSTRACT In einem Webexperiment wurde der Nutzen zusätzlicher Visualisierungstechniken bei der Navigation in einer komplexen Website untersucht. Drei Bedingungen wurden realisiert: Neben der unveränderten Site des deutschen Bundestages wurde die Site in einem Fall in einem zusätzlichen Fenster durch ein hierarchisches Inhaltsverzeichnis dargestellt. Im anderen Fall wurde die Darstellung der Website vollständig durch das Visualisierungstool Hyperbolic-Tree ersetzt, wobei mit Hilfe von fisheye-Technik und speziellen Verzerrungen gleichzeitig alle Knoten am Bildschirm sichtbar waren. Zusätzlich konnte in interessierende Bereiche hineingezoomt werden. Im Rahmen des Experiments sollten Fragen zur Website beantwortet werden. Zusätzlich wurden spatial ability und ein Usability-Rating erhoben. 185 Versuchspersonen nahmen am Webexperiment teil. Entgegen den Erwartungen erwies sich die aufwändige Visualisierung durch den Hyperbolic-Tree als nicht vorteilhaft, und zwar sowohl hinsichtlich objektiver Maße (Lösungsgüte und Bearbeitungszeit) als auch in der Usability-Beurteilung; zudem ergab sich ein selektiver Dropout, ebenfalls zuungunsten des Hyperbolic Tree. Einleitung Die Visualisierung umfangreicher Datenmengen ist eines der Grundprobleme der HCI. Im Laufe der Zeit wurden zahlreiche Programme und Tools entwickelt, die jeweils helfen sollen, Navigation und Retrieval in umfangreichen information landscapes zu verbessern. Dabei kommt den Ansätzen, die mit fisheye-Technik versuchen möglichst viel Informationen bei Erhaltung der Kontextinformationen auf den Bildschirm zu bekommen besondere Bedeutung zu. Mit der vorliegenden Studie soll vor diesem Hintergrund die klassische Frage des vielzitierten CHI97-Browse-Off nochmals aufgegriffen werden, indem direkt im Web anhand einer realen Website zwei Tools gegeneinander antreten sollen, die in vielfacher Hinsicht einen unterschiedlichen Ansatz bei der Visualsierung realisieren: WebToc (Nation, 1998) und Hyperbolic Tree (Inxight; Lamping, Rao & Pirolli, 1995). Die Untersuchung Vorgehen Die Studie erfolgte als unbeaufsichtigtes Online-Experiment im WWW. Nachdem die Versuchspersonen auf der Startseite kurz über den Kontext der Untersuchung und deren Ziele aufgeklärt wurden, erfolgte die randomisierte Zuweisung zu einer der Navigationsbedingungen, ohne Hilfe, WebToc oder Hyperbolic-Tree. Dann folgte über zwei weitere Seiten eine Einführung in das Experiment und ein kurzes Tutorial zur Bedienung des jeweiligen Tools (nur in den Bedingungen WebToc und Hyperbolic-Tree). Nach dieser Eingangsphase wurde die WebSite des Deutschen Bundestages im Fullscreenmodus präsentiert und die erste Frage in einem separaten Bereich eingeblendet. Nach Beantwortung dieser Fragen wurden zusätzliche Aufgaben zur Erhebung der spatial ability, ein Usability-Fragebogen (CSUQ; Lewis 1995) und einige weitere Fragen zum Experiment sowie zur Person zur Beantwortung angeboten. Zum Abschluß der Untersuchung bestand die Möglichkeit einer offenen Rückmeldung und es wurde eine individuelle Ergebnisrückmeldung präsentiert.
An der Untersuchung nahmen innerhalb eines Monates 414 Personen teil, wovon 229 zu einem frühen Zeitpunkt die Teilnahme abbrachen. Es resultierten infolgedessen 185 Datensätze, die in die Analysen einbezogen werden konnten. Da für die Abbrecher ebenfalls eine Reihe von Kenndaten vorlagen, konnten diese einer separaten Analyse unterzogen werden. Die Zusammensetzung der Stichprobe war hinsichtlich des Geschlechter-Verhältnisses vergleichbar mit aktuellen größeren Untersuchungen zur Zusammensetzung der Population der Internetuser im deutschsprachigen Raum (Table 1). Im Durchschnitt gaben die Teilnehmer an, das Internet seit 4.5 Jahren und mit einem Zeitaufwand von 12.8 Stunden pro Woche zu nutzen, was auf eine Stichprobe mit überdurschnittlich hoher Internet-Expertise hindeutet. Table 1: Soziodemographische Kennwerte der Stichprobe im Vergleich mit anderen Studien
Material Das Experiment wurde mit einer Kopie der Website des Deutschen Bundestages durchgeführt. Da Hyperbolic Tree mit der Darstellung der ursprünglichen ca. 13000 Seiten technische Probleme verursachte, wurde die Site so bearbeitet, daß schließlich nur noch 3474 einzelne html-Dateien darzustellen waren. In der Control-Bedingung wurde die Site ohne weitere Änderungen präsentiert, in den beiden Tool-Bedingungen den Anforderungen des Tools entsprechend (s.u.). <Die eingesetzten Visualisierungstools WebToc
WebToc wurde 1997 von David Nation an der Universität Maryland entwickelt (Nation, 1998; Nation, Plaisant, Marchionini & Komlodi, 1997). Das Programm stellt den Inhalt der zugrundeliegenden WebSite in der Form eines hierarchischen Inhaltsverzeichnisses dar, dessen Kategorien auf- und zugeklappt werden können. Als zusätzliche Funktionen kann dieses Inhaltsverzeichnis recherchiert werden, und weitere Informationen über die Anzahl von Dateien in einem Unterverzeichnis (=einer Kategorie) und deren Größe werden mit farbigen Balken angezeigt (vgl. Abbildung 3). Die Grundlage dieser Darstellung ist die Dateistruktur der Dateien auf dem Webserver, die über ein mitgeliefertes Java-Programm analysiert und in entsprechender Form abgespeichert wird. In der Implementation des Programmes wird in der Regel eine Aufteilung des Bildschirms in ein kleineres linkes Fenster, welches "WebToc" enthält und ein größeres rechtes Fenster, in welchem die jeweiligen Seiten der Web-Site dargestellt werden, realisiert (so auch in dieser Untersuchung). Hyperbolic Tree Der Hyperbolic-Tree-Browser wurde in den Xerox-Forschungslaboratorien entwickelt und erstmals 1995 der Öffentlichkeit vorgestellt (Lamping & Rao, 1996; Lamping, Rao & Pirolli, 1995). Das Programm versucht das Problem von Fokus und Kontext bei großen Mengen (hierarchischer) Informationen zu lösen, indem die im Fokus liegenden Objekte (oder Knoten) zentral, gleichzeitig aber alle anderen vorhandenen Informationen und deren Vernetzungsstruktur dargestellt werden. Dies wird durch eine zunehmende visuelle Kompression der entfernt liegenden Knoten erreicht - ein Prinzip das erstmals von Furnas (1986) als "fisheye-view" beschrieben wurde. Theoretisch liegt dieser Art der Darstellung komplexer Hierarchien ein Abkehr von Prinzipien der Euklidischen Geometrie zugunsten der hyperbolischen Geometrie zugrunde (vgl. Lamping, Rao & Pirolli, 1995). 
Der Fokus kann dabei einfach per Mausklick auf das interessierende Objekt geändert werden. In diesem Fall wird der Wechsel in die neue Konfiguration mit einem animierten Übergang dargestellt, um das Phänomen des Orientierungsverlusts zu vermeiden ("animated transition between different views of a structure can maintain object constancy an help the user assimilate the changes across views", a.o., S. 8). Als weitere Maßnahme gegen dieses Phänomen wurden spezielle Mechanismen in den Darstellungsalgorhithmus eingebaut, die ein übermäßiges Rotieren von Objekten während eines Fokuswechsels verhindern sollen. Theoretisch können mit dieser Art der Darstellung eine ganze Reihe zuvor besprochener Probleme in der Visualisierung umfangreicher Informationsmengen gelöst werden. Bezüglich der Probleme, die im Zusammenhang mit dem Design von Menüsystemen bekannt sind, löst der Hyperbolic-Tree-Browser das Problem einer möglichst breiten Menüstruktur durch die Verzerrung von Menüeinträgen an den Rändern. So werden immer alle "Menüeinträge" (bzw. Knoten) einer Ebene angezeigt - wenn sie im Focus sind auch lesbar, ansonsten gestaucht. Desweiteren stellt das Programm eine Synthese aus einem Direct-Manipulation-System und einem Menüsystem dar. In einer aktuellen Evaluationsstudie (Pirolli, Card & van der Wege, 2000), die den Einfluß der Navigationsbedingung (Hyperbolic-Tree vs. Microsoft-Dateimanager) bei verschiedenen Suchaufgaben untersuchte, kamen die Autoren zu dem Schluß, der Hyperbolic-Tree sei einem vergleichbaren Visualisierungswerkzeug ohne fisheye-Technik bei der Beantwortung von Retrieval-Fragen überlegen (in Bezug auf die Bearbeitungszeit). Nähere Diskussion dieser Ergebnisse im Zusammenhang mit der vorliegenden Untersuchung soll in 7. erfolgen.
Fragedimensionen Um verschiedene Task-Bedingungen zu realisieren wurden zwei unterschiedliche Fragetypen eingesetzt: einfache Retrieval-Fragen und komplexere Strukturfragen. Im Falle der Strukturfragen waren zur Beantwortung neben Retrieval-Komponenten Vergleichprozesse unter Berücksichtigung von Strukturelementen der Site nötig, um die Fragen beantworten zu können. Unsere Vermutung diesbezüglich war, daß die Versuchspersonen bei der Beantwortung derartiger Fragen noch mehr von den Visualisierungstechniken profitieren würden, als bei den Retrieval-Tasks. Zu jeder Fragedimension wurden drei Fragen entwickelt und in abwechselnder Reihenfolge dargeboten. Ergebnisse Bearbeitungsgeschwindigkeit und Anzahl richtiger Lösungen Die Aufteilung der Suchfragen auf die beiden Dimensionen Retrieval vs. Struktur konnte mit konfirmatorischen Faktorenanalysen bestätigt werden. Wie aus Abb. 3 ersichtlich ist, sind die erwarteten Schwierigkeitsunterschiede für die beiden Fragetypen in allen drei Bedingungen konsistent aufgetreten. Bei den folgenden Analysen wurde für die Beantwortung der Suchaufgaben jeweils die Werte für spatial ability, Internet-Usage und thematisches Vorwissen als Kovariaten hinzugezogen. Da im nachgeschalteten Test für spatial ability einige Versuchspersonen abbrachen, reduziert sich die Anzahl der zu analysierenden Datensätze nochmals (genauere Angaben s.u.). Ergebnisse für die Kovariaten werden nur genannt, wenn sie signifikant sind. Die auffälligsten Effekte zeigen sich im Hinblick auf Anzahl richtiger Aufgaben für Retrieval-Fragen (MControl=2.50, SD=.64; MWT=2.79, SD=.41; MHT=2.15, SD=1.01) – hier scheiden die Nutzer des Hyperbolic Tree deutlich schlechter ab, F(2,146)=8.45; p<.01, h 2=.11. Post-Hoc-Vergleiche mit dem Bonferonni-Test zeigen einen signifikanten Unterschied zwischen WebToc und Hyperbolic Tree, nicht jedoch zwischen der Control-Bedingung und den Treatment-Bedingungen. Die Kovariate "spatial ability" hat ebenfalls einen signifikanten Einfluß, F(1,146)=5.19; p<.03,. h 2=.04. Anders verhält es sich für Struktur-Fragen, wenngleich deskriptiv ein ähnlicher Effekt zu beobachten ist (MControl=1.88, SD=1.13; MWT=1.96, SD=.89; MHT=1.85, SD=1.21), denn der Mittelwertsunterschied ist nicht signifikant. Allerdings zeigt hier die Kovariate "spatial ability" einen signifikanten Einfluß, F(1,152)=14.43, p<.01, h 2=.09.
Abb. 3: Anzahl richtiger Aufgaben Betrachtet man die Ergebnisse für Bearbeitungsgeschwindigkeit, so ergibt sich ein ähnliches Bild. Auch hier kann ein signifikanter Mittelwertsunterschied für Retrieval-Fragen festgestellt werden (MControl=230sec., SD=125; MWT=205sec., SD=87; MHT=402sec., SD=147), F(2,147)=20.83; p<.01, h 2=.23. Im Post-Hoc Bonferonni-Test zeigt sich zudem, daß dieser Unterschied sowohl für den Vergleich von Hyperbolic Tree und WebToc, aber auch für das Verhältnis von Hyperbolic-Tree zur Control-Bedingung signifikant ist. Bringt man dieses Ergebnis mit dem vorab zitierten zusammen (vgl. Abb. 2), wird auch deutlich, daß kein speed-correctness-tradeoff zu beobachten ist. Die Mittelwerte der Bearbeitungsgeschwindigkeit für Struktur-Fragen (MControl=335sec., SD=195; MWT=328sec., SD=149; MHT=373sec., SD=163) unterscheiden sich nicht signifikant.
Abb. 4: Bearbeitungsgeschwindigkeit Usability-Ratings Die von Lewis (1995) berichtete dreifaktorielle Struktur des Usability-Fragebogens konnte mit einer konfirmatorischen Faktorenanalyse gesichert werden (c 2(40, 177)=144.73; p<.01; sRMR=.048; GFI .86; NFI .91), obwohl von den ursprünglichen 19 Items nur 11 verwendet in einer deutschen Übersetzung verwendet wurden. Die Navigationsbedingungen wurden wie folgt bewertet: Hyperbolic Tree erhielt für alle drei Dimensionen die niedrigsten Werte, die Mittelwertsunterschiede für System-Usability (MControl=3.46, SD=1.53; MWT=3,25, SD=1,49; MHT=2,46, SD=1,68) und Information-Quality (MControl=3.47, SD=1.51; MWT=3,21, SD=1,48; MHT=2,48, SD=1,88) unterscheiden sich signifikant, FSysuse(2,155)=4.53; p<.02, FInfoqual(2,155)=4.22; p<.02. Der Faktor Interface-Quality zeigt deskriptiv etwas schwächer den gleichen Trend, der Unterschied ist in diesem Fall allerdings nicht signifikant.
Abb. 5: Usability Zusätzlich zu den Items des Lewis-Instruments wurde mit einer weiteren Frage die Einschätzung des subjektiv empfundenen Schwierigkeitsgrades erhoben. Auch für dieses Item ergab sich ein signifikanter Mittelwertsunterschied zuungunsten des Hyperbolic Tree, F(2, 176)=3.93; p<.03. Dropout-Analyse Der hohe Dropout in dieser Untersuchung (55,3%) weist auf das generelle Problem selbstselegierender Stichproben in Online-Untersuchung hin, insbesondere auch deshalb, da eine genauere Analyse der Dropout-Fälle einen deutlichen Bias zuungunsten des Hyperbolic-Tree in diesen Fällen zeigt. Zwar konnte die Homogenität der verbleibenden asymmetrischen Stichproben hinsichtlich der erfassten Kennwerte gesichert werden, aber das Phänomen an sich sollte deshalb nicht unberücksichtigt bleiben, zumal für die Dropout-Fälle eine Reihe von interessanten Variablen gesichert werden konnten. Die meisten Dropout-Fälle wurden zum ersten Meßzeitpunkt festgestellt (78% des Gesamtdropouts). Als mögliche Einflußgrößen wurden die zugewiesenen Navigationsbedingung, das Betriebssystem und die Bildschirmauflösung erfasst. Die Analysen des Einflusses der genannten Faktoren (with adjusted alpha) auf die Dropout-Werte zeigt folgendes Bild: Wie aus Abb. 7 deutlich wird, hat die Tool-Bedingung einen erheblichen Einfluß auf den Dropout zum Zeitpunkt T1, c 2(2, 413)=27.55; p<.01.
Abb. 6: Dropout und Untersuchungsbedingung Auch der Einfluß des Betriebssystems erweist sich als signifikant, c 2(4, 413)=19.20; p<.01. Wie aus Abb. 8 ersichtlich wird, zeigen die nicht-Microsoft-Betriebssysteme, MacOS, Linux und andere eine zu der großen Gruppe der Microsoft-Windows-Systeme gegenläufig Tendenz und verursachen mehr Abbrüche als im Falle keines Einflusses statistisch zu erwarten wäre. Komplementär dazu zeigt sich für die Gruppe der Microsoft-Systeme geringere Abbruchquoten als erwartet.
Abb. 7: Dropout und Betriebssystem Einen sehr erstaunlichen Befund liefert die Analyse des Faktors screen resolution. Da im Experiment die Visualisierung komplexer Informationslandschaften thematisch war, wäre zu erwarten gewesen, daß geringe Bildschirmauflösungen zu höheren Abbruchquoten führen würden. Tatsächlich ist der umgekehrte Effekt festzustellen – User mit höherer Auflösung verlassen das Experiment eher frühzeitig als solche mit geringer Auflösung. Der Unterschied ist signifikant, c 2(1, 413)=6.70; p<.02.
Abb. 8: Dropout und Bildschirmauflösung Die Variable "Browser" verursachte keinen signifikanten Einfluß auf das Abbruchverhalten. Lost in Hyperspace? Mit der Frage "Ich hatte manchmal das Gefühl nicht mehr zu wissen, wo ich bin" sollte das Ausmaß des subjektiv empfundenen Orientierungsverlusts während der Bearbeitung der Suchfragen erhoben werden. Wenngleich die Mittelwertsunterschiede für diese Frage nicht signifikant wurden, zeigt sich deskriptiv ein erstaunlicher Effekt, denn die höchsten (=Zustimmung) Werte für diese Frage gaben wiederum die User des Hyperbolic Tree. Für das Konzept des "lost in hyperspace" ist zudem auffallend, daß keine Korrelation zwischen den Werten für "spatial ability" und diese subjektiven Angaben zum Orientierungsverlust festgestellt werden konnten.
Diskussion Die Ergebnisse zeigen deutlich, daß Hyperbolic Tree in keiner Bedingung in der Lage ist, das Bearbeiten von Suchaufgaben in einem komplexen Hypertext zu unterstützen. Im Gegenteil scheint das Programm bei der Bearbeitung solcher Aufgaben sogar eher hinderlich zu sein und für noch mehr Disorientation zu sorgen. Es gibt allerdings mindestens zwei Hinweise, daß es sehr wohl möglich ist bzw. wäre, eine derartige Unterstützung zu leisten. Zum einen überzeugen die guten Ergebnisse der User von WebToc bei Retrieval-Fragen, zum anderen gibt die Wirkung des Faktors spatial ability bei Strukturfragen Hinweise darauf, daß räumliche Kognitionen durchaus einen wichtigen Anteil bei der Lösung solcher Aufgaben beitragen. Leider scheint es aber in keiner der getesteten Bedingungen zu einer spürbaren Unterstützung derartiger Prozesse gekommen zu sein. Die Ergebnisse werden weiter unterstützt von den Usability-Ratings der Versuchspersonen. Auch hier schneidet der Hyperbolic-Tree sehr schlecht ab. Ein ähnliches Bild zeigt sich für die learning-curve und die starken Dropout-Effekte (die zusätzlich zu einem konservativen Effekt zugunsten des Hyperbolic-Tree geführt haben dürften). Einwände gegen die mangelnde Kontrolle infolge des Web-Experiments konnten durch die Einbeziehung möglicher Störvariablen als Kovariaten und konservative statistische Berechnungen ausgeräumt werden. Die festgestellten Effekte erweisen sich demnach als sehr stabil. Zudem konnten vielfältige Hinweise für die Validität der Untersuchung zusammengetragen werden.
Literatur
|
