|
|
|
|
GOR 2001 Homepage
Indices
Management - Staff only
|
GOR 2001 - contentThis is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/noller-stephan-oral/noller-stephan-oral Document. Main Author: Noller, Stephan Co-Authors: Naumann, Johannes ; Richter, Tobias ; ; Institution: humanIT GmbH, St. Augustin Contribution Title: LOGPAT ein webbasiertes Tool zur Analyse von Navigationsverläufen in Hypertexten. Authors Email: stephan.noller@uni-koeln.de URLs:
Abstract German (version: 25/06/2002 - 07:47, size: 2166) German: Die Aufzeichnung von Logfiles bei der Navigation in Hypertexten (online oder offline) stellt eine technisch leicht realisierbare und inobtrusive Form der Datenerhebung dar, mit der Informationen über die Interaktion von Nutzern/innen mit dem Hypertext gewonnen werden können. Insbesondere bei umfangreichen und stark vernetzten Hypertexten sind die anfallenden Datenmengen typischerweise jedoch sehr groß und unübersichtlich. Daher werden Analysemethoden benötigt, die sinnvolle Möglichkeiten der Datenreduktion bei gleichzeitig geringem Informationsverlust bieten. Im vorliegenden Beitrag wird ein Tool vorgestellt (Logfile Pattern Analysis LOGPAT), das die halbautomatische Extraktion von Kennwerten zur Beschreibung von Navigationsverläufen einzelner Nutzer/innen ermöglicht. LOGPAT ist ein webbasiertes Tool, das allen Interessierten kostenlos zur Verfügung steht (auch der Quelltext soll nach einem Redesign unter der GPL-Lizenz freigegeben werden). Mit einem entsprechenden Account kann eine persönliche Analyseumgebung eingerichtet werden. Die Analyseoptionen können flexibel an die jeweilige Forschungsfragestellung angepaßt werden. Neben Kennwerten, die sich auf die Häufigkeit des Aufrufs einzelner Seiten (bzw. Seitentypen) beziehen, können auch eine Reihe von Maßen ermittelt werden, mit denen Navigationsverläufe im eigentlichen Sinn beschrieben werden können (z. B. lineare vs. nicht-lineare Navigation, Backtracking, Abfolgen bestimmter Seitentypen, häufig auftretende Sequenzen). Zusätzlich können graphentheoretisch ableitbare Maße (vor allem compactness und stratum) zur zusammenfassenden Beschreibung des Navigationsverlaufs ausgegeben werden (inkl. graphischer Ausgabe). Zu explorativen Zwecken kann auch eine komplette Distanzmatrix errechnet werden, um z.B. die Zentralität einzelner Knoten im jeweiligen Pfad zu betrachten. Die verschiedenen Analysemöglichkeiten von LOGPAT werden im Überblick dargestellt und anhand eines Beispiels aus der Forschung zum Lernen mit Hypertext veranschaulicht. English: In hypertext research, logfiles represent an easy-to-record and non-obtrusive method of data collection, which provides rich information about users interaction with hypertext. Especially large hypertexts with highly interconnected nodes, however, lead to a huge amount of logfile data, which is difficult to survey. Therefore, methods of analysis are required which allow data reduction with a minimum of information loss. This paper presents a tool (Logfile Pattern Analysis LOGPAT) for the semi-automated extraction of specific measures that describe the navigation of single users. LOGPAT is a web-based tool and may be used for research by everyone who is interested (after a redesign, the source code, too, will soon be released under the GPL-license). Analyses can be conducted in a personalized environment (after setting up an account). The analysis options can flexibly be adjusted according to different research goals. Besides frequencies of visits to certain pages (or types of pages) several measures can be obtained regarding the process of navigation (e. g., linear vs. non-linear navigation, back tracking, sequences of certain page types, frequently occuring sequences). In addition, LOGPAT is able to compute graph-theoretical measures (compactness and stratum) for a condensed description of navigational paths (including graphical output). For exploratory purposes, the output also contains a complete distance matrix, which can be useful, e. g., for inspecting the centrality of single nodes in a users path. In the paper, an overview of the various options which LOGPAT provides for analysis is given. For each option, examples from research on learning with hypertext are given. Article (version: 25/06/2002 - 07:47, size: 25643) Logfiles sind automatisch erstellte Interaktionsprotokolle, in denen eine Reihe von Merkmalen des Umgangs von Nutzer/innen mit lokalen und web-basierten Computeranwendungen aufgezeichnet werden können. Das in diesem Beitrag vorgestellte Software-Tool LOGPAT (Logfile Pattern Analysis) ist insbesondere auf die Analyse von Navigationsverläufen bei der Nutzung von hypertextuell strukturierten Informationsangeboten zugeschnitten. Hypertexte sind dadurch gekennzeichnet, daß Rezipienten/innen ein vergleichsweiser großer Spielraum bei der Auswahl und Sequenzierung von Informationen eingeräumt wird (Gerdes, 1997). In der Literatur werden entsprechend eine Reihe allgemeiner Nutzungsstrategien wie zielgerichtete Suche (directed search), zweckgebundenes "Stöbern" (general purpose browsing) oder "entdeckendes Stöbern" (serendipitous browsing) unterschieden (Cove & Walsh, 1988; Marchionini, 1989). Je nach Fragestellung und Aufbau des zugrundeliegenden Hypertexts lassen sich Navigationsverläufe zudem z. B. danach klassifizieren, inwieweit die Rezeption linear oder nicht-linear verläuft, sich an der hierarchischen Struktur eines Hypertexts orientiert oder von Backtracks und Navigationshilfen Gebrauch macht (vgl. Flender & Naumann, in Druck). In vielen Forschungskontexten stellt sich aber auch einfach die konkrete Frage, welche Inhalte überhaupt in welcher Reihenfolge rezipiert worden sind. Aus dem Navigationsverhalten einer hinreichenden Zahl von Nutzern/innen kann im übrigen auf Eigenschaften des Hypertexts (z. B. im Hinblick auf Usability-Gesichtspunkte) geschlossen werden. Logfiles bieten sehr reichhaltige Informationen zur Ableitung vielfältiger Merkmale von Navigationsverläufen und können sowohl online als auch offline erhoben werden. Im World Wide Web (WWW) wird beispielsweise von jedem Server standardmäßig ein Logfile erstellt, das Seitenaufrufe, Datum und Uhrzeit des Aufrufs, Browsertyp, verweisende Seiten, Informationen über die Identität von Nutzer/innen (z. B. die IP-Adresse) und andere Daten enthält (vgl. z. B. Janetzko, 1999). Über einen Proxy-Server lassen sich auch clientseitig Logfile-Daten erheben. Offline werden Logfiles häufig dann eingesetzt, wenn Rezeptionsprozesse und Interaktionen von Lernenden bei der Rezeption lokal dargebotener Hypertext- und Hypermedia-Anwendungen erfaßt werden sollen (Flender & Naumann, in Druck). LOGPAT ist ursprünglich für den Einsatz in einem Projekt zum Vergleich der Lerneffizienz von linearem Text und Hypertext unter verschiedenen Verarbeitungszielen entwickelt worden (vgl. Christmann, Groeben, Flender, Naumann & Richter, 1999). Eine primäre (aber nicht ausschließliche) Anwendungsmöglichkeit von LOGPAT besteht daher in der Extraktion von Kennwerten, mit denen sich das individuelle Navigationsverhalten in hypertextuell strukturierten Lehr-Lern-Anwendungen zusammenfassend beschreiben läßt. Wozu ein neues Tool zur Logfile-Analyse? Abgesehen von bislang nicht befriedigend lösbaren Problemen bei online und WWW-öffentlich erhobenen Logfiles – vor allem Schwierigkeiten bei der Zuordnung von Nutzungsdaten zu individuellen Nutzer/innen und Datenausfälle durch Caching (vgl. z. B. Pitkow, 1997) - stellen Logfiles eine sehr zuverlässige Methode der Datenerhebung dar. Gegenüber alternativen Methoden wie Video-Aufzeichnungen (z. B. Chang & McDaniel, 1995) oder der manuellen Protokollierung von Seitenbesuchen bzw. Nutzeraktionen (z. B. Wandke & Hurtienne, 1999) zeichnen sich Logfiles durch eine hohe Ökonomie und Objektivität sowie eine niedrige Reaktivität aus. Zudem enthalten sie eine Fülle von Daten, die im Hinblick auf Charakteristika individueller Navigationsverläufe oder die Usability des betrachteten Hypertexts interpretiert werden können. Allerdings sind diese Informationen in den Logfiles nicht unmittelbar zugänglich. Insbesondere bei stark vernetzten Hypertexten mit zahlreichen Knoten und bei großen Stichproben von Nutzern/innen sind die anfallenden Logfiles umfangreich und unübersichtlich, was je nach Untersuchungsziel verschiedene Methoden der Datenreduktion erforderlich macht. Die zahlreichen kommerziell oder frei verfügbaren Tools zur Logfile-Analyse liefern dabei in der Regel lediglich grobe Statistiken bezogen auf Webpages oder Websites im Ganzen, erlauben aber kaum detaillierte Aussagen über die Navigationsverläufe einzelner Nutzer/innen. Ausnahmen bilden Programme für graphentheoretische Analysen (Niegemann, 1997; Rauterberg, 1996), die jedoch jeweils vor dem Hintergrund bestimmer theoretischer Perspektiven und Anwendungsbereiche nur einen eng umgrenzten Ausschnitt von Analyse- und Anwendungsmöglichkeiten bieten. LOGPAT ist demgegenüber mit dem Ziel entwickelt worden, eine gewisse Bandbreite der in der Literatur bislang vorgeschlagenen Kennwerte zur Beschreibung des individuellen Navigationsverhaltens in einer einfach zu handhabenden Analyseumgebung verfügbar zu machen. Die Analyseoptionen können dabei flexibel an die jeweilige Fragestellung und das Format des verfügbaren Datenmaterials angepaßt werden. Logfile-Analysen des Navigationsverhaltens in Hypertexten Die in der Hypertextforschung üblicherweise verwendeten Kennwerte zur Charakterisierung des individuellen Navigationsverhaltens lassen sich in drei Klassen gliedern. Atomistische Kennwerte beziehen sich auf die Nutzung einzelner Seiten oder Seitentypen, mit sequenzanalytischen Kennwerten werden definierte Folgen von Seitenaufrufen abgebildet, und auf der Basis von Distanzmatrizen lassen sich zusammenfassende Indizes für ganze Navigationsverläufe geben. Mit LOGPAT können Maße aus allen drei Gruppen gebildet werden.
Programmbeschreibung LOGPAT wurde als interaktive Webanwendung realisiert. Dadurch ist es möglich, daß gleichzeitig mehrere Benutzer/innen Analysen durchführen. Die jeweiligen Analysebereiche sind durch eine Benutzerverwaltung voneinander abgetrennt. Auf den Arbeitsstationen muß durch dieses Design nur ein herkömmlicher Web-Browser installiert sein. Der Aufruf des Programms und die Interaktion geschehen ausschließlich über das Browser-Interface. Programmiersprache Als Programmiersprache wurde PHP (PHP-Hypertext-Preprocessor), eine leicht erlernbare Sprache für dynamische Webanwendungen, angewandt. PHP ist eine frei verfügbare Systemerweiterung für Webserver und auf zahlreichen verschiedenen Servertypen implementierbar. Da es sich bei PHP um ein klassisches Open-Source-Projekt handelt, ist die Unterstützung insbesondere für Anfängern/innen durch zahlreiche Mailinglisten, Newsgroups und spezielle Webseiten hervorragend. Damit ist eine individuelle Anpassung des Programms und die Weiterentwicklung leicht möglich. Es wird dringend empfohlen, eine PHP-Version ab 4.x zu verwenden, da ältere Versionen die erforderlichen Rechenoperationen deutlich langsamer ausführen. Systemanforderungen Um zügig mit dem Programm arbeiten zu können, sollte ein entsprechender Server-Rechner verwendet werden. Da es sich bei einigen Analyseoptionen um – insbesondere bei großen Logfiles – sehr rechenintensive Auswertungen handelt, sollte ein ausreichend hoch getakteter Prozessor und ausreichend Arbeitsspeicher eingeplant werden. Beim Festplattenspeicherplatz sind die Anforderungen hingegen sehr gering. Format des Dateninputs In der Regel liegen Logfiles als strukturierte Textdateien vor. Logpat kann beliebige derartige Textdateien einlesen und verarbeiten, wobei davon ausgegangen wird, daß pro Zeile eine Seitenbezeichnung eingelesen werden kann. Weitere Informationen, wie z.B. Zeitstempel müssen entfernt werden. Dazu wird eine Konvertierfunktion angeboten, die beliebige Zeichenkombinationen (Regular Expressions) aus den Logfiles herausfiltern kann. Zusätzlich gibt es die Möglichkeit, Kriterien anzugeben, nach denen bestimmte Zeilen von der Analyse ausgeschlossen werden sollen. Für die Analyse atomistischer Kennwerte kann eine Textdatei eingelesen werden, die pro Zeile ein Suchmuster enthält. Dieses Patternfile steht dann systemweit zur Verfügung und kann in alle Analysen einbezogen werden. Auch hier können Muster nach der Syntax der Regular Expressions verwendet werden. Viele Analysemöglichkeiten legen es nahe, daß für jede Versuchsperson jeweils eine Logfile zur Verfügung steht. Dies ist aber nicht immer selbstverständlich, und sollte zu Beginn der Untersuchung sichergestellt werden. Outputformate Neben der Ausgabe der Kennwerte am Bildschirm in Form von Tabellen und Graphiken besteht die Möglichkeit, die Ergebnisse der Multifile-Analyse als CSV (Comma-Separated-File) oder SPSS-kompatible DAT-Datei herunterzuladen. Programmstruktur Die Single File-Analyse soll verwendet werden, um einzelne Logfiles näher zu analysieren. Eine einzelne Logfile kann hier nach atomistischen Kennwerten durchsucht werden, wobei sowohl die freie Eingabe eines individuellen Musters als auch die Verwendung des systemweiten Patternfiles möglich ist. Die Häufigkeiten für diese Muster werden für die Seitenaufrufe und für aktuelle analysierte Sequenzen getrennt errechnet. Gleichzeitig kann die Logfile nach Sequenzen einer definierten Länge (Anzahl von Seiten) durchsucht werden. Diese Sequenzen werden tabellarisch mit der jeweiligen Häufigkeitsangabe ausgegeben, wobei die Anzeige singulär auftretender Sequenzen unterdrückt werden kann. Folgende zusätzliche Kennwerte für Sequenzen werden ausgegeben:
Abgesehen von backtrack muß Logpat bei der Errechnung dieser Kennwerte auf die individuellen Logfiles der jeweiligen Analyse eingestellt werden. Dies kann momentan nur durch Veränderung des Programmcodes geschehen. Die Voreinstellungen gehen von einem Seitenmuster aus vier Buchstaben und zwei Ziffern aus, wie es z.B. von Toolbook-Anwendungen generiert wird. Zur graphentheoretischen Analyse der Logfile ist es möglich, eine Distanzmatrix ausgeben zu lassen. Die Distanzmatrix eignet sich gut, um einzelne Seiten im Zusammenhang der gesamten Logfile beurteilen zu können. Dazu werden diverse Kennwerte ausgegeben, vor allem aber die Relative In-Centrality (RIC) und Relative Out-Centrality (ROC). Da diese Matrix bei größeren Logfiles schnell unübersichtlich wird, ist es möglich, ihre Ausgabe zu unterbinden und nur die Kennwerte Stratum und Compactness ausgeben zu lassen. Um alternative Berechnungsmöglichkeiten zur Verfügung zu stellen ist es möglich den Faktor k, der bei der Errechnung der Distanzmatrix eine entscheidende Rolle spielt (als Platzhalter für "unendliche" Knotendistanzen, vgl. Botafogo et al., 1992), manuell vorzugeben. Per Voreinstellung wird dieser Wert mit der Anzahl der analysierten Seiten gleichgesetzt. Um die Analyse den individuellen Bedürfnissen anzupassen, ist der Analysebereich hinsichtlich zweier Dimensionen beeinflußbar. Es kann sowohl die Anzahl der Zeichen pro Seite, die in die Analyse einbezogen werden, (z.B. sollen nur die ersten vier Zeichen verwendet werden: "Visuè Visu") als auch der Analysebereich der jeweiligen Logfile eingeschränkt werden (z.B. nur die ersten 10 Zeilen).
Der Grundgedanke der Multifile-Analyse ist es, die wesentlichen Funktionen der Single-File-Analyse zur Verfügung zu stellen, zugleich aber die simultane Verarbeitung mehrerer Logfiles in einem Arbeitsschritt zu ermöglichen. So können die relevanten Kennwerte schnell im Überblick beurteilt werden, um z. B. Auffälligkeiten einzelner Logfiles zu erkennen. Diese können dann wiederum in die Single File-Analyse übernommen werden. Hier stehen im wesentlichen die gleichen Kennwerte wie in der Single File-Analyse zur Verfügung, allerdings werden die Sequenzen nicht individuell ausgegeben, sondern nur kumulierte Kennwerte tabellarisch dargestellt. Ebenso kann die Musteranalyse mit dem Pattern-File vorgenommen werden. Für die graphentheoretische Analyse werden hier nur die Kennwerte Compactness und Stratum ausgegeben. Anders als in der Single File-Analyse gibt es zusätzlich die Möglichkeit, standardisierte Werte auszugeben (die Werte werden an der Anzahl von Seiten der jeweiligen Logfile standardisiert). Um Teilbereiche zu analysieren, kann hier ein Wert angegeben werden, welcher verwendet wird, um die zu analysierenden Logfiles in Sequenzen gleicher Länge aufzuspalten und Kennwerte für diese Teilsequenzen auszugeben. Um heuristische Analysen zu erleichtern, wurde zusätzlich die Option einer graphischen Visualisierung der Ergebnisse implementiert. Neben einer tabellarischen Ausgabe der Kennwerte können die Ergebnisse der Multifile-Analyse als CSV- oder SPSS-DAT-File heruntergeladen werden. Programmverfügbarkeit Das Programm ist unmittelbar nach der Konferenz unter der WWW-Adresse http://www.log-pat.de verfügbar. Unter dieser Adresse wird es die Möglichkeit geben, mit einem Gastaccount Testanalysen durchzuführen. Für die Arbeit mit dem Programm ist es dann sinnvoll, sich entweder einen persönlichen Account einrichten zu lassen oder das Programm herunterzuladen und auf dem eigenen Server zu installieren. Die o.g. Seite soll auch dazu dienen, die Weiterentwicklung des Programms zu dokumentieren und zu koordinieren. Logpat wird unter der GNU General Public License (GPL) freigegeben und steht interessierten Personen somit kostenlos zur Verfügung. Diskussion und Ausblick LOGPAT wurde im Rahmen eines Forschungsprojekts zur Aufbereitung und präliminarischen Auswertung der anfallenden Logfile-Daten entwickelt und eingesetzt. Von einer umfassenden Lösung zur Logfile-Analyse ist es daher weit entfernt. Wir verstehen es eher als Baustein in einem solchen Analyseprozeß und haben versucht, diesem Umstand z.B. durch flexible Exportmöglichkeiten Rechnung zu tragen. Andererseits ist schon jetzt eine gewisse Bandbreite und vor allem eine hohe Flexibilität in der Anwendung gegeben, so daß für die Weiterentwicklung des Tools ein gute Ausgangslage besteht. Wir haben LOGPAT auch deshalb unter der GPL-Lizenz freigegeben, weil wir uns eine kontinuierliche Weiterentwicklung durch andere Forscher/innen-Gruppen erhoffen, die sich mit ähnlichen Fragestellungen beschäftigen. Anmerkung LOGPAT wurde im Rahmen des von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekts "Verarbeitungsstrategien bei klassischen (linearen) Buchtexten und zukünftigen (nicht-linearen) Hypertexten" (Leitung: PD Dr. Ursula Christmann und Prof. Dr. Norbert Groeben) entwickelt. Wir danken der DFG für ihre Unterstützung. Wir danken weiterhin Nadine van Holt für ihre Hilfe bei der Erprobung und dem Bug-Fixing.Literatur Barab, S. A., Bowdish, B. E., Young, M. F. & Owen, S. V. (1996). Understanding kiosk navigation: Using log files to capture hypermedia searches. Instructional Science, 24, 377-395. Botafogo, R. A., Rivlin, E. & Shneiderman, B. (1992). Structural analysis of hypertexts: Identifying hierarchies and useful metrics. ACM Transactions on Information Systems, 10, 142-180. Chang, C & McDaniel, E. D. (1995). Information search strategies in loosely structured settings. Journal of Educational Computing Research, 12, 95-107. Christmann, U., Groeben, N., Flender, J., Naumann, J. & Richter, T. (1999). Verarbeitungsstrategien von traditionellen (linearen) Buchtexten und zukünftigen (nichtlinearen) Hypertexten. In N. Groeben (Hrsg.), Lesesozialisation in der Mediengesellschaft. Ein Schwerpunktprogramm (10. Sonderheft IASL) (S. 175 – 189). Tübingen: Niemeyer. Cooley, R., Mobasher, B., Srivastasa, J. (1999). Data preparation for mining world wide web browsing patterns. Knowledge and Information Systems, 1, 5-32. Cove, J. F. & Walsh, B. C. (1988). Online text retrieval via browsing. Information Processing and Management, 24, 31-37. Crow, D. & Smith, B. (1992). DB_habits: Comparing minimal knowledge and knowledge-based approaches to pattern recognition in the domain of user-computer interactions. In R. Beale & J. Finley (Eds.), Neural networks and pattern recognition in human computer interaction (pp. 39-61). New York, NY: Ellis Horwood. Flender, J. & Naumann, J. (in Druck). Erfassung allgemeiner Lesefähigkeiten und der Rezeption nicht-linearer Texte: "PL-Lesen" und Logfile-Analyse. In N. Groeben & B. Hurrelmann (Hrsg.), Lesekompetenz. Weinheim: Juventa. Gay, G., Trumbull, D. & Mazur, J. (1991). Designing and testing navigational strategies and guidance tools for a hypermedia program. Journal of Educational Computing Research, 7, 189-202. Gerdes, H. (1997). Lernen mit Text und Hypertext. Lengerich: Pabst. Janetzko, D. (1999). Statistische Anwendungen im Internet: Daten in Netzwerkumgebungen erheben, auswerten und präsentieren. München: Addison-Wesley. Lawless, K. A. & Kulikowich, J. M. (1996). Understanding hypertext navigation through cluster analysis. Journal of Educational Computing Research, 14, 385-399. Marchionini, G. (1989). Information-seeking strategies of novices using a full-text electronic encyclopedia. Journal of the American Society for Information Science, 40, 54-66. McDonald, S. & Stevenson, R. J. (1998). Navigation in hyperspace: An evaluation of the effects of navigational tools and subject matter expertise on browsing and information retrieval in hypertext. Interacting with Computers, 10, 129-142. McEneaney, J. E. (1999). Visualizing and assessing navigation in hypertext. Proceedings of the 10th ACM Conference on Hypertext and Hypermedia (Hypertext '99) (pp. 61-70). New York, NY: Association for Computing Machinery. Niegemann, H. M. (1997). Verläufe selbstkontrollierten mediengestützten Lernens: Zur Entwicklung eines computerbasierten Analyseverfahrens. Unveröffentl. Manuskript, Universität Mannheim. Pitkow, J. & Pirolli, P. (1999). Mining longest repeating subsequences to predict World Wide Web surfing. Proceedings of USITS '99: The 2nd USENIX Symposion on Internet Technologies & Systems. Boulder, CO. Pitkow. J. (1997). In search of reliable usage data on the WWW. Proceedings of the Sixth International WWW Conference (pp. 451-463). Santa Clara, CA. Rauterberg, M. (1996). A Petri net based analyzing and modeling tool kit for logfiles in human-computer interaction. In H. Yoshikawa & E. Hollnagel (Eds.), Proceedings of Cognitive Systems Engineering in Process Control CSEPC '96 (pp. 268-275). Kyoto: Kyoto University, Graduate School of Energy Science. Rauterberg, M. & Fjeld, M. (1998). Task analysis in Human-Computer-Interaction: Supporting action regulation theory by simulation. Zeitschrift für Arbeitswissenschaft, 52, 152-161. Reitsma, R. F. & Buttenfield, B. P. (1999). Inductive explorations of information space geography. In W. D. Haseman & D. L. Nazareth (Eds.), Proceedings of America's Conference on Information Systems AMCIS (pp. 277-279). Milwaukee, WI. Schroeder, E. E. & Grabowski, B. L. (1995). Patterns of exploration and learning with hypermedia. Journal of Educational Computing Research, 13, 313-335. Verheij, J., Stoutjesdijk, E. & Beishuizen, J. (1996). Search and study strategies in hypertext. Computers in Human Behavior, 12, 1-15. Wandke, H. & Hurtienne, J. (1999). Zum Navigationsverhalten von Erstbenutzern des Worl Wide Web [Online Document]. Available URL: http://arb1.psychologie.hu-berlin.de/ingpsy/publikationen/navigation.html |