Ulrike Creß

This is the http://kiwi.uni-psych.gwdg.de/congress/gor-2001/contrib/cress-ulrike/cress-ulrike Document.

Institution: Psychologisches Institut, Eberhard-Karls-Universität Tübingen

Contribution Title: Online-Lernmaterialien in der Hochschullehre: Wie Studierende sie nutzen und beurteilen – Ergebnisse einer Evaluationsstudie.

Online-Lernmaterialien in der Hochschullehre: Wie Studierende sie nutzen und beurteilen - Ergebnisse einer Evaluationsstudie

Creß, U., Barquero, B. & Hesse, F.W.

Universität Tübingen

Kontakt: u.cress@iwm-kmrc.de

Einleitung

Mit der Möglichkeit, Lernmaterialien für die Hochschullehre auch über das Internet anzubieten, verknüpfen sich derzeit hohe Erwartungen. Durch die Zeit- und Ortsunabhängigkeit, die der Einsatz von Medien ermöglicht, erhoffen die Hochschulen, neue und breitere Zielgruppen erschließen zu können. Daneben besteht die Aussicht, die Qualität der Lehre zu verbessern, indem den Studierenden z.B. zu den Lehrveranstaltungen aktuell ergänzende Materialien online angeboten werden können, die der Vor- und Nachbereitung ihrer Arbeit dienen sollen (Tissue, Earp & Yip, 1996). In geeigneten Themenbereichen können den Studierenden darüber hinaus über das Internet interaktive Programme zur Verfügung stehen, mit deren Hilfe sie auch außerhalb des Labors eigenständig Simulationen oder Experimente durchführen können. Dadurch kann in stärkerem Maße entdeckendes Lernen gefördert werden (vgl. Rieber, 1991). Insgesamt nähert dies die Hoffnung, dass durch die neuen Medien den Studierenden ein flexibleres Lernen ermöglicht werden kann, das in höherem Maße auf ihre individuellen Bedürfnisse zugeschnitten ist, als dies bei der traditionellen Hochschullehre möglich war (Hesse & Schwan, im Druck). Diese Vorteile des Lernens mit Medien sind aber auch mit hohen Ansprüchen an den Lernenden gekoppelt (Lawless & Brown, 1997; Marchionini, 1990; Weidenmann, 1995). Diese müssen fähig sein, mit der benutzten Software zurechtzukommen, sich in dem großen Umfang der ihnen angebotenen Informationen zurechtzufinden und ihre Handlungen mit den vielfältigen Interaktionsmöglichkeiten solcher Lernmaterialien selbst zu steuern. Wenn Studierende über diese Fähigkeiten nicht verfügen oder keine geeignete Unterstützung dabei erhalten, können Schwierigkeiten auftreten, die eine optimale Nutzung dieser Lernmaterialien behindern.

Spezifische Stärken und Probleme, die mit den Einsatz von Online-Lernmaterialien verknüpft sind, wurden in zwei Tübinger Verbundprojekte durch eine Evaluationsstudie untersucht: das Verbundprojekt „VirtuGrade“ (7 Teilprojekte), seit 1998 vom Land Baden-Württemberg gefördert, und das Verbundprojekt „Multimediagestützter Studiengang Bioinformatik“ (7 Teilprojekte), 1999-2000 von der Deutschen Telekom und dem Land Baden-Württemberg gefördert.

Die in beiden Projekten entwickelten Materialien wurden in Lernszenarien angeboten, denen eine unterschiedliche Konzeption des Medieneinsatzes zugrunde liegt. Im folgenden sollen zwei Szenarien herausgegriffen werden, in denen Online-Materialien eine unterschiedliche Funktion zukommt: das Ergänzungsszenario und das Workshopszenario (vgl. das Stoffvermittlungsparadigma und das Problemlösungsparadigma in Döring, 1997). Im Ergänzungsszenario werden typische Präsenzveranstaltungen wie Vorlesung, Übung und Seminar durch die multimediale, netzbasierte Präsentation von Lerninhalten ergänzt. Diese werden zumeist als Vorlesungsskript bzw. -folien dargestellt, bestehen überwiegend aus Texten, statischen Bildern und Graphiken, enthalten aber z.T. ebenfalls Animationen, Simulationen, kleine interaktive Programme (Applets) und Videosequenzen. Die Funktion der Online-Materialien besteht in diesem Szenario vor allem darin, dass Lernende unzureichendes Vorwissen nacharbeiten und das in der Veranstaltung Präsentierte elaborieren können. In diesem Szenario stehen auch Kommunikationstools (E-Mail, Diskussionsforum, Chat) zur Verfügung, die den Studierenden ermöglichen, Fragen an Dozenten oder Kommilitonen zu stellen oder Kommentare zu den Materialien zu äußern. Die Funktion dieser Kommunikationstools steht aber im Hintergrund, da Studierenden und Dozenten vorwiegend während der Präsenzveranstaltung miteinander kommunizieren. Einen ganz anderen Stellenwert als im Ergänzungsszenario haben die Online-Materialien im Workshopszenario. Hier entfällt die wöchentliche Präsenzveranstaltung und statt dessen erstellen die Studierenden gemeinschaftlich die Lernmaterialien (quasi als „Referate“), die über das Internet der Gesamtgruppe präsentiert werden und in der (computervermittelten) Diskussion kommentiert, weiterentwickelt und verbessert werden. Bei der Zusammenarbeit der Studierenden kommt der telematischen Kommunikation eine wichtige Funktion zu. Grundlage dafür ist ein gemeinsames Repository, in welchem alle Teilnehmer Dateien lesen, bearbeiten und ablegen können. Andere Kommunikationsmittel wie E-Mail und Chat stehen den Teilnehmern ebenfalls zur Verfügung.

Unsere Evaluationsstudie zielte darauf, Erkenntnisse darüber zu gewinnen, wie Studierenden beider Settings die jeweiligen multimedialen Angebote nutzen und bewerten, und welche Faktoren Einfluss auf ihre Nutzung und Bewertung ausüben.

Evaluationsmethode

Zu Beginn jeder Lehrveranstaltung wurde den Studierenden ein Vorfragebogen zu ihren individuellen Lernvoraussetzungen ausgeteilt (Motivation zur Teilnahme an der Lehrveranstaltung, Vorwissen zum jeweiligen Lerninhalt, Computererfahrung und Einstellung zum computerunterstütztem Lernen und zur netzbasierten Kommunikation). Am Ende der Lehrveranstaltung erhielten die Studierenden einen Nachfragebogen mit Fragen bzgl. ihrer Nutzung der multimedialen Materialien und ihrer Bewertung unterschiedlicher Aspekte der besuchten Lehrveranstaltung (Gestaltungs- und Navigationsaspekte der Materialien, Aufbereitung des Lerninhalts, instruktionale Maßnahmen wie Visualisierungen und Hilfestellungen, gestellte Lernaufgaben und erhaltene Betreuung). Außerdem wurden sie im Nachfragebogen erneut über ihre Einstellung zu computervermitteltem Lernen und Kommunikation befragt.

Abhängig von den technischen Möglichkeiten der einzelnen Teilprojekte wurden neben diesen subjektiven Daten aus den Fragebögen auch Server-Protokolldaten ausgewertet, die objektive Informationen über die Nutzung der Online-Materialien durch die Studierenden geben konnten: z.B. wie oft und wie lange sich die Teilnehmer mit diesen Materialien beschäftigt hatten oder welche Materialien sie am häufigsten und intensivsten bearbeitet hatten.

Ergebnisse bzgl. des Ergänzungsszenarios

Aus 7 Teilprojekten, in denen die multimedialen Lernmaterialien als Ergänzung einer Präsenzveranstaltung angeboten wurden (Ergänzungsszenario), liegen von 244 Teilnehmern komplette Datensätze (Vor- und Nachfragebogendaten) vor.

Diese zeigen eine suboptimale Nutzung der Online-Materialien durch die Studierenden: diese äußerten, sich im Durchschnitt nur 17% ihrer gesamten Lernzeit mit den multimedialen Lernmaterialien beschäftigt zu haben, 44% dieser Materialien bearbeitet zu haben, und die angebotenen interaktiven Möglichkeiten (z.B. interaktive Grafiken, Simulationen) relativ selten benutzt zu haben (Mittelwert: 2,83 auf einer Skala von 1-nie bis 7-sehr häufig). Um den möglichen Einfluss individueller Lernervoraussetzungen auf die Nutzung dieser Materialien zu untersuchen, wurden schrittweise Regressionsanalysen durchgeführt. Dabei wurden 1) die Motivation zum Lernen mit Medien, das Alter der Studierenden und ihre Voreinstellung zum computervermittelten Lernen (CVL) als Prädiktoren für die Lernzeit mit den Online-Materialien [R = 0,30, R² = 0,09, F(3,207) = 6,62, p < 0,001], 2) die Computererfahrung der Studierenden sowie ihre Einstellung zum CVL im Vergleich zu traditionellen Lernformen als Prädiktoren für den Anteil der bearbeiteten Online-Materialien [R = 0,32, R² = 0,10, F(2,205) = 11,71, p < 0,001], und 3) ihre Computererfahrung, ihre Motivation zum Lernen mit Medien und die Anzahl der Semester ihrer bisherigen Universitätsausbildung als Prädiktoren für die Häufigkeit der Nutzung der interaktiven Komponenten [R = 0,44, R² = 0,19, F(3,221) = 17,53, p < 0,001] ermittelt.

Die Bewertung unterschiedlicher Aspekte der multimedialen Lehrveranstaltungen durch die Teilnehmer war insgesamt mittelmäßig, mit Durchschnittswerten um den Mittelpunkt einer Skala von 1-sehr negativ bis 7-sehr positiv. Schrittweise Regressionsanalysen wurden ebenfalls durchgeführt, um den Einfluss der individuellen Lernervoraussetzungen sowie der Nutzungsvariablen auf die Bewertung dieser Aspekte zu erforschen. Dabei wurden folgende Variablen als Prädiktoren der Bewertung seitens der Studierenden gefunden: 1) ihre Motivation zum Lernen mit Medien und die pro Tag am Computer verbrachte Zeit als Prädiktoren für ihre Bewertung der Gestaltung der Materialien [R = 0,30, R² = 0,09, F(2,197) = 9,61, p < 0,001], 2) die Lernzeit mit den Online-Materialien und ihre Voreinstellung zum CVL als Prädiktoren für ihre Bewertung der Inhaltsaufbereitung [R = 0,36, R² = 0,13, F(2,198) = 14,83, p < 0,001], 3) die Lernzeit mit den Online-Materialien, die Häufigkeit ihrer Nutzung von interaktiven Komponenten und ihr Vorwissen zum Lerninhalt als Prädiktoren für ihre Bewertung der instruktionalen Maßnahmen [R = 0,31, R² = 0,10, F(3,197) = 7,10, p < 0,001], 4) die Lernzeit mit den Online-Materialien, die intrinsische Motivation der Studierenden und den Anteil der bearbeiteten Online-Materialien als Prädiktoren für ihre Bewertung der gestellten Lernaufgaben [R = 0,39, R² = 0,15, F(3,168) = 10,15, p < 0,001], 5) ihr Vorwissen zum Inhalt und ihre Einstellung zum CVL als Prädiktoren für ihre Bewertung der erhaltenen Betreuung [R = 0,35, R² = 0,12, F(2,197) = 13,60, p < 0,001], 6) ihre Einstellung zum CVL vor ihrer Teilnahme an der Lehrveranstaltung, die Häufigkeit ihrer Nutzung von interaktiven Komponenten sowie die pro Tag am Computer verbrachte Zeit als Prädiktoren für ihre Einstellung zum CVL am Ende der Veranstaltung [R = 0,60, R² = 0,36, F(3,195) = 35,93, p < 0,001], 7) ihre Einstellung zum CVL im Vergleich zum traditionellen Lernen am Anfang der Lehrveranstaltung, die Häufigkeit ihrer Nutzung von interaktiven Komponenten sowie die Anzahl der Semester ihrer bisherigen Universitätsausbildung als Prädiktoren für ihre Einstellung zum CVL vs. traditionellem Lernen am Ende der Veranstaltung [R = 0,46, R² = 0,21, F(3,196) = 17,66, p < 0,001].

Da in den unterschiedlichen Lehrveranstaltungen nicht dieselben Server-Protokolle erhoben werden konnten, waren die Daten zur Nutzung der Online-Materialien auf der Basis der objektiven Log-Daten nicht über alle Projekte vergleichbar. Im folgenden soll deshalb eine typische Lehrveranstaltung für das Ergänzungsszenario als Fallbeispiel dienen. Dabei stand eine Vorlesung im Zentrum der Lehrveranstaltung, zu der die Studierenden begleitend die Möglichkeit hatten, ein Online-Lehrbuch zu nutzen. Dieses Online-Lehrbuch enthielt neben dem erklärenden Text mehrere kleine Applets, mit denen die Studierenden interaktiv Übungen durchführen konnten. Die Analyse der Server-Protokolle ergab, dass alle 21 Teilnehmer im Laufe des Semesters 3235 Zugriffe auf das Online-Lehrbuch tätigten. Allerdings zeigten sich extrem große Unterschiede zwischen den Teilnehmern. Allein auf einen Teilnehmer fielen ca. 600, d.h. 19% aller Zugriffe. Zwei weitere Teilnehmer tätigten jeweils ca. 300 Zugriffe, drei Teilnehmer zwischen 100 und 200 Zugriffe und 14 Teilnehmer weniger als 100 Zugriffe im gesamten Semester. Insgesamt fielen 50% aller Zugriffe auf die ersten 40 Seiten des Lehrbuchs, das insgesamt 257 Seiten umfasste. Auf einer Seite, die vom Umfang her etwa einer knappen Buchseite eines Lehrbuchs entspricht, verblieben die Studierenden im Durchschnitt 88 Sekunden, wobei auch hier starke Unterschiede zwischen den Teilnehmern bestanden (zwischen 10 Sekunden und 140 Sekunden). Bei den Seiten des Lehrbuchs mit interaktiven Applets verweilten die Studierenden durchschnittlich ca. 3 Minuten. Auf das ganze Semester bezogen bedeutet dies, dass sich die Studierenden durchschnittlich 3,7 Stunden mit dem Online-Lehrbuch beschäftigten. Auch hier bestand eine große Varianz: Eine Person war ca. 25 Stunden im Semester eingeloggt, 2 Personen zwischen 5 und 10 Stunden und die anderen 20 Personen weniger als 2 Stunden. Diese Daten aus der Analyse von den Log-Files einer Vorlesung mit begleitenden Online-Materialien stimmen mit den oben genannten Daten aus den Fragebögen bzgl. der suboptimalen Nutzung dieser Art Materialien in sieben anderen Teilprojekten überein.

Ergebnisse bzgl. des Workshopszenarios

Aus 2 Teilprojekten, in denen das Workshopszenario durchgeführt wurde, liegen von 81 Teilnehmern komplette Datensätze (Vor- und Nachfragebogendaten) vor.

Auch in diesem Szenario gaben die Studierenden an, im Durchschnitt 17% ihrer Lernzeit mit dem Lernen des Online-Materials zugebracht zu haben. Dabei bearbeiteten sie durchschnittlich 75% der Materialien, also deutlich mehr als im Ergänzungsszenario. Im Workshopszenario können Merkmale des Lernprozesses (Anteil der bearbeiteten Online-Materialien, Lernzeit mit Online-Materialien) nicht von den Lernervoraussetzungen prädiziert werden. Allein die Bewertung des Lerninhalts und der Online-Materialien werden zu 16% bzw. 9% durch die intrinsische Motivation zu Beginn der Lehrveranstaltung bestimmt (r = 0,42, p < 0.001; r = 0,35, p < 0.01). Computererfahrung, die Einstellung zum computerbasierten Lernen vor Besuch der Lehrveranstaltung und die Motivation, mit Medien zu Lernen, haben keinen nennenswerten Einfluss auf die Nutzung der Online-Materialien und die Bewertung unterschiedlicher Elemente der Lehrveranstaltung.

Die Protokolldaten, die in Workshopszenarien aufgezeichnet werden konnten, waren je nach verwendeter Software unterschiedlich. Den folgenden Daten liegt ein Seminar zugrunde, das mit BSCW, einer von der GMD entwickelten Software (http://bscw.gmd.de/), durchgeführt wurde. Aufgezeichnet wurde hier, welche Person welche Dateien wann erstellt hatte und welche Dateien wann von wem gelesen wurden. So konnte bei der Evaluation zwischen aktiver und passiver Partizipation (Dateien schreiben vs. Dateien lesen) unterschieden werden. Das Seminar des SS 1999 erstreckte sich über 80 Tage. Im ersten Drittel des Seminars sollten die Studiereden selbständig Aufgaben bearbeiten und im BSCW ablegen. Im zweiten Drittel sollten sie darauf aufbauend kooperativ Texte erstellen, die im dritten Drittel gemeinsam diskutiert wurden. Die Log-Files ergaben, dass sich die Studierenden im Durchschnitt alle 3,22 Tage eingeloggt hatten.

Zur aktiven Partizipation: Insgesamt wurden im Laufe des Seminars 142 Objekte (d.h. Textdateien) erstellt. Diese verteilten sich auf Studierenden und Dozenten wie folgt: Die 11 Teilnehmer erstellten zusammen ca. zwei Drittel aller Objekte (2 Teilnehmer erstellten jeweils 2 Objekte, 2 jeweils 5 und die anderen 7 zwischen 9 und 14 Objekte), die beiden Dozenten das andere Drittel.

Zur passiven Partizipation: Jeder Studierenden griff im Laufe des Semesters auf durchschnittlich 88 der 142 Beiträge zu (ein Student öffnete nur 37 Beiträge, ein weiterer 53, die anderen 9 öffneten zwischen 78 und 129 Beiträge). Ein weiteres Maß zur passiven Partizipation stellt die Lesesättigung dar. Sie gibt an, nach welcher Zeit ein erstellter Beitrag von 25%, 50% oder 75% aller Teilnehmer gelesen wurde. Die Analyse der Log-Files zeigte, dass ein Beitrag im Durchschnitt bereits nach einem Tag von 25% aller Teilnehmer gelesen wurde und nach 5 Tagen von der Hälfte aller Teilnehmer. Bei Beiträgen, die von mehr als 75% aller Personen gelesen wurden, wurde diese Schwelle nach ca. 9 Tagen überschritten. Dabei ließ sich kein Unterschied in der Lesesättigung in Abhängigkeit davon feststellen, ob der Beitrag von einem Studierenden oder einem Dozenten erstellt worden war.

Diskussion der Befunde

Die Ergebnisse unserer Evaluationsstudie zeigten, dass die Nutzung und die Bewertung von Online-Materialien seitens der Studierenden im Ergänzungsszenario nicht nur durch die dem spezifischen Lernszenario zugrundeliegende Medienkonzeption bedingt werden, sondern auch durch individuelle Lernvoraussetzungen der Studierenden (vgl. Hasebrook, 1995; Hiltz, 1994; Kozma, 1991, u.a.).

In Ergänzungsszenarien wurden die Online-Materialien und ihre Interaktionsmöglichkeiten suboptimal genutzt. Sofern diese Materialien didaktisch nicht eng an die Lehrveranstaltung angebunden sind, und die Studierenden auf diese Weise (z.B. im Rahmen spezifischer Aufgaben) aufgefordert werden, sie zu nutzen, verwenden die Studierenden diese kaum (vgl. Hiltz, 1997). In der Nutzung der Online-Materialien gab es große Unterschiede zwischen den Teilnehmern. Diese sind u.a. durch unterschiedliche individuelle Lernervoraussetzungen zu erklären, wie ihre Motivation zum Lernen mit Medien, ihre Computererfahrung und ihre Einstellung zum CVL. Auch ihre Bewertung der multimedial aufbereiteten Lehrveranstaltungen wurde durch individuelle Faktoren (spezifische Lernervoraussetzungen und Ausmaß ihrer Nutzung der Online-Materialien) bedingt. Dies deutet darauf hin, dass bei ungünstigen individuellen Lernvoraussetzungen der Teilnehmer (z.B. geringer Motivation zum Lernen mit Medien, geringer Computererfahrung, negativer Einstellung zum CVL) spezifische instruktionale Maßnahmen ergriffen werden sollten, um diese negativen Voraussetzungen zu kompensieren.

Ein anderes Nutzungsbild hat das Workshopszenario aufgewiesen, bei dem Studierende nicht nur auf entwickelte Materialien zurückgreifen können, sondern bei dem die kollaborative Erstellung der Studienmaterialien ein wichtiger Bestandteil der Lehrveranstaltung ist. Durch die enge instruktionale Einbindung der Materialien, deren Bearbeitung verpflichtend ist, kommen hier die Lernvoraussetzungen der Studierenden weniger stark zum Tragen. In diesem Szenario partizipierten fast alle Teilnehmer sowohl aktiv (durch die Erstellung von Textdateien oder Diskussionsbeiträgen) als auch passiv (durch das Lesen der von anderen Studierenden erstellten Beiträge). Zwar bestehen auch hier in der Nutzung der Materialien Unterschiede zwischen Studierenden, dennoch ist die Aktivität der Studierenden wesentlich homogener über die Gesamtgruppe verteilt und der Gesamtanteil der Aktivität der Studierenden liegt deutlich höher.

Literatur

Döring, N. (1997). Das WWW im Unterricht. Organisatorischer Rahmen, didaktische Grundlagen und praktische Beispiele. In D. Janetzko, B. Batinic, D. Schoder, M. Mattingley-Scott & G. Strube (Hrsg.). CAW-97. Beiträge zum Workshop „Cognition and Web“. IIG-Berichte 1/97. Freiburg. Elektronische Version.

Hasebrook, J.P. (1995). Lernen mit Multimedia. Zeitschrift für Pädagogische Psychologie, 9 (2), 95-103.

Hesse, F.W. & Schwan, S. (im Druck). Internet-Based Teleteaching. In W. Krank, J.F. Leonhard, H.W. Ludwig & E. Straßner (Eds.), Media: Technology, History, Communication, Aesthetics. An International Handbook of International Research. Handbook of Linguistics and Communication Science. Berlin: de Gruyter.

Hiltz, S.R. (1994). The virtual classroom. Learning without limits via computer networks. Norwood, NJ: Ablex Publishing Corporation.

Hiltz, S.R. (1997). Impacts of college-level courses via Asynchronous Learning Networks: Some Preliminary Results. Journal of Asynchronous Learning Networks, 1 (2). Electronic version.

Kozma, R.B. (1991). Learning with Media. Review of Educational Research, 61 (2), 179-211.

Lawless, K.A. & Brown, S.W. (1997). Multimedia learning environments: Issues of learner control and navigation. Instructional Science, 25, 117-131.

Marchionini, G. (1990). Evaluating Hypermedia-Based Learning. In D.H. Jonassen & H. Mandl (Eds.), Designing Hypermedia for Learning. Berlin, Heidelberg: Springer Verlag.

Rieber, L.P. (1991). Animation, Incidental Learning, and Continuing Motivation. Journal of Educational Psychology, 83 (3), 318-328.

Tissue, B.M., Earp, R.L. & Yip, C.-W. (1996). Design and Student Use of World Wide Web-Based Prelab Exercises. The Chemical Educator, 1 (1). Electronic version.

Weidenmann, B. (1995). Multicodierung und Multimodalität im Lernprozess. In L.J. Issing & P. Klimsa (Hrsg.) Information und Lernen mit Multimedia [S. 65-84]. Weinheim: Psychologie Verlags Union.

GOR 2001 - content