Fostering awareness and collaboration in large-class lectures

Pohl, Alexander (2015): Fostering awareness and collaboration in large-class lectures: principles and evaluation of the Backchannel Backstage. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

For decades, higher education has been shaped by large-class lectures, which are characterized by large anonymous audiences. Well known issues of large-class lectures are a rather low degree of interactivity and a notable passivity of students, which are aggravated by the social environment created by large audiences. However, research indicates that an active involvement is indispensable for learning to be successful. Active partaking in lectures is thus often a goal of technology- supported lectures. An outstanding feature of social media is certainly their capabilities of facilitating interactions in large groups of participants. Social media thus seem to be a suitable basis for technology-enhanced learning in large-class lectures. However, existing general-purpose social media are often accompanied by several shortcomings that are assumed to hinder their proper use in lectures. This thesis therefore deals with the conception of a social medium, called Backstage, specially tailored for use in large-class lectures. Backstage provides both lecturer- as well as student-initiated communication by means of an Audience Response System and a backchannel. Audience Response Systems allow running quizzes in lectures, e.g., to assess knowledge, and can thus be seen as a technological support of question asking by the lecturer. These systems collect and aggregate the students' answers and report the results back to the audience in real-time. Audience Response Systems have shown to be a very effective means for sustaining lecture- relevant interactivity in lectures. Using a backchannel, students can initiate communication with peers or the lecturer. The backchannel is built upon microblogging, which has become a very popular communication medium in recent years. A key characteristic of microblogging is that messages are very concise, comprising only few words. The brief form of communication makes microblogging quite appealing for a backchannel in lectures. A preliminary evaluation of a first prototype conducted at an early stage of the project, however, indicated that a conventional digital backchannel is prone to information overload. Even a relatively small group can quickly render the backchannel discourse incomprehensible. This incomprehensibility is rooted in a lack of interactional coherence, a rather low communication efficiency, a high information entropy, and a lack of connection between the backchannel and the frontchannel, i.e., the lecture’s discourse. This thesis investigates remedies to these issues. To this aim, lecture slides are integrated in the backchannel to structure and to provide context for the backchannel discourse. The backchannel communication is revised to realize a collaborative annotation of slides by typed backchannel posts. To reduce information entropy backchannel posts have to be assigned to predefined categories. To establish a connection with the frontchannel, backchannel posts have to be stuck on appropriate locations on slides. The lecture slides also improve communication efficiency by routing, which means that the backchannel can filter such that it only shows the posts belonging to the currently displayed slide. Further improvements and modifications, e.g., of the Audience Response System, are described in this thesis. This thesis also reports on an evaluation of Backstage in four courses. The outcomes are promising. Students welcomed the use of Backstage. Backstage not only succeeded in increasing interactivity but also contributed to social awareness, which is a prerequisite of active participation. Furthermore, the backchannel communication was highly lecture-relevant. As another important result, an additional study conducted in collaboration with educational scientists was able to show that students in Backstage-supported lectures used their mobile devices to a greater extent for lecture-relevant activities compared to students in conventional lectures, in which mobile devices were mostly used for lecture-unrelated activities. To establish social control of the backchannel, this thesis investigates rating and ranking of backchannel posts. Furthermore, this thesis proposes a reputation system that aims at incentivizing desirable behavior in the backchannel. The reputation system is based on an eigenvector centrality similar to Google's PageRank. It is highly customizable and also allows considering quiz performance in the computation of reputation. All these approaches, rating, ranking as well as reputation systems have proven to be very effective mechanisms of social control in general-purpose social media.

Abstract

Seit Jahrzenten wird die universitäre Lehre durch Massenvorlesungen, die sich durch sehr große anonyme Hörerschaften auszeichnen, geprägt. Wohlbekannte Probleme von Massenvorlesungen sind ein sehr niedriger Grad an Interaktivität als auch eine augeprägte Passivität von Studenten, die auch durch die sozialen Rahmenbedingungen in großen Hörerschaften begünstigt werden. Dabei ist bekannt, dass eine aktive Auseinandersetzung mit dem Lernstoff für ein erfolgreiches Lernen unabdingbar ist. Eine aktive Teilnahme in Vorlesungen ist daher oft ein Ziel technologieunterstützter Vorlesungen. Ein herausragendes Merkmal von sozialen Medien ist sicherlich die Fähigkeit, Interaktionen in großen Gruppen zu ermöglichen. Soziale Medien scheinen deshalb eine geeignete Grundlage für technologie- unterstütztes Lernen zu sein. Jedoch sind allgemeine soziale Medien häufig auch mit Unzulänglichkeiten behaftet, die eine zweckmäßige Nutzung in Vorlesungen erschweren. Diese Arbeit beschäftigt sich deshalb mit der Konzipierung eines sozialen Mediums genannt Backstage, das speziell für die Nutzung in Vorlesungen zugeschnitten ist. Backstage ermöglicht sowohl dozenten- als auch eine studenteninitiierte Kommunikation mit Hilfe eines Audience Response Systems und eines Backchannels. Audience Response Systeme ermöglichen die Durchführung von Quizzen in Vorlesungen, beispielsweise um Wissen abzufragen, und können so als eine technologische Unterstützung des Fragenstellen durch den Dozenten betrachtet werden. Diese Systeme sammeln und aggregieren die Antworten der Studenten und liefern in Echtzeit die Ergebnisse zurück an die Hörerschaft. Es konnte gezeigt werden, dass Audience Response Systeme effektive Mittel zur Aufrechterhaltung vorlesungsbezogener Interaktivität sind. Durch einen Backchannel können auch Studenten Kommunikation mit anderen Studenten oder dem Dozenten initiieren. Der auf Backstage verfügbare Backchannel basiert auf Microblogging, was sich über die letzten Jahre zu einem sehr beliebten Kommunikationsmedium entwickelt hat. Eine Schlüsseleigenschaft des Microbloggings ist die Kürze von Nachrichten, die aus nur wenigen Wörtern bestehen. Die knappe Kommunikationsform macht Microblogging sehr attraktiv als Backchannel für Vorlesungen. Eine vorläufige Evaluation des ersten Prototyps, die zu einem frühen Zeitpunkt im Projekt durchgeführt wurde, zeigte jedoch, dass ein konventionelles Backchannel dazu neigt, die Teilnehmer zu überlasten. Sogar der Backchannel-Diskurs einer relativ kleinen Gruppe kann schnell unüberschaubar werden. Die Unüberschaubarkeit hat ihre Ursachen in einer mangelnden interaktionalen Kohärenz, eine vergleichsweise niedrige Kommunikationseffizienz, eine hohe Informationsentropie und eine fehlende Verknüpfung zwischen Backchannel und dem Vorlesungsvortrag. Diese Arbeit untersucht mögliche Abhilfen für die genannten Probleme. So werden Vorlesungsfolien integriert, um damit den Austausch auf dem Backchannel zu strukturieren und in einen Kontext zu bringen. Die Backchannel-Kommunikation wird zudem neu konzipiert, so dass es ein kollaboratives Annotieren von Folien mit Hilfe von getypten Backchannel-Nachrichten umsetzt. Die Typisierung von Backchannel-Nachrichten dient dazu, die Informationsentropie zu reduzieren. Um eine Verknüpfung mit dem Vorlesungsvortrag herzustellen, müssen zudem Backchannel-Nachrichten an die betreffenden Stellen auf Folien positioniert werden. Die Vorlesungsfolien verbessern auch die Kommunikationseffizienz durch das Routing, so dass der Backchannel nur die Nachrichten anzeigt, die zur aktuell angezeigten Folie gehören. Weitere Verbesserungen und Anpassungen des Systems, z.B. des Audience Response Systems, werden in dieser Arbeit beschrieben. Diese Arbeit berichtet über eine Evaluation von Backstage in vier großen Vorlesungen. Die Ergebnisse sind vielversprechend. So begrüßten die Studenten den Einsatz von Backstage. Backstage erhöhte nicht nur die Interaktivität sondern trug auch zur sozialen Awareness bei, die eine Voraussetzung für eine aktive Teilnahme ist. Die Backchannel-Kommunikation war zu einem hohen Grad vorlesungsbezogen. Zudem konnte in einer weiteren Studie, die zusammen mit Pädagogen durchgeführt wurde, gezeigt werden, dass Studenten ihre mobilen Endgeräte in Backstage-unterstützten Vorlesungen mehr für vorlesungsbezogene Aktivitäten genutzt haben als in konventionellen Vorlesungen, in welchen die mobilen Endgeräte hauptsächlich für vorlesungsfremde Aktivitäten genutzt wurden. Um soziale Kontrolle auf dem Backchannel zu etablieren, untersucht diese Arbeit Rating und Ranking von Backchannel-Nachrichten. Darüber hinaus schlägt diese Arbeit ein Reputationssystem vor, das als Ziel hat, einen Anreiz für erwünschtes Verhalten auf dem Backchannel zu schaffen. Das Reputationssystem basiert auf einer Eigenvektor-Zentralität, die an Googles PageRank angelehnt ist. Es ist zu einem hohen Grad anpassbar und ermöglicht auch die Berücksichtigung von Quizleistungen in der Berechnung von Reputation. Alle diese Ansätze, Rating, Ranking und Reputationssysteme haben sich in allgemeinen sozialen Medien als sehr effektive Mittel für soziale Kontrolle erwiesen.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Technology-Enhanced Learning, Extended Classroom, Backchannels, Audience Response System, Social Media
• Themengebiete: 300 Sozialwissenschaften > 370 Erziehung, Schul- und Bildungswesen
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 17. Dezember 2015
• 1. Bericht­erstatter:in: Bry, François