Prototyping tools for hybrid interactions

Wiethoff, Alexander (2012): Prototyping tools for hybrid interactions. Dissertation, LMU München: Fakultät für Mathematik, Informatik und Statistik

Abstract

In using the term 'hybrid interactions', we refer to interaction forms that comprise both tangible and intangible interactions as well as a close coupling of the physical or embodied representation with digital output. Until now, there has been no description of a formal design process for this emerging research domain, no description that can be followed during the creation of these types of interactions. As a result, designers face limitations in prototyping these systems. In this thesis, we share our systematic approach to envisioning, prototyping, and iteratively developing these interaction forms by following an extended interaction design process. We share our experiences with process extensions in the form of toolkits, which we built for this research and utilized to aid designers in the development of hybrid interactive systems. The proposed tools incorporate different characteristics and are intended to be used at different points in the design process. In Sketching with Objects, we describe a low-fdelity toolkit that is intended to be used in the very early phases of the process, such as ideation and user research. By introducing Paperbox, we present an implementation to be used in the mid-process phases for fnding the appropriate mapping between physical representation and digital content during the creation of tangible user interfaces (TUI) atop interactive surfaces. In a follow-up project, we extended this toolkit to also be used in conjunction with capacitive sensing devices. To do this, we implemented Sketch-a-TUI. This approach allows designers to create TUIs on capacitive sensing devices rapidly and at low cost. To lower the barriers for designers using the toolkit, we created the Sketch-a-TUIApp, an application that allows even novice users (users without previous coding experience) to create early instantiations of TUIs. In order to prototype intangible interactions, we used open soft- and hardware components and proposed an approach of investigating interactivity in correlation with intangible interaction forms on a higher fdelity. With our fnal design process extension, Lightbox, we assisted a design team in systematically developing a remote interaction system connected to a media façade covering a building. All of the above-mentioned toolkits were explored both in real-life contexts and in projects with industrial partners. The evaluation was therefore mainly performed in the wild, which led to the adaptation of metrics suitable to the individual cases and contexts.

Abstract

Unter dem Sammelbegriff Hybrid Interactions verstehen wir Interaktionen, die physikalische oder immaterielle Bedienelemente einbeziehen. Diese Bezeichnung beinhaltet ausserdem eine enge Verbindung zwischen physikalischer oder verkörperter Interaktion und digitaler Darstellung der Nutzerschnittstelle. Es existiert jedoch kein allgemeingültiger Entwicklungsprozess den die mit der Gestaltung solcher Systeme betrauten Designer und Entwickler anwenden können. Eine Tatsache welche die systematische Entwicklung dieser neuartigen Interaktionsformen erschwert. In dieser Doktorarbeit präsentieren wir unseren Ansatz zur Erstellung hybrider Interaktionen mit der Hilfe von Designprozess-Werkzeugen. Unsere vorschlagen Werkzeuge können an verschiedenen Stellen im Design- Prozess eingesetzt zu werden: Mit Sketching with Objects präsentieren wir ein Werkzeug auf einer niedrigen Genauigkeitsstufe, das in sehr frühen Prozessphasen wie Ideenfndung und Nutzerforschung verwendet werden soll. Eine weitere Implementierung, Paperbox, bietet eine Methode für mittlere Designprozess-Phasen bei der Gestaltung von begreifbaren Interaktionen auf interaktiven Oberflächen. Im Verlauf unserer Forschungstätigkeit haben wir dieses Werkzeug erweitert, um auch in Verbindung mit graphischen, kapazitiven Oberflächen (z.B. iPad) verwendet werden zu können. Das für diesen Zweck erarbeitete Werkzeug Sketch-a-TUI ermöglicht Designern ein schnelles und kostengünstiges Entwerfen von interaktiven, physikalischen Objekten auf interaktiven Oberflächen. Für Nutzer ohne Programmierkenntnisse bietet die Sketch-a-TUIApp die Möglichkeit frühe Instanzen von begreifbaren Interaktionen selbständig zu erzeugen. Um hybride immaterielle Interaktionen systematisch zu gestalten, untersuchten wir die Verwendung von frei verfügbaren Soft- und Hardwarekomponenten. Durch diese Vorgehensweise stellen wir einen Ansatz zur prozessorientierten Erstellung von Prototypen in Verbindung mit immaterieller Interaktion vor. Ein weiteres Werkzeug für die Gestaltung von räumlich getrennten Interaktionen, Lightbox, unterstützte ein Designteam bei der Entwicklung einer räumlich getrennten (Nutzer-) Schnittstelle in Verbindung mit einer Medienfassade. Alle in dieser Doktorarbeit vorgestellten Werkzeuge wurden in Feldstudien durch Projekte mit Partnern aus der Industrie erforscht. Die Evaluation wurde daher hauptsächlich ausserhalb des Labors absolviert und resultierte in einer Anpassung der verwendeten Methoden im jeweiligen Kontext.

• Dokumententyp: Dissertationen (Dissertation, LMU München)
• Keywords: Design process, computer science, hybrid interaction, interaction design, media-informatics
• Themengebiete: 000 Allgemeines, Informatik, Informationswissenschaft ; 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
• Fakultäten: Fakultät für Mathematik, Informatik und Statistik
• Sprache der Hochschulschrift: Englisch
• Datum der mündlichen Prüfung: 6. Dezember 2012
• 1. Bericht­erstatter:in: Butz, Andreas