Natural User Interface

Natural User Interfaces (NUI) oder „Reality Based User Interfaces“ ermöglichen dem Nutzer eine direkte Interaktion mit der Bedienoberfläche durch Wischen, Tippen, Berühren, Gesten oder Sprache. Natürliche Benutzungsoberflächen wie Touchscreens sind berührempfindlich und reagieren auf Finger- und Handbewegungen. Man spricht in diesem Zusammenhang auch von gestenbasierter Bedienung.

Durch die Entwicklung von Touchscreens haben sich die bisherigen Bedienmuster von grafischen Oberflächen (GUI) stark verändert. Während bisher künstliche Eingabegeräte, wie eine Tastatur oder eine Maus zur Interaktion nötig waren, genügt nun eine Fingerberührung. Viele Smartphones, Tablets, aber auch Fahrkartenschalter oder Bankautomaten und andere Geräte nutzen diese direkte Form der Bedienung.

Da das Berühren und Beeinflussen der virtuellen Objekte nahezu in gleicher Weise wie das realer Objekte funktioniert, fällt es Nutzern leicht, Handlungen aus dem Alltag in das digitale System zu übertragen. Durch Handlungen in der realen alltäglichen Umwelt können Parallelen zu den virtuellen Objekten gezogen und Handlungsweisen übertragen werden. Es werden also bereits bestehende Wissensstrukturen aktiviert und Vorwissen angewandt. Die Entwicklung weg von Eingabegeräten wie einer Maus und hin zu Multi-Touch bringt die reale und die virtuelle Welt näher zusammen. Objekte werden nicht mehr durch Befehle an den Computer beeinflusst, sondern selbst in die Hand genommen. Dieser Ansatz wird ‘Reality-Based Interaction’ (RBI) genannt und dient als Grundlage für die Gestaltung von Multi-Touch-Applikationen.^[1]

Verschiedene vorbestimmte Interaktionsmöglichkeiten, sogenannte ‘patterns’, wie zum Beispiel das Skalieren, Verschieben und Drehen von Bildern oder das Scrollen von Informationen, erlauben es dem Nutzer mit dem Gerät und der Software direkt über das Interface zu agieren.

NUI ermöglicht dem Menschen einen sehr viel natürlicheren Umgang mit Interaktionen und bedeutet eine Erweiterung des bisher beschränkten künstlichen Umgangs mit technischen Interfaces.

Die ersten Versuche zur Entwicklung berührempfindlicher Eingabegeräte begannen bereits in den 1950er Jahren. Der kanadische Physiker und Komponist Hugh Le Caine entwickelte zwischen 1945 und 1948 den ersten spannungsgesteuerten Synthesizer, der über berührempfindliche Tasten verfügte, mit denen zum Beispiel Klangfarbe und Frequenz des Synthesizers eingestellt werden konnten.^[2]

Von Mitte der 1960er Jahre bis zum Jahre 1971 werden verschiedene Touchscreen-Techniken, unter anderem von IBM und der University of Illinois, entwickelt. So beispielsweise ‘PLATO IV’, ein Touchscreen-Terminal aus dem Jahre 1972. Es arbeitete mit einem Vorläufer der heute gängigen optischen Infrarot-Technologie.^[3]

1982 entwickelte Nimish Mehta an der University of Toronto das erste Multi-Touch-System. Das sogenannte ‘Flexible Machine Interface’ ermöglichte es dem Nutzer durch Druck auf den Bildschirm mit dem Finger einfache Grafiken zu zeichnen.^[4]

1990 wurde der ‘Sensor Cube’ als Nachfolger des ‘Sensor Frame’ der Carnegie Mellon University aus dem Jahre 1985 in Zusammenarbeit mit der NASA entwickelt. Sein optisches System ist in der Lage, den Winkel des Fingers zum Touchscreen zu erkennen.^[3] Das im Jahr 1991 von Pierre Wellner bei Rank Xerox EuroPARC entwickelte ‘Digital Desk’ setzte zum ersten Mal eine Interaktion, wie das Skalieren von Objekten ein, welche mit zwei Fingern durchgeführt werden kann.^[3]

Im Jahr 1994 erschien das erste Mobiltelefon mit Touchscreen auf dem Markt. ‘Simon’ wurde von IBM und Bell South entwickelt und kann als früher Vorläufer des iPhone und anderer Smartphones der heutigen Zeit betrachtet werden.^[5] Die Input Research Group der University of Toronto stellte 1995 ein ‘Tangible Interface’ vor, welches verschiedene Objekte unterscheiden sowie deren Ort und deren Drehung auf einem Display erkennen kann. So können mit realen physikalischen Objekten, grafische Objekte des Displays bewegt und beeinflusst werden.^[3]

Der von Mitsubishi Research Labs 2001 entwickelte Touchscreen ‘Diamond Touch’ erkennt zeitgleiche Bildschirmberührungen mehrerer Personen und kann deren Ort und Druck auseinanderhalten.^[6] Jeff Han stellte auf der TED-Konferenz 2006 in Monterey, Kalifornien, einen Multi-Touch-Screen mit verschiedenen Funktionen wie Bewegen und Drehen von Objekten, Farbänderungen je nach Fingerdruck, Zoomen und Sortieren von Bildern und vielen weiteren Applikationen vor.^[7]

2007 präsentierte Apple das bisher bekannteste Beispiel eines Multi-Touch-Gerätes, das iPhone. Über ein Multi-Touch-Display kann der Nutzer E-Mails und SMS schreiben und durch Inhalte des Terminkalenders, Musik und Bilder navigieren. Im selben Jahr stellte Microsoft den interaktiven Multi-Touch-Tisch MS Surface vor. Der Nutzer kann auf der Tischoberfläche mit digitalen Inhalten und Objekten durch Handbewegungen und Berührungen auf interagieren.

Windows 7: Microsoft brachte 2009 mit Windows 7 und der integrierten Funktion „Windows Touch“ ein Betriebssystem auf den Markt, das die Nutzung der Mehrfingereingabe ermöglicht.^[8]

Unabhängig von der Technologie zur Registrierung eines Berührpunktes („touch event“) verwenden alle Systeme als Grundlage ihrer Hardware drei verschiedene Bestandteile: Sensoren, Komparatoren und Aktoren. Sensoren registrieren Veränderungen des Systems und bestimmen durch ihre Empfindlichkeit und Reichweite die verwendbaren Interaktionen eines Multi-Touch-Screen. Aufgabe der Komparatoren ist es, einen Zustandsvergleich durchzuführen. Der Zustand des Systems nach der Interaktion wird mit dem Zustand des Systems vor der Interaktion verglichen, und der Komparator entscheidet, welche Auswirkungen die durchgeführten Interaktionen haben. Dies wird an die Aktoren weitergegeben und als tatsächliche Handlung ausgeführt.^[9] Komparatoren und Aktoren treten in Form von Software auf. Sensortechniken kann man in die folgenden Technologien unterscheiden:

Resistive Technologie

Ein resistiver Touchscreen arbeitet mit zwei Folien, die jeweils mit einer leitfähigen Beschichtung versehen sind. Durch Druck berühren sich die beiden Folien, und ein elektrischer Kontakt entsteht. Durch den Spannungsabfall innerhalb der Widerstandsmatrix können die

Koordinaten des Berührpunktes ermittelt werden.

Kapazitive Technologie

Bei kapazitiven Touchscreens wird eine Glasscheibe mit einer leitfähigen metallischen Beschichtung verwendet. Über dieser ist ein leitfähiger Polyester-Film angebracht. Durch die Berührung der Oberfläche wird das elektrische Feld geändert. Der dabei abgeleitete Strom

ist proportional zum Abstand der angelegten Spannungen und des Berührpunktes, wodurch seine Koordinaten berechnet werden können.

Oberflächenwellentechnologie

Erkennung der touch events erfolgt über Ultraschall und akustische Pulserkennung.

Optische Systeme

Erkennung der touch events erfolgt durch den Einsatz von Infrarotlicht und -kameras.

Textilintegration

Berührungen und Bewegungen werden über in Textilien integrierte Sensoren erfasst und als Gesten interpretiert. Dies ermöglicht Natural User Interfaces außerhalb planer Oberflächen, etwa in Kleidung oder Möbelstücken^[10].

Apple iOS

iOS ist ein Betriebssystem, das auf den Apple-Produkten iPhone, iPad und iPod touch verwendet wird. Dies sind alles Multi-Touch-Geräte. Als erstes erschien das iPhone. Über ein kapazitives System werden Berührungen des Bildschirms erfasst und so das Scrollen durch Bilder- und Musikdatenbanken mit CoverFlow, das eigene Adressbuch oder das Hineinzoomen in Landkarten und Webseiten ermöglicht. Neben einer Tastatur, die sich an die jeweilig verwendete Applikation anpasst, und damit Platz auf dem Multi-Touch-Screen einspart, verfügt das iPhone über einen Bewegungssensor, der die Lage des Telefons erkennt und den Bildschirminhalt danach ausrichtet. Weitere Sensoren registrieren die Lichtverhältnisse der Umgebung und passen die Display-Helligkeit dementsprechend an.^[11]

Microsoft PixelSense

Der Multi-Touch-Tisch Microsoft PixelSense (ehemals Surface) erkennt neben Gesten auch Objekte, die seine Oberfläche berühren und kann mit ihnen interagieren. PixelSense ermöglicht durch das gleichzeitige Erkennen von über 52 Berührpunkten und sein 360-Grad-User-Interface auch die Nutzung in größeren Gruppen. PixelSense setzt sich aus einem PC, einem optischen System, einem Projektor sowie einer stabilen Tischplatte zusammen. Ein Projektor, der von unten direkt auf die Plexiglas-Oberfläche gerichtet ist, wirft das Bild. Infrarot-LEDs leuchten die Oberfläche gleichmäßig aus. Fünf Infrarotkameras nehmen Berührungen des Bildschirms wahr, indem sie das auf der Oberfläche reflektierte Licht erfassen.

Microsoft Kinect

Ursprünglich wurde die Kinect als Controller für die Xbox 360 entwickelt. Die Kinect verfügt über einen PrimeSense-Tiefensensor, 3D-Mikrofon und eine Farbkamera. Somit ermöglicht es die Kinect eine Bedienung via Sprach- und Gestensteuerung. Es existiert ein SDK sowie ein Treiber sowohl für Windows als auch für Linux und Mac.^[12][13][14]

In den letzten Jahren erschienen vermehrt wissenschaftliche Studien zu Interaktionen auf Multi-Touch-Screens und zur Verbesserung der bestehenden Technik. Forscher wie Hrvoje Benko von der Columbia University und Microsoft Research oder Tomer Moscovich von der Brown University beschäftigen sich mit Themen wie der präzisen Auswahl und Erkennung von Objekten und Berührpunkten auf Touchscreens.^[3]

Eine aktuelle Studie der Hochschule der Medien Stuttgart und der User Interface Design GmbH bestätigt die Intuitivität der gestenbasierten Bedienung. Die Ergebnisse der Studie zeigen, dass die Interaktion mit Multi-Touch-Geräten wie PixelSense für junge und ältere Nutzer gleichermaßen leicht zu verstehen ist und den Nutzern kaum Probleme bereitet.

• Benutzerfreundlichkeit
• Benutzerschnittstelle
• Mensch-Computer-Interaktion
• Virtuelle Realität

• Rainer Dorau: Emotionales Interaktionsdesign: Gesten und Mimik interaktiver Systeme. Springer 2011, ISBN 978-3-642-03100-7

• Touchscreen Technologies
• Untersuchungen zur Usability und Erlernbarkeit von Multi-Touch-Interaktionen am Beispiel des Multi-Touch Table Microsoft Surface
• GUI versus NUI video

1. ↑ A. Girouard, L. Hirshfield, M. Horn, R. Jacob, O. Shaer, E. Solovey, J. Zigelbaum: Reality-Based Interaction: A Framework for Post-WIMP Interfaces. In: Proceeding of the twentysixth annual SIGCHI conference on Human factors in computing systems. ACM, New York 2008, S. 201–210.
2. ↑ G. Young: Hugh LeCaine. hughlecaine.com, 1999; abgerufen am 21. Dezember 2009
3. ↑ ^{a b c d e} W. Buxton: Multi-Touch Systems that I have known and loved. billbuxton.com, 2009; abgerufen am 21. Dezember 2009
4. ↑ D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009, S. 8.
5. ↑ D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009, S. 10
6. ↑ DiamondTouch SDK: Support for Multi-User, Multi-Touch Applications. Mitsubishi, 2002; abgerufen am 21. Dezember 2009.
7. ↑ Jeff Han demos his breakthrough touchscreen. Archiviert vom Original (nicht mehr online verfügbar) am 27. Februar 2014; abgerufen am 18. August 2022.  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.ted.com 
8. ↑ Windows 7. microsoft.com, 2009; abgerufen am 21. Dezember 2009
9. ↑ D. Saffer: Designing Gestural Interfaces. O’Reilly, Köln 2009.
10. ↑ Philipp Brauner, Julia van Heek, Martina Ziefle, Nur Al-huda Hamdan, Jan Borchers: Interactive FUrniTURE: Evaluation of Smart Interactive Textile Interfaces for Home Environments. In: Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces. ACM, Brighton United Kingdom 2017, ISBN 978-1-4503-4691-7, S. 151–160, doi:10.1145/3132272.3134128 (acm.org [abgerufen am 26. Juli 2021]). 
11. ↑ apple.com (Memento des Originals vom 14. April 2010 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.apple.com 2009; abgerufen am 21. Dezember 2009
12. ↑ Kinect unter Linux. onli-blogging
13. ↑ kinectforwindows. SDK. Microsoft, 2011
14. ↑ Vom GUI zum NUI. heise.de, Technology Review, 2011