Zappeln, Schütteln, Fingerzeig – Interfaces jenseits der Touchscheibe

Was nützt der Doppelklick in Gedanken: Kürzlich hat Samsung ein Konzept für eine Tablet-Gedankensteuerung vorgestellt. Damit soll es Personen möglich sein, ein Galaxy Tablet mittels EEG-Sensoren auf dem Kopf zu bedienen, Apps zu starten, Kontakte auszuwählen, Lieder aus Playlists auszusuchen. Das Denkerkappen-Konzept ist allerdings nur ein Test und nicht für den Massenmarkt gedacht, eher um Menschen mit Beeinträchtigungen das Leben zu erleichtern. Dennoch spielt es Überlegungen zu neuen Interface-Konzepten durch – hier die Steuerung via Sensorik.

Denn der Erfolg von Geräten mit Touch-Bedienung führt ja schön vor Augen, dass es weit intuitivere Steuerungen als Maus und Tastatur gibt. Daher mal wieder ein paar Zeilen zu Natural User Interfaces & Co.

Bild: Screenshot von Leap Motions Demovideo.

Vergangene Woche hat Microsoft seine neuen Konsole Xbox One präsentiert. Und damit die neue Version seiner Kinect-Sensorik, die via Kamera und Mikrofon Nutzerkommandos entgegen nimmt. Diese neue Fassung kann bis zu sechs Personen gleichzeitig monitoren. Erfassen, wer von ihnen spricht, wer zum Bildschirm sieht, wer welche Bewegungen ausführt. Entsprechend steht Kinect auch im Zentrum der Big-Brother-Ängste um die neue Xbox – denn dadurch, dass die Konsole via Sprachkommando oder Geste aktiviert werden kann, ist die Sensorik auch im Standby-Modus an. Mir geht es aber nicht um Orwell, mir geht es darum, wie weit dieser Interface-Weg damit schon gekommen ist. Die technischen Möglichkeiten von Kinect sind beeindruckend. Umso mehr, weil schon bei der Vorgänger-Version die spannendsten Anwendungen nicht von Microsoft selbst kamen, sondern Kinect-Hacks waren. 

Kinect, Leap & Co.: Fingerzeige für die Post-Touch-Steuerung

Vom Jump & Run zur Vaskulären Chirurgie: Die Karriere, die in den letzten Jahren Konzepte für Gesten- Bewegungssteuerung hingelegt haben, ist schon faszinierend. Populär gemacht hat sie schließlich der Einsatz in Nintendos Wii, Sony und Microsoft zogen mit Move beziehungsweise Kinect nach. Und inzwischen haben sich für Microsofts Kinect zahlreiche Nebenschauplätze geöffnet, die diese Art der Steuerung weiter denken. 

Den Rechner mit Fingerzeig dirigieren - Quelle: Leap Motion Demo Video.

Am King’s College London etwa testen momentan Gefäßchirurgen ein auf Kinect for Windows basierendes Programm zur Steuerung von Bildsystemen, die die Patientenanatomie darstellen. Momentan ist da das Operationsgebiet aus verschiedenen zweidimensionalen Perspektiven betrachtbar. Über das Programm kann der Chirurg direkt über Gesten oder Stimmbefehle die Bilddarstellungen so wechseln und verändern, wie er es gerade braucht. Ohne wie sonst üblich entweder einen Assistenten zu benötigen, dem er die gewünschte Bildveränderung erklären muss oder gar selbst via Hand die Veränderungen vorzunehmen, was für sterile Operationen eher ungünstig ist. So erfasst der Kinect-Sensor die Handbewegungen vor dem Bildschirm und übersetzt die in Steuerungsbefehle – berührungsfrei.

Nächster geplanter Schritt in diesem Projekt ist im Übrigen die Darstellung von dreidimensionalen Hirnmodellen, um Neurochirurgen bei der Arbeit zu helfen. Von purer Spielerei ist dieser praktische Einsatz zur Steuerung von Bildsystemen also einigermaßen weit entfernt.