Netzespresso: Das Computer-Orchester oder Crowd dirigieren mit Kinect

Crowd-Musikprojekte an sich sind nichts Neues. Quer durchs Land oder über den Globus verteilte Menschen Samples und Fragmente für Lieder liefern zu lassen, damit daraus dann ein Gesamtwerk entsteht, stellt inzwischen ein erprobtes Verfahren dar.

Ein Projekt an der University of Art and Design in Lausanne spinnt den Gedanken des virtuellen Chors oder Orchesters nun aber weiter: Was, wenn die gemeinsame Performance dann auch wie vom Orchester vorgetragen würde? Das Trio Simon de Diesbach, Jonas Lacôte und Laura Perrenoud hat sich dafür das Computer Orchestra ausgeknobelt: Ein Setup von Laptops, auf die die jeweils ausgewählten einzelnen Samples aufgeteilt sind und von einem Dirigenten ausgelöst werden können. Vorne am Pult erfasst dann ein Kinect-Sensor (die Bewegungssteuerungs-Einheit von Microsofts Konsole Xbox) die Bewegungen des, sagen wir, Spielers.

Und dazu passend ertönt Musik.

The Computer Orchestra from computer-orchestra on Vimeo.





Verwandte Artikel:

Netzespresso: Looks like Music - Malen wir Musik

Netzespresso: Wake up and hear the Coffee
Netzespresso: BlabDroids oder Wie Roboter eine Doku über Menschen drehen
Netzespresso: Die New York Times und die ernst genommenen Leserkommentare

Netzespresso: "Do You Love Me"- Was passiert, wenn Bots Drehbücher schreiben

CouchCachet - Der vollautomatisierte Foursquare-Münchhausen für verhinderte Social-Media-Selbstdarsteller

Zappeln, Schütteln, Fingerzeig – Interfaces jenseits der Touchscheibe

Was nützt der Doppelklick in Gedanken: Kürzlich hat Samsung ein Konzept für eine Tablet-Gedankensteuerung vorgestellt. Damit soll es Personen möglich sein, ein Galaxy Tablet mittels EEG-Sensoren auf dem Kopf zu bedienen, Apps zu starten, Kontakte auszuwählen, Lieder aus Playlists auszusuchen. Das Denkerkappen-Konzept ist allerdings nur ein Test und nicht für den Massenmarkt gedacht, eher um Menschen mit Beeinträchtigungen das Leben zu erleichtern. Dennoch spielt es Überlegungen zu neuen Interface-Konzepten durch – hier die Steuerung via Sensorik.

Denn der Erfolg von Geräten mit Touch-Bedienung führt ja schön vor Augen, dass es weit intuitivere Steuerungen als Maus und Tastatur gibt. Daher mal wieder ein paar Zeilen zu Natural User Interfaces & Co.

Bild: Screenshot von Leap Motions Demovideo.

Vergangene Woche hat Microsoft seine neuen Konsole Xbox One präsentiert. Und damit die neue Version seiner Kinect-Sensorik, die via Kamera und Mikrofon Nutzerkommandos entgegen nimmt. Diese neue Fassung kann bis zu sechs Personen gleichzeitig monitoren. Erfassen, wer von ihnen spricht, wer zum Bildschirm sieht, wer welche Bewegungen ausführt. Entsprechend steht Kinect auch im Zentrum der Big-Brother-Ängste um die neue Xbox – denn dadurch, dass die Konsole via Sprachkommando oder Geste aktiviert werden kann, ist die Sensorik auch im Standby-Modus an. Mir geht es aber nicht um Orwell, mir geht es darum, wie weit dieser Interface-Weg damit schon gekommen ist. Die technischen Möglichkeiten von Kinect sind beeindruckend. Umso mehr, weil schon bei der Vorgänger-Version die spannendsten Anwendungen nicht von Microsoft selbst kamen, sondern Kinect-Hacks waren. 

IllumiRoom: Microsoft macht die Wohnzimmer-Wand zur Spielkulisse

Pff. Wer braucht schon große Fernseher? Microsoft Research jedenfalls nicht, wie sie mit IllumiRoom zeigen. Auf der CES geht es ja aktuell gerade gern mal um groß, größer, am größten: Samsung und Co zeigen Fernseher mit Bilddiagonalen von 60 Zoll, 80 Zoll, 110 Zoll. Mag spektakulär aussehen, reißt aber große Löcher in Budget und Wohnzimmerwand.

Ausgerechnet Microsoft führt da vor, dass es auf Bildschirmgröße nicht ankommt und macht eben diese komplette Wohnzimmerwand zur Spielkulisse. Das "proof-of-concept"-Video zu Microsoft Researchs Projekt IllumiRoom zeigt etwas, das Gamern die Kinnlade runterklappen lässt. Das Spieluniversum dehnt sich vom Bildschirm über die komplette Wohnzimmerwand aus.

Screenshot von Microsoft Researchs Video.

Kein Riesendisplay, nicht das Wohnzimmer umgestalten müssen, keine polarisierte Brille. Microsofts Forschungsteam hat schlicht einen Beamer und eine "Kinect for Windows"-Kamera zusammengeschraubt. Nach einem Scan des Raums wird dann während des Spiels die Spielumgebung auf die Wohnzimmerwand samt Einrichtung projiziert. Laut Microsoft Research in Echtzeit und ohne aufwendige Vorberechnungen.

Kinect, Leap & Co.: Fingerzeige für die Post-Touch-Steuerung

Vom Jump & Run zur Vaskulären Chirurgie: Die Karriere, die in den letzten Jahren Konzepte für Gesten- Bewegungssteuerung hingelegt haben, ist schon faszinierend. Populär gemacht hat sie schließlich der Einsatz in Nintendos Wii, Sony und Microsoft zogen mit Move beziehungsweise Kinect nach. Und inzwischen haben sich für Microsofts Kinect zahlreiche Nebenschauplätze geöffnet, die diese Art der Steuerung weiter denken. 

Den Rechner mit Fingerzeig dirigieren - Quelle: Leap Motion Demo Video.

Am King’s College London etwa testen momentan Gefäßchirurgen ein auf Kinect for Windows basierendes Programm zur Steuerung von Bildsystemen, die die Patientenanatomie darstellen. Momentan ist da das Operationsgebiet aus verschiedenen zweidimensionalen Perspektiven betrachtbar. Über das Programm kann der Chirurg direkt über Gesten oder Stimmbefehle die Bilddarstellungen so wechseln und verändern, wie er es gerade braucht. Ohne wie sonst üblich entweder einen Assistenten zu benötigen, dem er die gewünschte Bildveränderung erklären muss oder gar selbst via Hand die Veränderungen vorzunehmen, was für sterile Operationen eher ungünstig ist. So erfasst der Kinect-Sensor die Handbewegungen vor dem Bildschirm und übersetzt die in Steuerungsbefehle – berührungsfrei.

Nächster geplanter Schritt in diesem Projekt ist im Übrigen die Darstellung von dreidimensionalen Hirnmodellen, um Neurochirurgen bei der Arbeit zu helfen. Von purer Spielerei ist dieser praktische Einsatz zur Steuerung von Bildsystemen also einigermaßen weit entfernt.

Hello, PC - Mit rudernden Armen Richtung Natural User Interfaces

Vor einigen Monaten haben viele noch gelacht, als der sprachgesteuerte Assistent Siri für Apples iPhone vorgestellt wurde. Was, ich soll mit meinem Handy reden? Jetzt, rund um die CES-Messe in Vegas, reden auf einmal ganz viele von Sprachsteuerung – und auch Gestensteuerung. Hersteller wie Samsung zeigen Fernseher, die sich via Sprachbefehl bedienen lassen. Microsoft bringt die Sprach- und Gestensteuerung Kinect von seiner Konsole Xbox auf PCs – für TV-Funktionen kommt sie via Xbox live auch voran.

We’re dragged screaming and kicking in the age of the Natural User Interface, sozusagen. Nur kann das Mit-Händen-und-Füßen-wehren auch aus einem simplen Schulterzucken bestehen. Marke 'Was soll ich damit?'

Was es also soll: Zunächst entfernen Natural User Interfaces Barrieren, reduzieren Komplexität (wenn sie so funktionieren, wie sie sollen, versteht sich.) Es ist ein simplerer, direkterer Weg der Interaktion. Es geht nicht darum, sich wie in Star Trek zu fühlen, sondern darum, Dinge einfacher zu gestalten.