Am 11.12.2009 hatten wir das große Glück einer Probe des Balletts
Pforzheim unter der Leitung von James Sutherland beiwohnen zu dürfen.
Ein Teil des ISES-Teams machte sich morgens auf die 170km lange Fahrt
von Furtwangen nach Pforzheim. Im Vorfeld hatten wir uns Gedanken
gemacht, wie wir die Wiimotes, die die Bewegungen der Tänzer tracken,
an deren Körper befestigen und waren überein gekommen, dass wir
Pulswärmer zur Fixierung benutzen. In der Probe wurden diese
allerdings auf eine harte Probe gestellt, da sich die Wiimotes
aufgrund der Trägheit der Masse bei hohen Beschleunigungen der
einzelnen Gliedmaßen der Tänzer nicht an die physikalischen
Gesetzmäßigkeiten der Zentripetalkraft hielten, sondern zum Teil im
hohen Bogen durch die Luft flogen. Wir hatten uns im Vorfeld schon um
eine Kamera gekümmert, die wir zusätzlich als visuelles Bindeglied
zwischen den binären Tracking-Daten und den Bewegungen der Tänzer
einsetzten. Pünktlich um 11 Uhr trafen wir uns mit Professor Friedmann im
Foyer des Theaters Pforzheim. Von dort aus gingen wir zum Hintereingang des
Komplexes, wo wir von James Sutherland abgeholt wurden, mit ihm in der
Cafete ein sehr interessantes Gespräch über Orpheus und Eurydike
führten und er uns im Anschluss seine stellvertretende Leiterin des
Balletts Elsa Genova vorstellte. Daraufhin führte er uns an den
„Brettern, die die Welt bedeuten“ vorbei in den Proberaum, der mit
einer speziellem Tanzmatte ausgelegt war, sodass wir gezwungen waren
unsere Schuhe ausziehen. Wir waren natürlich alle froh, dass wir keine
Löcher in den Socken hatten und machten uns sofort an die Arbeit, die
Kamera auszurichten, die Laptops mit einem eigens entwickelten Patch
zur binären Datenaufnahme zum Laufen zu bringen und anschließend die
Wiimotes an den durchtrainierten Körpern der Tänzer zu befestigen. Wie
sich herausstellte, hatte das Tanzensemble keine Berührungsängste und
dass sie im Vorfeld fast aufgeregter waren als wir, machte sie im
Endeffekt noch reizender. Sie waren uns sofort sehr vertraut und
sympathisch.

Nachdem wir die Wiimotes via Bluetooth mit den Rechnern verbunden
hatten und an den Waden und Oberarmen der Tänzer befestigt hatten,
konnte die Probe beginnen. Sie zogen uns sofort mit ihrer
Körperbeherrschung und der sehr ausdrucksstarken Choreografie in ihren
Bann. Das Tracking verlief ohne Probleme, bis auf eine Bewegung, bei
der eine Tänzerin ihr Bein gen Decke schleuderte und dabei sich die
Wiimote aus der Befestigung löste und im hohen Bogen auf den Boden
knallte. Die Wiimote stellte sich als sehr robust heraus, da sie nach
dem Aufprall immer noch Daten an das Macbook sendete. Wir durften
insgesamt zwei Stunden den Proben beiwohnen, bei der wir effektiv eine
Stunde Referenzdaten sammelten und synchron die Bewegungen der Tänzer
filmten. Nach einem sehr eindrucksvollen Ausflug machten wir uns
wieder auf den Weg nach Furtwangen. Mit den Referenzdaten konnten wir
unser System „feintunen“ und unter realen Bedingungen testen.

Um diesen Titel zu verstehen, muss ich ein wenig mehr ausholen:

Unsere Interaktion nahm mit den Projekttagen am ZKM eine Wendung, die für unser Projekt einen super Erfolg bedeuten könnte.
Dort hat sich Herr Friedmann mit unserem neuen Professor, Herrn Robert Eikmeyer, getroffen und ihm unter anderem auch von unserem Projekt erzählt. Er erklärte ihm, dass wir für unsere Performance im ZKM ausgebildete Tänzer suchen.

Herr Eikmeyer erzählte uns, dass er Kontakt zum Pforzheimer Theater bzw. dem dort ansässigen Ballett habe. So kam es, dass er und Herr Friedmann für unser Projekt und für den Master-Studiengang CSM der Fakultät Digitale Medien Kontakt zu James Sutherland aufnahmen. Herr Sutherland war sehr interessiert an unserem Projekt und das bedeutet,

dass das Pforzheimer Ballett am 18. Februar 2010 im ZKM/Kubus zu unserem ISES performen wird.

Für uns gilt es nun alles für die Tänzer des Balletts zu optimieren und die Interaktion voran zu treiben. Eigentlich war es unser Ziel, dass die Tänzer sich auf unseren Tanzmatten bewegen und performen. Jedoch gab es, wie sich bei einen Treffen zwischen Herrn Friedmann und James Sutherland herausstellte, ein kleines aber entscheidendes Problem: Der Boden auf dem sich die Balletttänzer bewegen, muss eben sein und darf keinerlei Huckel aufweisen. Was also nun? Die Tanzmatten aufschneiden und die Technik auf  planen Untergrund bringen? Nein, wir mussten uns etwas anderes überlegen. Nachdem sich auch das Kamera- Tracking für uns nicht eignete, da die Anpassung an die Lichtverhältnisse im Kubus schwierig ist, kam Herrn Friedmann die Idee mit Wii-Controllern (Wiimotes) die Beschleunigungen der Tänzer zu tracken.

Unser neues und jetzt offiziell festes Interaktionsmedium sind nun acht Wiimotes, die an verschiedenen Körperstellen der Tänzer befestigt werden sollen.

Wie genau die Wiimotes befestigt werden sollen, ohne die Tänzer in ihren Bewegungen einzuschränken und wie die Bewegungen der Tänzer ungefähr aussehen, werden wir morgen live sehen. Denn morgen werden Patrick, Alex G., Herr Friedmann und ich nach Pforzheim fahren und Herrn Sutherland und seine Ballett-Gruppe besuchen und ihnen beim Proben zusehen. Aber wir werden nicht nur zusehen, sondern die Proben auf Kamera aufnehmen und auch zu Testzwecken die Beschleunigungen über die Wiimotes aufnehmen. So können wir die Interaktion vor dem Auftritt so optimieren, dass es auch ordentlich was zu Hören gibt, wenn das Ballett loslegt.

Wie bereits in dem vorigen Artikel angekündigt, sind wir von unserem Kroonde-Gamma-Trackingsystem abgekommen und zu der viel günstigeren und einfacher zu bedienenden Variante, der Tanzmatte, ausgewichen.
Inspiriert wurden wir dabei von Patricks Mini-Fußschalter Marke Eigenbau, welche nach dem gleichen Prinzip aufgebaut ist. So haben wir uns für den Anfang drei Matten bestellt und diese mit dem mitgelieferten Tanz-Spiel getestet (Videos werden noch nachgeliefert).

Die Fragen dabei waren:

• akzeptiert MAX/MSP mehrere USB-Verbindungen gleichzeitig?
• akzeptiert der Mac-Mini die USB-Verbindungen gleichzeitig?

Um die Lieferzeit der Tanzmatten zu überbrücken, haben wir vorerst mit dem Nummern-Block der Tastatur geprobt und gearbeitet, und ein kleines Testpatch entwickelt.

Die Tanzmatte ist unser neues Interaktionsmittel

Nachdem die Tanzmatten dann da waren, hatten wir auch hier keine Probleme die Signale der Matten in MAX/MSP abzugreifen und zu verarbeiten. Zumindest klappt das am PC wunderbar.

Das Problem kam erst dann, als wir das Ganze mit dem Mac-Mini ausprobieren wollten. Denn der Mac-Mini hat die Tanzmatten nicht als drei verscheidene Produkte erkannt, sondern nur als eines. Dieses Problem haben wir vorläufig mit dem Senden und Empfangen der Signale über UDP gelöst. Das heißt, wie greifen die Signale am PC ab und senden sie per UDP zum Mac-Mini, auf dem ja auch unseren andern Patches und Zirkonium läuft.
Diese Lösung  sollte jedoch nicht die endgültige sein.

Im Laufe dieser Woche haben wir die Interaktions-Patches erweitert und verfeinert und an unser Hauptpatch angepasst, sodas sie am Ende leicht zu implementieren sind.

Später soll die Tanzmatte genutzt werden, um aktiv in unser laufendes System eingreifen zu können. Gedacht sind Eingriffe auf die Temperatur, das Nahrungsmittelvorkommen oder den Energiehaushalt verschiedener Zonen.  Also seid gespannt auf unser neues Interaktionsmedium!

In der Entwicklungszeit des 1. Prototypen war meine Aufgabe, mich um die Evaluierung der Trackingsysteme zu kümmern.
In der Evaluationssphase habe ich mich auf das beschränkt, was uns die HFU an Tracking-Systemen zur Verfügung stellt. Das Kroonde Gamma (nichtoptisches Tracking-Verfahren) eignet sich hervorragend für die „Verdrahtung” eines Tänzers. Man kann es ohne großen Aufwand überall mit hin nehmen. Es können eine ganze Reihe von Sensoren in die Kleidung des Tänzers integriert werden, um seine Bewegung in Echtzeit bis auf den Millimeter genau zu analysieren. Per Funk werden die Werte an eine Empfängereinheit gesendet, welche mit einem oder mehreren Rechner gekoppelt ist.

Transmitter Pack und Interface

Für das System ist keine Installation erforderlich, das Kroonde schickt anhand der IP-Adresse die Informationen automatisch an seinen Bestimmungsort. Die UDP-Daten werden analog von den Sensoren zu einem oder mehreren Computern via Ethernet übertragen. Der effektive Bereich beträgt ca. 30 Meter in schwierigen Umgebungen und ca. 90 Meter im Freien.

Die speziellen Sensoren z.B. Beschleunigungs-Sensoren, die wir für unser Vorhaben benötigen, übersteigen unser Budget um ein Vielfaches. Außerdem ist das Radiometrixmodul, also der Sender im 
Transmitterpack, defekt.
 So habe ich eine Direkteinspeisung an das Interface gebastelt, so 
dass man das Signal aus dem Transmitterpack vor dem Radiometrixmodul 
abgreift und dann via Kabel direkt in das Interface einspeisen kann. Die 
Digitalisierung funktioniert  jetzt wieder einwandfrei aber man ist nun in seiner Bewegungsfreiheit stark eingeschränkt. Der Nutzen für unser interaktives Audio-Ökosystem ist sehr hoch, da wir es auf Grund der Portabilität auch im ZKM für unsere Performance nutzen können. Ausserdem ist es via OSC implementierbar in Max.

Das Transmitter Pack enthält 16 analoge Anschlussmöglichkeiten für diverse Sensoren (2 Verbindungen mit je 8 Sensoren). Um mit dem „Kroonde“ arbeiten und experimentieren zu können, habe ich zusätzlich noch eine Testeinheit gebastelt mit dem man über 
Tastendruck der Poties genau wie mit Sensoren digitale Signale 
erzeugen kann. Man kann 
natürlich auch jeden beliebigen Sensor anstöpseln.

Prototyp zur Simulation von Sensoren

Bei der Vorstellung dieses Prototyps kam die Idee auf, dass man die winzig kleinen Poties auch einfach per Fußschalter verbinden könnte. Diese Idee war ausschlaggebend für eine weitere Idee. Anstelle von Fussschaltern einfach eine Tanzmatte mit integrierten Induktoren zu verwenden, da diese im Vergleich zu teuren Sensoren sehr preisgünstig ist und einfach per USB in das System implementiert werden kann.

Um diese letzte Idee testen zu können, haben wir uns jetzt drei USB-Tanzmatten bestellt. Jetzt ist die Frage, ob MAX die Signale von allen dreien gleichzeitig empfagen kann. Sollte dies so sein, werden wir uns noch eine vierte Tanzmatte bestellen, um den Interaktionsradius zu erhöhen.