Der Instrumente zu Midi Konverter arbeitet in Echtzeit. Dabei wird ein monophones Audiosignal in einen Midi- Stream gewandelt. Die Entwicklungsplattform dazu war ein Trimedia-DSP-Board. Dieses steckt im PCI - Bus eines PC's. Das Programm erkennt die Tonhöhe des Audiosignals und gibt diese auf der Midi Schnittstelle der PC Soundkarte aus.

Die Erkennung ist für rein monophone (einstimmige) Signale ausgelegt. Für Instrumente, die solche Klänge erzeugen, funktioniert der Konverter auch sehr gut. Dies ist für alle getesteten Blasinstrumente der Fall. Wenn das Audiosignal jedoch durch hallende oder nachklingende Töne mehrstimmig wird, können Probleme bei der Erkennung auftreten.

Zur Steuerung des DSP Programms wurde eine Windowsoberfläche erstellt. Diese ermöglicht das Verändern der Parameter während das DSP Programm läuft. Die Parameter beeinflussen die Midiausgabe und den Erkennungsalgorithmus.

Das Erkennungsverfahren basiert auf einer Nulldurchgangszählung des Audiosignals. Dabei werden die Abtastwerte zwischen den Nulldurchgängen gezählt. Die gezählten Punkte können dann in die Frequenz umgerechnet werden. Somit ist bekannt wie hoch die anliegende Frequenz ist. Damit nicht die Oberwellen eines Klanges detektiert werden, muss das Signal gefiltert werden. Der Konverter verfügt über 9 Filter Stufen. Die Filter können wahlweise auf Tiefpass oder Bandpass geschaltet werden. Der Konverter erkennt, in welcher Filterstufe die Grundschwingung des Audiosignals zu finden ist und gibt die dort gefundene Frequenz als entsprechende Note inklusive Anschlagsstärke (Velocity) aus.

In unserer Diplomarbeit geht es darum, via digitale Bildverarbeitung eine Person mit einem definiertem farbigen T-Shirt zu erkennen. Wird die Person, die sich z.B. auf einer Theaterbühne befindet, detektiert, so kann ihre Position bestimmt werden. Mit der gefundenen, zweidimensionalen Position werden die Lautstärken-Parameter der Surround-Anlage gesteuert. Für das Publikum, welches sich im Zentrum der Lautsprecher befindet, entsteht so die Illusion, dass sich die Schallquelle gleich wie der Schauspieler bewegt. Bisher löste man das Problem, indem man der Person mit einem Joystick folgte.

Für diese Aufgabe übernahmen wir das Videogesteuerte Audio-Surround Panning (VASP) System. Bei diesem System handelt es sich um eine Diplomarbeit aus dem Jahr 1998. Wir erweiterten diese Arbeit mit der T-Shirt Erkennung.

Zuerst entwickelten und simulierten wir anhand realer Bilder die Bildverarbeitung. Dazu verwendeten wir die Matlab Image Processing Toolbox. Wir suchten nach Lösungen für die Erkennung von Farben, die Detektion von Bewegungen und das Vermessen von Farbflächen. Die dynamischen Eigenschaften der Erkennung konnten wir nicht mit Matlab simulieren. Dies konnten wir erst mit der Implementation der Bildverarbeitungsalgorithmen im Echtzeitsystem lösen.

In der Testphase stellte sich heraus, dass die implementierte T-Shirt Erkennung nur die vorhergesagten Einschränkungen aufweist, die System bedingt sind. Es können nun also Personen erkannt und ihre Position bestimmt werden. Die Erkennung funktioniert mit mehreren Personen, welche verschiedenfarbige T-Shirts tragen und sogar bei zwei Personen mit gleiche farbigen T-Shirts, jedoch mit kleinen Einschränkungen.