Einleitung

Im Rahmen meiner Bachelorarbeit habe ich mich mit dem Wahrnehmungsphänomen der Synästhesie beschäftigt und wie diese auf ein alternatives Notensystem übertragen werden kann.

Problemstellung

Kinder verlieren den Spaß am Musizieren, wen sie zu früh damit konfrontiert werden und noch nicht verstehen, wie es funktioniert.

Kinder im Vorschulalter sind meist von der musikalischen Theorie überfordert. Vorschulkinder wollen in diesem Alter genauer wissen, warum eine Regel in der Musiktheorie sich so verhält. In den meisten Fällen stoßen sie aber bei ihrer Suche nach dem Wie auf komplizierte Regeln und Theorien und verlieren so schnell das Interesse an Musik oder sind überfordert. Da stellt sich mir die Frage. Gibt es einen anderen Weg, Musiklehre erfahrbar zu machen?

Mein Ziel

Ich möchte ein ganzheitliches System schaffen, das sehen und hören miteinander verbindet und damit ein vollkommenes Erleben ermöglicht. Das führt auch zu einem besseren Verständnis und Lernerfolg bei den Kindern.  Das Verstehen und Erkennen von selbst führt zu intrinsischer Motivation, zu lernen. Ich möchte das Notensystem gegen ein System aus farbigen Symbolen austauschen, die aus der Synästhesie abgeleitet sind. Zudem möchte ich keine einfache „Clickdummy“ bauen, sondern eine funktionierende Applikation mit echten Parametern, die in der realen Welt funktionieren.

Die konkrete Idee

Ich arbeite mit dem Programm Touchdesigner von Derivative, Abelton und TouchOSC, um meine Idee umzusetzen. Touchdesigner ist ein parametrisches 3D Programm, in dem man Operatoren aneinanderreihen kann, um so ein Netzwerk aufzubauen. Touchdesigner kann Schnittstellen zu MIDI-Noten, Bewegungssensoren oder Websockets verwenden. Das Programm war für meine Zwecke bestens geeignet. Denn es integriert sich in andere Programme wie Ableton oder auch Webseiten wie Open Dalle.

Ich entwickelte eine Vielzahl unterschiedlicher Visualisierungsformen, die alle über Sound gesteuert wurden. In diesem Zeitraum habe ich viel experimentiert, indem ich mit Signalen wie der Stimme oder auch einem Song von mir experimentierte, um zu sehen, wo ich am besten ansetzen kann, und was den besten Effekt erzielt. Durch die Verwendung von Touchdesigner konnte ich das Wissen aufbauen, welches für meine finale Applikation notwendig war.

Mapping von Stimme

Farben

Die Diskussion über die Farbe war in meiner Recherche von großer Bedeutung. Nun stellte sich für mich die Frage, welche Farben die richtigen sind und welches System für mich am meisten Sinn macht. Ich nutze das System von Synästhesie, um eine Verbindung zwischen Ton und Farbe herzustellen. Folglich habe ich die Farben nutzen, die Alexander Skrjabin mit seiner Synästhesie gesehen hat.

Finaler Prototyp/ Prozess

Die finale Version meiner Applikation trägt den vorläufigen Namen „Marble Vision“. Die Synästhesie ist eine Schlüsselkomponente meiner Applikation, indem ich das Phänomen der Verschmelzung der Sinne als Ausgangspunkt für meine Applikation ausgewählt habe. Synästhetiker*innen sind Menschen, die eine direkte Korrelation zwischen Farben und Tönen wahrnehmen. In Deutschland sind 4 Prozent der Bevölkerung Synästhet*innen, das entspricht 3,2 Millionen Menschen in Deutschland.

Ich habe die Farbwerte von Alexander Skrjabin als Referenzwerte gewählt. Ein russischer Komponist und Synästhetiker des 19. Jahrhunderts, dessen Aufzeichnungen belegen, dass er bestimmte Töne in Bezug auf Töne gesehen hat. 

Daraufhin habe ich diese Farben auf die Tasten meines MIDI Keyboards gemappt und ein System entwickelt, um eine Mischung sowie eine organische Visualisierung des Systems zu gewährleisten. Die meisten Synästhet*innen haben keine einheitliche Sichtweise der Töne und dies kann sich auch mit Harmonien oder Instrumenten ändern. Ich konnte feststellen, dass Synästhesisten je höher die Oktave gespielt wird, die Deckkraft der Farbe geringer wahrnehmen. In einem Interview mit einer Synästhetin wurde mir berichtet, dass alle Töne eine Struktur und Textur aufweisen und dass diese Elemente für Synästhetinnen essenziell sind. Ein weiterer wichtiger Aspekt ist, dass das entstehende Tonbild dreidimensional im inneren Auge wahrgenommen wird und nicht nur als Fläche. 

Deshalb habe ich versucht, meine Visualisierung möglichst organisch zu gestalten, um auf die Rückmeldung einzugehen.  Ich konnte mithilfe eines doppelten Feedbacksystems die organische Visualisierungsform erreichen.

User Testing

Um sicherzustellen, dass meine Applikation auch für Kinder geeignet ist, habe ich ein User-Testing mit drei Personen im Alter von fünfeinhalb, fünfdreiviertel und sechs Jahren durchgeführt.

Entwicklung des Systems für OSC (Open Sound Control)

Um auch an den Transfer meines Systems zu denken und weil ich nicht erwarte, dass jeder ein MIDI Keyboard zu Hause hat, habe ich mich dazu entschieden, eine App zu entwickeln, die über mein iPad läuft und über OSC (Open Sound Control) MIDI-Daten an Touchdesigner sendet. Ich musste mit der Programmiersprache Python arbeiten, um zu gewährleisten, dass beide Programme Informationen austauschen und ich diese auch verwenden konnte.

Die Prototypen

Out of Home für Musiker 

Ich möchte zeigen, wie die Grafiken aus meiner Experimentierphase für die Corporate Identity von Musiker*innen genutzt werden können. Ich möchte darauf hinweisen, dass man die Musik der Künstler durch mein System nutzen kann, um Grafiken zu erstellen und gleichzeitig auch mit diesen Grafiken für die Musik oder den Künstler werben kann.

Ausblick 

Ich kann meine finale Applikation als Schlüsselkomponente nutzen, die mir ermöglicht, darauf aufzubauen. Ich kann eine Plattform für Synästhet*innen aufbauen, auf der sie sich austauschen oder auch zeigen können, welche Farben sie sehen. Des Weiteren könnte ich das System zu einer Lernplattform für Kinder ausbauen, auf der Kinder die Farben als Grundlage für Musikunterricht nutzen können. In diesem Fall werde ich das Notensystem nicht ersetzen, sondern nur eine alternative Methode anbieten, die Kinder nicht überfordert oder einschüchtert. Um Kindern das sorgenfreie Lernen der Musik zu ermöglichen und dadurch mehr auf die eigenen Erfahrungen zu setzen und das schnelle Wiederfinden von Tönen. Ebenso habe ich so viele Anwendungen entwickelt, dass ich eine eigene Installation aufbauen oder mich auch an Installationen mit dem Thema Synästhesie oder Wahrnehmung anschließen kann. Mein System ermöglicht einen Perspektivwechsel, um in Echtzeit Menschen, die keine Synästhesie empfinden können, das Phänomen nahezubringen oder ein Verständnis dafür zu entwickeln.

Dokumentation

Recherche