BEZIEHUNGEN ZWISCHEN KLANG UND BILD

ZIEL

In diesem Experiment soll erstmalig ein komplexes Esperiment beschrieben werden, das aus mehreren kleinen Experimenten besteht und bei dem die Beziehung zwischen Klang und Bild thematisiert wird.

ENTSTEHUNG

Ausgangspunkt für die Idee zu diesem Experiment waren drei isolierte, spontane Experimente mit Bildern und Klängen (erste Spuren finden sich auf der Seite Soundexperimente Phase 2 ganz unten bei den Nummern Nr.218-219).

Nach dem Herumprobieren mit einigen Bildverarbeitungsalgorithmen bei einer Bildfolge B1 mit einem komplexen Kriterium K(B1) hatte ich ausprobiert, was passiert, wenn man zwei zuvor erstellte Klangbilder S1 und S2 mit jeweiligen Kriterien K(S1) und K(S2) mit der Bildfolge B1 parallelisiert. ‚Intuitiv‘ fand ich, dass das Klangbild S2 ‚besser‘ zu B1 passt als das Klangbild S1.

Nach Fertigstellung eines einfachen experimentellen Videos V1(B1,S2) ‚entstand‘ der Eindruck, dass die ‚Passung‘ von B1 und S2 noch nicht ‚optimal‘ sei. ‚Intuitiv‘ gibt es den ‚Eindruck‘, dass man ausgehend von dem klanggebundenen Kriterium K(S2) eine ‚optimierte‘ Version von K(B1) benötigt, was zur ‚Konstruktion‘ einer neuen Bildfolge B2 anregt.

Es gibt also folgendes Gesamtszenario: Bezogen auf eine Population POP1 (aktuell Anz(POP1) = 1; wünschenswert ist Anz(POP1) > 1) gibt es ein ‚Urteil‘ darüber, ob ein Klangbild und eine Bildfolge ‚gut‘ passen oder ‚weniger gut‘, geschrieben P(K(B), K(S))=X mit X aus dem Intervall [0,1]. P()=0 soll heißen ‚passt gar nicht‘ und P()=1 soll heißen ‚passt optimal‘.

Die Besonderheit bei dieser Anordnung ist, dass das ‚Urteil‘ P()=X auf der Basis von subjektiven Einschätzungen ausgesprochen wird, deren innere Struktur und deren inneres Zustandekommen weitgehend ‚im Dunkeln‘ liegen, da sie nicht bewusst ablaufen. Dies bedeutet, dass man versucht das jeweilige Kriterium K einerseits anhand von ‚Materialeigenschaften‘ zu beschreiben – indiziert durch Km – und andererseits die ‚unsichtbaren‘ inneren Eigenschaften K über diese äußeren Eigenschaften zu indizieren.

Während man also bei einer Population POP mit Anz(POP)>1 meist eine Einigung über die Materialeigenschaften Km eines Kriteriums bekommen kann, ist dies bei den internen Eigenschaften eines Kriteriums K nicht ohne weiteres oder nur angenähert möglich. Dies verweist dann drauf, dass die ‚Innenwelt‘ eines Mitglieds P1 von POP ‚anders‘ ist als die Innenwelt eines anderen Mitglieds P2.

EXPERIMENT PLAN

Aus diesen ‚intuitiven‘ Vorversuchen hat sich nun folgender Plan für ein Experiment ergeben:

1. Vorstellen der Bildfolge B1 mit äußerem Kriterium Km(B1)
2. Vorstellen des Klangbildes S1 mit äußerem Kriterium Km(S1)
3. Vorstellen des Klangbildes S2 mit äußerem Kriterium Km(S2)
4. Vorstellen einer Kombination von B1 mit S1 in Form eines Videos V(B1, S1).
5. Zwischenauswertung Urteil P(K(B1), K(S1))=X
6. Vorstellen einer Kombination von B1 mit S2 in Form eines Videos V(B1, S2).
7. Zwischenauswertung Urteil P(K(B1), K(S2))=X
8. Versuch der Konstruktion einer neuen Bildfolge B2 mit äußerem Kriterium Km(B2)
9. Vorstellen einer Kombination von B2 mit S1 in Form eines Videos V(B2, S1).
10. Zwischenauswertung Urteil P(K(B2), K(S1))=X
11. Vorstellen einer Kombination von B2 mit S2 in Form eines Videos V(B2, S2)
12. Zwischenauswertung Urteil P(K(B2), K(S2))=X
13. Abschließende Diskussion zum Experiment X.3

1. Während die Arbeit an der Komposition von Experiment Nr.X2 noch läuft, stellen sich viele Gedanken ein, die aus allen möglichen Kombinationen gespeist werden.

POTENTIELLE ZUHÖRER

2. Obgleich die Kompositonsarbeit nicht von einem bestimmten Zuhörer ausgeht, entsteht doch unwillkürliche immer wieder ein fiktiver Dialog zwischen einem möglichen Zuhörer und dem aktuellen Sound.

3. Für die überwältigende Menge der Menschen stellt experimentelle Musik keine wirkliche Option im Alltag dar.

4. Man hat sich zwar daran gewöhnt, dass durch die Fortentwicklung der Technik unvorstellbar kleine Dinge mittels Mikroskopen ’sichtbar‘ gemacht werden können, dass man elektromagnetische Wellen als Klang aus dem Radio hören kann, das alle möglichen Sensoren Vorgänge messen können, die vorher unbekannt waren, dass man aber mit dem Computer und geeigneten Zusatzgeräten nun kontrolliert Klänge erzeugen kann, die über die traditionellen Musikinstrumente und Stimmen hinausgehen, das erzeugt immer noch Erstaunen und vielfache Ablehnung.

5. Aber selbst mit Blick auf traditionelle Klangkörper wie einem Sinfonieorchester sind die meisten Zuhörer nicht bereit, alle Klangmuster zu hören, die solch ein Klangkörper hervorbringen kann. Für die meisten beschränkt sich ‚Musik‘ auf sehr wenige Muster; ein offener, neugieriger Umgang mit Klängen ist selten. Dies bleibt ‚Revoluzzern‘, ‚Oppositionellen‘, ‚Verrückten‘ und dergleichen überlassen, sich ‚anderen‘ Klängen auszusetzen.

NICHT MUSIK, SONDERN KLANG (SOUND)

6. Manchem hilft es vielleicht, im Kopf einen Schalter dadurch umzulegen, dass man von vornherein sagt, dass es nicht um ‚Musik wie früher‘ geht, vielleicht überhaupt nicht um ‚Musik‘, sondern einfach nur um ‚Klänge‘, um Wanderungen in neuen, unbekannten Klanglandschaften, um ‚Expeditionen‘, um ‚Experimente‘. Denn so, wie früher die Menschen hoffnungsvoll aufgebrochen sind, um neue Kontinente zu entdecken, so gibt es heute durch die neue Technologie des Computers völlig neue Klangräume zu entdecken, die es bis dato nicht gab; sie waren einfach nicht zugänglich. Ob manche dieser neuen Klangräume später einmal auch als ‚Musik‘ bezeichnet werden, sei hier dahin gestellt; ist eigentlich nicht wichtig.

EXPERIMENTIEREN MIT KLÄNGEN

7. Wenn man ein bekanntes Instrument nimmt und in ‚gewohnter‘ Weise darauf spielt, wird man Klänge hören, die man – mehr oder weniger – ‚kennt‘. Es gibt keine wirklich neuen Klänge. Und wenn man eine Kombination von Instrumenten nimmt – wie z.B. in einem großen Orchester –, dann kann ein Komponist sich ausdenken, was er will, er wird eingesperrt bleiben in den Vorgaben der vorhandenen Instrumente.

8. Dazu kommt, dass es zu jedem normalen Instrument auch einen Menschen geben muss, der in der Lage ist, das Instrument in einer bestimmten Weise zu spielen. Will man Klänge real ausprobieren, müssen alle diese ‚Instrumentalisten‘ zur Verfügung stehen und sie müssen die Anweisungen verstehen, was sie spielen sollen. Die übliche Notenschrift ist dazu zu grob, und neue Notationsweisen müssten erst mühsam eintrainiert werden. Dies alles macht ein flexibles, kreatives Erforschen von neuen Klangräumen mit realen Orchestern sehr schwer bis unmöglich; für ’normale‘ Menschen quasi unerreichbar.

9. Ganz anders ist die Lage, wenn man einen modernen Computer zur Verfügung hat (z.B. einen PC mit Windows7 (oder …)), und dazu eine Software (z.B. ‚live9‘ von ableton.com). In diesem Fall kann jedermann im Prinzip jeden denkbaren Klang erzeugen bzw. man kann beliebige Klänge aufnehmen oder direkt einspielen und diese aufgenommen Klänge dann beliebig verarbeiten.

10. Immer wieder hört man das Argument, ja, diese Klänge seien niemals genau die gleichen, wie wenn ein menschlicher Instrumentalist auf einem realen Instrument spielt. Ja, wenn es um die Frage geht, ob man mittels Computer ein reales Instrument ‚imitieren‘ will, aber dies wäre nur ein sehr spezieller Fall. Tatsächlich gibt es mit ‚Imitationen‘ realer Instrumente noch gewisse Grenzen. Das ist hier aber auch gar nicht der Punkt. Es geht nicht darum, etwas 100% zu imitieren, was es schon gibt, sondern es geht primär darum, etwas zu erforschen, was es ’noch nicht‘ gibt!!!!!! Dazu bietet die neue Technologie so viele schier unendlich viele Möglichkeiten, dass ein Menschenleben nicht ausreicht, um nur einen Bruchteil von diesen neuen Klängen zu erforschen.

11. Erschwerend kommt noch hinzu, dass die Menschen, die neue Klänge erzeugen können und es vielleicht sogar wollen, in der Regel so mit den gewohnten Klangmustern verwoben sind, dass Sie es oft gar nicht schaffen, neue Klänge zu erforschen. Wie soll man etas tun, was man gar nicht kennt?

12. Für jemanden, der sich normalerweise nicht mit Klangerzeugung beschäftigt, mag diese merkwürdig klingen: Wieso soll es so schwer sein, etwas ‚Neues‘ zu tun? Aber jeder, der es real versucht, stellt alsbald fest, ‚wirklich Neues‘ ist ‚hart‘. Man hat keine wirklichen Ansatzpunkte, und wie oft endet der Ausflug ‚ins Ungewisse‘ dort, wo man immer schon war, im allseits ‚Bekannten‘.

13. [Anmerkung: Ein ähnliches Problem haben wir z.B. auch bei der allgemeinen Programmierung von Computern. Obwohl man Computer so programmieren kann, dass sie Lernen, Gefühle haben, Entscheiden, usw. gibt es auf der ganzen Welt kaum Computer (gibt es überhaupt einen?), die dies können, weil die Menschen, die programmieren, nicht wissen, wie sie dies tun sollen. Die Möglichkeit zu ‚Neuem‘ ist das eine, diese Möglichkeiten konstruktiv nutzen zu können, ist etwas ganz anderes.]

WIRKLICH NEUES FINDEN

14. Moderne Computer mit der entsprechenden Hardware (und ‚Peripherie‘) bieten viele Möglichkeiten, den Raum des Bekannten in Richtung des noch Unbekannten zu verlassen.

15. Die wichtigste Möglichkeit besteht in der algorithmischen Transformation von Bekanntem. Man spielt ein Instrument wie gewohnt oder nimmt einen Klang aus der Umgebung auf und wendet darauf unterschiedliche Algorithmen an, die diesen Ausgangsklang verändern, transformieren. Schon hier gibt es unendliche Möglichkeiten neue Klänge zu finden, mit denen man weiter arbeiten kann.

16. …

(Letzte Änderung 15.Sept.2014, 22:00h)

Es folgt hier Musikexperiment Nr.X2 entsprechend den Regeln, die in der Einleitung von Nr.X1 formuliert worden sind.

URAUFFÜHRUNG

Dieses Experiment geschieht mit Blick auf die Aufführung am Sa, 8.November 2014 im Rahmen der öffentlichen Veranstaltung Informatik und Gesellschaft an der Frankfurt University of Applied Sciences.

KOMPOSITIONSMOTIVE

Dieses Stück, gedacht als ‚Eingangsereignis‘, soll mindestens drei Leitideen berücksichtigen: (i) Es soll zeigen, wie die Soundproduktion durch den Computer radikal verändert worden ist. Von den vielen hier einschlägigen Aspekten soll besonders jener hervorgehoben werden, dass man mit einem Computer nicht nur bekannte Sounds rein elektronisch ‚imitieren‘, sondern auch Klänge ’neu generieren‘ kann. (ii) Es soll ein ‚hybrides‘ Ereignis sein, d.h. vorgefertigte softwaregestützte Klänge sollen mit einer Live-Performance eines Schlagzeugs mit realem Schlagzeuger verknüpft werden; und (iii) zusätzlich zum Sound wird es einen Bildkanal geben, über den Bilder (einschließlich Texte) eingespielt werden können.

MUSIKTHEORETISCH

Angeregt durch die Überlegungen aus dem Blogeintrag Musik Experimente Theorie: Rolle des Akteurs folgt dieses Experiment der Methode des ‚radically unplugged‘ Komponierens, bei dem sich die wesentlichen Strukturen indirekt, ‚bottom-up‘, ‚induktiv‘ aus den Experimenten mit den Teilkomponenten ergeben. Dies bedeutet, dass der RUM-Komponist den Klängen eine gewisse ‚Vorfahrt‘ einräumt, so dass die Klänge ihre ‚inneren Eigenarten‘ stärker einbringen können, als wenn der Komponist mit ‚vorgefassten‘ Meinungen/ Mustern/ Erwartungen Klänge entsprechend zu formieren sucht.
Live-Schlagzeug: Aktuell ist noch nicht ganz klar, wie das Schlagzeug mit einem realen Schlagzeuger am besten live eingeblendet werden kann. Folgende Varianten sind denkbar: (i) Normales Schlagzeug (mit Mikrophonen und entsprechender Schallumgebung) spielt live zum Sound (mit oder ohne vorausgehender Kenntnis des Sounds); (ii) das Schlagzeug ist ein elektronisches Schlagzeug, dessen Sound durch spezielle Soundprozessoren verfremdet werden kann; durch vorausgehende Tests werden spezielle Soundeffekte ermittelt, die für die Live-Performance bereitgestellt werden; das elektronische Schlagzeug wird dann Live gespielt, aber mit den zusätzlichen Sound-Effekten; (iii) … ? … Der Live-Charakter ist wichtig!

ERZEUGUNGSPROTOKOLL

(Achtung: Dieses Protokoll ist noch nicht vollständig, da Entwicklungsmodus. Vollständige Ausführung erst nach Abschluss)

PART I

1. Das Experiment startet mit Operator Om1 = GrandPianoEqualBrightSolo, indem eine spontane Tastenfolge auf einem E-Piano gespielt wird. Die Tastenanschläge werden als Midi-Signale zum Program ableton live9 gesendet und in Spur 1 aufgezeichnet.

2. Ab Zeitpunkt 0:38 übernimmt ein digitales Cello die Piano-Signale und spielt sie parallel ab. Dies ist Operator Om2 = CelloSectionLegato , der auf das Signal K1=Om1(K0) angewendet wird. Es entsteht K2=(Om2(Om1(K0))).

3. Ab Zeitpunkt 1:12 wird Operator Om3 = M4L-FlyingWaves aktiv. Er verändert das Piano-Signal nach verschiedenen Mustern, z.T. zufällig.

PART II

4. Bis 4:55 stoppen die bisherigen Operatoren und ein neuer Operator Om4 startet mit einem neuen Eingangssignal K0′. Om4 = DoubleBassSectionLegato. K1b=Om4(K0′)

5. Ab 5:36 beginnt Operator Om5=ConcertFluteSoloLegatoVibrato auch mit einem neuen Eingangssignal K0“. K1c=Om5(K0“)

6. Ab 5:36 beginn auch Operator Om6=ClarinetSectionLegatoVibrato, übernimmt das Eingangssignal vonK0“ von der Flöte. K2c=Om6(K1c)

7. Ab 6:00 beginnt Operator Om7=EssHaitchOneOhOne von M4L angewendet auf das Signal vom Doppelbass Om4, also Om7(K1b)=K2.

8. Ab 7:16 beginnt Om8=M4L-ReversalOfFortune angewendet auf die Flöte, also Om8(K1c)=K2cc.

Zusammenschau Part II

Zusammenschau Part I und II

PART III

9. Ab 9:00 beginnt Operator Om9 =Akustik-Mikrophon mit neuem Input K04 und liefert K1d

10. Ab 9:00 parallel zu Om10 Operator Om10=ElectricDistortion, bearbeitet K1d zu K2d.

11. Ab 9:20 Operator Om11=GrandPiano mit neuem Input K05, erzeugt K1e.

12. Ab 9:20 parallel Om12=Arpeggiator, angewendet auf Output K1e vom Om11-Piano, erzeugt K1f

PART IV

13. Ab 11:16 Operator Om13=OlympusAmbiences mit neuem Input K06, erzeugt K1g

14. Ab 11:31 Opetator Om14=OlympusMenSustain mit neuem Input K07, erzeugt K1h

15. Ab 11:50 Operator Om15=OlympusWomenSustain mit neuem Input K08 erzeugt K1i

Das ergibt den neuen Teil X2-Part-IV

Insgesamt sieht X2 Part I – II – III – IV wie folgt aus:

PART V

16. Ab 13:22 Operator Om16=Gefilterter Klang von einem einlaufenden Zug; z.T. ausgeblendet (HANAU Hbf; Gleis 7, 1.Mai 2013, 13:21h)

17. Parallel OM17=Automatische Übersetzung des analogen Signals in eine Solo-Midispur; Wiedergabe als Posaunenklang

18. Parallel Om18=Automatische Übersetzung des analogen Signals in eine Polyphone-Midispur; Wiedergabe als Posaunenklang

19. Ab 14:50 Om17 Wiederholung
20. Parallel Om19=Im Output von Om18 wurden die meisten Pausen entfernt; zeitliche Komprimierung

PART VI

21. Ab 15:28 Om20=RecordingVoegelGarten1

22. Parallel Om20b=FilterFürVögel+GlueProzessor

23. Parallel Om20c=Om20-Versetzter Winkel (Pan)
24. Parallel Om21=SoloMidiTransform-Von-Om20-Output

25. Parallel Om21b=BrassOperator auf Om21-Output

26. Parallel Om22=PolyMidiTransform-Von-Om20-Output

27. Parallel Om22b=StringOperator-auf-Om22-Output

28. Parallel Om23=PolyMidiTransform-Von-Om20-Output

29. Parallel Om23b=WoodwindOperator-auf-Om23-Output

PART VII

30. Ab 17:36 Mikrophon 1 als Om24 nimmt neue Stimme auf. Parallel Mikrophon 2 als Om25 die gleiche Stimme, nur von anderen Positionen im realen Raum.

31. Parallel wird Ausgang von Om24 algorithmisch übersetzt durch Om26 in polyphone digitale Marker. Diese werden parallel mit Om27 dann als Bläserensemble interpretiert.

32. Parallel wird der Ausgang von Om25 algorithmisch übersetzt durch Om28 in melodische Midi Marken. In einer Kopie von Ausgang Om28 werden die melodischen Midi-Marken mit Om29=RubberHarp zusätzlich verarbeitet.

33. Zusätzlich wird noch Om30=rubberharp und Om31=brassensemble eingeführt, die eigenen Keyboardinput verarbeiten.

SCHLUSS

34. Ab 19:16 stoppen die Stimmen und man hört nur noch Om30 und Om31. Beide werden begleitet von Om14=Men und Om15=women

SCHLUSS

20:28

ÜBERBLICK PART VII UND SCHLUSS

(Eine Hörprobe des aktuellen Sounds gibt es HIER. (aktuell gesampelt mit 96Khz und 24Bit).