映像と音楽で作り上げる「ビジュアルミュージック」Visual music & concert visuals

イブです。

以前、映像と音楽を組み合わせた私自身の作品についての記事を書きました。

その制作にあたって、音楽がどのようにビジュアルに影響するのか、またビジュアルがどのように音楽に影響するのかを研究していました。

見落とされがちな分野ですが、映画の中の音響や音楽のように、映像を元に後から音楽が作られるということはよくありますし、ミュージックビデオやコンサートでは音楽をベースにして映像が作られることもあります。

では、私が見つけた、音楽から生まれたビジュアルの面白い事例を、いくつかシェアしたいと思います。

脳は目でも音を聞き、音でも物を見ている

McGurkというエフェクトショーは、「見え方」と「聞こえ方」が深く影響し合っていることを顕著に表現しています。

このビデオでは、誰かが「ガー」と発音し、「バー」という音を吹き替えてあるビデオが流れます。すると、私達の耳には「ガー」と「バー」の両方の音が聞こえてしまいます。

つまり私達の脳は、音を聞くときに視覚と聴覚の両方を使っているのです。

音楽もまた、ストーリーを認識するのに大きく影響しています。

最も有名な例は「ホラー・メリー・ポピンズ」。メリー・ポピンズのダイジェスト映像にホラーミュージックが重ねられているだけなのですが、ストーリーの雰囲気が完全に変わり、まるで恐ろしい映画のように見えます。

音楽を映像で表現する、ビジュアルミュージック

「ビジュアルミュージック」というジャンルをご存知でしょうか。

音楽を視覚的に表現する試みで、ビジュアルミュージックのアーティストは音楽の成り立ちを様々な方法で映像化します。

オスカー・フィッシンガーはその先駆者の一人でした。

音楽を単純な図形と動きだけで表現しているこのビデオは、限られた時間と予算の中で作られたため、完全な手作りなのだそうですが、音と映像の複雑なソフトウェアを用いて、新しい表現がふんだんに散りばめられています。

彼のPatahという作品の中では、ディエゴ・ガロというアーティストがCGのアニメーションで音の構造を表現しています。

リアルタイムで音楽に映像を乗せる、コンサートビジュアル

「コンサートビジュアル」という分野もあります。

ショーの中で、映像はVJ（ビジュアルジョッキー）や映像ソフトによってリアルタイムで作られ、その場でライブが完成しますが、その最も面白い例をいくつかご紹介します。

■ アモン・トービンによる“ISAM Live”

３Dプロジェクションマッピングを用いた壮大なショー。数年前に行われたショーですが、私にとっては未だに色褪せることがありません。

■ フライング・ロータスの3Dライブショー

彼は最近のショーで、ビジュアルを投影することができるシースルーのメッシュスクリーンを使いました。

その３層のメッシュスクリーンに別の映像を映し出すことで、ステージに奥行きが生まれ、印象的な空間を作り上げています。

■ Tarik Barriのオリジナルソフト”Versum”

オランダのDJ、Tarik Barri。彼は映像と音楽をより直感的にミックスできるオリジナルのソフトを開発しました。

Versumと呼ばれるそのソフトは、音のトーンや大きさなど、音を構成する全ての要素が３D空間の中に収められています。

近付くにつれて音が大きくなり、３D空間をどのように彷徨うかによって音楽の聞こえ方が変わります。

これは音楽とビジュアルが融合した、非常に先進的な例です。インスタレーションやバーチャルリアリティーのような別のシーンでも活躍していくのではないでしょうか。

映像と音楽、相乗効果でより印象的な表現を

いかがでしたでしょうか。音楽は耳だけでなく目でも楽しめる。そのことを意識すれば、音楽とビジュアルの表現の可能性は今後ますます広がっていくと思います。

あなたの身の回りでも、音楽とビジュアルが効果的に使われている例を探してみてください。

原文はコチラ

日本語版翻訳：舘 紗也子

 

*

 

私たちは、幅広いクリエイティブに携わっているデザインカンパニーです。向上心が豊かで私たちの仲間になってくれるデザイナーやディレクター、エンジニアを随時募集しております。我こそはと思われる方のご応募を心よりお待ちしております。

In a previous blog post I discussed a piece of mine that combines visuals and music. To make this piece I conducted research on how music influences our perception of visuals, but also how visuals influence our perception of music. This is a field that seems overlooked, as sound and music is, like in movies, often created after and based on the visuals. However, there are also fields where visuals are created after and in reaction to the sounds or music, like visual music and concert visuals.

Here I’ll give you some quick information on this topic, and show you some of the works I found really interesting.

You have probably noticed that what we see influences what we hear, and vice versa. The McGurk effect shows this very clearly. Here, you watch someone saying the syllable ‘gah’ but the video is dubbed with the syllable ‘bah’. As the brain uses both visuals and sound to infer what it hears, it combines these two and we end up hearing a combination of ‘gah’ and ‘bah’, namely ‘dah’.

Music and sound can also very much influence the way we perceive a story. A quite famous example of this is the ‘horror Mary Poppins’ video, where horror music has been set to the trailer of Mary Poppins, and changes the atmosphere and story completely.

One of the areas where music often comes first and visuals second, with the visuals based on the music, is the field of visual music. Visual music artists try to emulate musical structures with visuals in a variety of ways. Oskar Fischinger was one of the pioneers in this field.

https://www.youtube.com/watch?v=they7m6YePo Oskar Fischinger – An Optical Poem

These videos are handmade because of the limited technological possibilities of the time. However, many new visual music pieces make use of intricate software to analyse sounds and generate visuals. For his piece Patah, Diego Garro used computer-generated animations to represent the spectro-morphologies of the sound in visuals, and the result is quite impressive:

Another field where visuals are based on music is the area of concert visuals. The visuals are often generated live, either by a VJ (visual disk jockey) or responsive software that analyses the music and creates visuals in real-time. One of these examples, which is already a few years old but still amazes me, is Amon Tobin’s use of 3D projection mapping for his ISAM show.

Flying Lotus has made for his recent shows use of see-through mesh screens on which one can project visuals, and used 3 of these ‘layers’ to create impressive visuals with depth.

A Dutch VJ, Tarik Barri, decided to make his own software that allows you to mix visuals and music in a more intuitive way. In his software, called Versum, musical objects representing tones and sounds are placed in a 3D space. As you get closer the sounds become louder, and thus the way you travel through the 3D space determines how the music sounds. I think this is a really cool example of integrating music and visuals, and one that could also be used in other settings like interactive installations and virtual reality environments. Here you can see a demo video of his software:

https://vimeo.com/20347210