この問題はかなり難解なので、いくつもの例を挙げて類推していきます。
１核実験の動画画像
いささか不謹慎との批判がくるかもしれませんが、核実験、とくに１０メガトンを超える大規模な水爆実験の迫力には凄いものがあり、とかく印象が薄くなりがちな動画の中では、よしあしはともかく、見る者に強い印象を与えます。
動画が見れる人は、「ＩＶＹ ＭＩＫＥ」か「ＣＡＳＴＬＥ ＢＲＡＶＯ」と入力して見てください。
話に入る前に、核実験の動画には以前から疑念を感じていて、映像と一緒に流れる爆発音は編集しているのではないかと考えられます。メガトン級の大規模な水爆実験の威力はとてつもなく、大きいものは火球の直径は数ｋｍにも達するようです。発生する衝撃波の威力もすさまじく、何十キロメートルも離れていてもマイクが破損してしまうでしょう。ところが、核実験の動画画像の中には、爆発してからすぐに「ドガン」という爆発音が鳴るものが少なくなく、爆発音が聞こえるまでの時間が短すぎます。もうひとつは、爆発音が、現場で録音されたものではなく、別の爆発音か加工しているのではないかと思われるものを使用しているのが少なくありません。
本当はどうなのか知りませんが、これはある種の演出ではないかと考えられます。製作者の意図がどういうところにあるのか知りようがありませんが、最低限指摘できるのは、現場で起こったことを正確にそのまま再現してしまうと、かえって印象が弱くなってしまうということです。
本題からやや外れてしまいますが、メディアでよく広島と長崎での原爆投下について、「一瞬のうちに数十万人もの人命が奪われた。」というような言い方をしますが、これは誤っており、一瞬、すなわち瞬間的に死亡した人たちは少数である筈で、大多数の被爆者は早くて数日、遅くて数十日かそれ以上の期間苦悶した挙げ句、大部分は火傷による体液喪失か感染症その他によって絶命していったと考えられます。これも不謹慎な言い方だとお叱りを受けるかもしれませんが、一瞬か短期間で命を落とした人たちはむしろ不幸中の幸いというべきで、火傷による激痛に長期間苦しみ続けられるほうが残虐といえるでしょう。とすると、核兵器の残虐さを強調しなければらないのなら、長期間激痛を味わって絶命しなければならないという、つまり、一瞬のうちに死ぬわけではないということこそ強調していかなければならないのではないでしょうか。
ところで、仮にメガトン級の核爆弾が、自分の住んでいる場所から５０ｋｍくらいの場所で爆発したとします。太陽が出現したような目が眩む明るさに襲われますが、爆発音はしばらくは聞こえない筈です。閃光が現れてから、建物の外壁や自動車その他が発火するか発煙します。これらによる音はすぐに聞こえるでしょう。その後早くても数十秒後、もしくは数分後衝撃波が到達します。そのとき、建物その他は破砕されてしまいますが、もしこの様子をそのまま動画で再現したら、印象が弱ってしまうようです。
核爆発を起こして火球が膨張している画像だけのものよりも、爆発音を入れたほうがたしかにいかにも爆発しているような印象があります。これは、爆発直後だけではなく、しばらく経ってきのこ雲が上昇しているときも、継続して爆発音、というよりも、むしろゴロゴロという雷鳴のような音が鳴っていたほうが、たしかに印象深いです。
核爆発直後に爆発音も鳴るという、ある種の演出に関しては、他の爆発現象である打ち上げ花火や爆竹、風船の破裂等で、小さい頃から物体が破裂した直後に爆発音が鳴るということが刷り込まれているため、核爆発でもそのように感じるのかもしれませんが、後者の、きのこ雲が上昇しているときも雷鳴音がなっているほうが印象が強くなるのは、刷り込みによるものでもなさそうです。
さて、「ＩＶＹ ＭＩＫＥ」という名称の、世界初の水爆実験のフィルムは、爆発直後から火球が膨張していくときに、恐怖感をあおるオーケストラ演奏が流れますが、動画だけの音なしで見たときよりも、たしかに印象は強いです。ただこのことで以って、ただちに音と動画の相乗効果と考えていいかどうかは即断できません。きのこ雲が上昇しつつ爆音が轟いている動画は、両方あるほうが明らかに印象が強いです。
とりあえずまとめておくと、爆発ときのこ雲の動画と爆発音とでは比較的無難に対応できている、あるいは視覚と聴覚が比較的渾然一体としている印象がありますが、上記のオーケストラ演奏の場合はやや異なり、直接的、というか現象面での対応関係ではなく、一歩手前の心理的な水準での対応関係になっているようです。
２打ち上げ花火から。
またしても音楽とは関係ない話になってしまいますが、打ち上げ花火を鑑賞している時の映像と音との関係について思い出してみます。
まず、打ち上げ花火の魅力とは、大きく分けると４個に分類できそうです。
１キラキラと点滅したりさまさまな色や形による画像としての美しさ。
２とくに、大玉が開花し膨張しているときや滝のように火の粉が空から流れるように落下するときに感ずる、夜空に吸い込まれていきそうな広大な空間感覚。
３ＣＧの動画のような動き。
４風圧を感じる発射音や身体に響く爆発音による恐怖感。
観客席で、とくに女性たちが「きれい、きれい」と言っているのが聞こえますが、打ち上げ花火の魅力の半分以上は４か２である筈で、１と３の要素はむしろ少ないように感じます。
音だけの打ち上げ花火が爆発してもかなり興奮するのは、４の影響の大きさを示しています。雷鳴を聞いたときに感じる興奮にも似たものがあります。つまり、花火を鑑賞しているというよりも、音による威圧感や恐怖感に興奮しているという側面が強いように感じます。
逆の、花火の映像だけが見えて音が聞こえないという状況は、現場ではありえないのですが、かりに無音状態だとしても十分感動するでしょう。
花火における音と動画の関係性は、核爆発の動画と音との関係のように、現象面での対応関係と、爆発音による恐怖感によって興奮している心理状態に、視覚情報による感動が追加されたという２つのことがあり、前者の要素は不自然な印象を与えない程度の効果以上の意味は見つけにくく、後者の要素は観客にとって重要ですが、音と動画との関連性というよりも、気分の面での関係のようです。ただこれはこれとして重要な役目を果たしているのは明らかです。
３映画音楽、ドラマとＢＧＭについて。
これらも同様に、音と映像との間に現象面での対応関係はありませんが、俳優の演技と台詞による物語によってある心情、雰囲気が演出され、そこにもっともらしい音楽が流れるわけですが、俳優の演技と台詞による物語によって、映像の商品価値が保たれているわけで、動画を作成するときに、物語感の欠落をどう補うのかということが問題になってきます。
４音声言語と文字言語の関係性について。
不思議なことに、言語だけは音声と文字が一体になっていますが、これは、そのように認識できるように脳が組織化された結果であり、音と動画の関係や動画作成の手がかりにはなりそうもありません。楽譜や音符も、訓練した人は音楽を聴いただけで音符が浮かんだり楽譜を読むとメロディーが頭に浮かぶのかもしれませんが、これも言語と同様にそのように脳が組織化された結果であって、言うまでもなく、音楽を鑑賞するのにそのような訓練は不要です。
ただ、画像の世界は多様性がとてつもなく、楽譜やコード記号のように、形体ごとに記号を付けて表記する必要があるかもしれません。そのさいの参考にはなるでしょう。
これら以外にも、新幹線の運転席から眺めた光景など、かなり印象的で、この場合も、発車して徐々に加速していくのに伴って、モーターの回転音の音程も徐々に上昇してきますが、これも、動画と音とが対応できています。ほかにも探せばいろいろ見つかりそうですが、皮肉というか困ったことに、音楽以外の現象では音と動画が比較的問題なく対応しているのに、音楽の音階の要素だけは対応関係がつかめないのです。
なぜか？ 聴覚は周波数そのものを知覚するため、周波数が倍になると１オクターブ上昇し、その間で周波数が動くと、それぞれに応じて各周波数（というか音階）が、異なった気分を内発させるからと考えられます。聴覚と視覚の本質的な違いは、音というものは、特定の周波数、つまり正弦波が鳴っているだけで、何らかの心情か気分を誘発しますが、視覚情報は、一定以上の情報（画素）が集積しないと心理的な影響を及ぼさないからではないかと考えられます。ただし、動画の動きの要素だけは、かなり画素数が少なくても印象深く、音楽のリズムとも対応可能です。
では、、このことをどう考えるべきか？
Ｑ音階と動画との対応関係が見出しにくいということについて、
Ａ音楽を表現したいのなら、わざわざ無理して映像で表現しなくても、音楽で表現すれば良いではないか？ 音楽にしかできないことは、音楽に任せれば良い。つまり、音と視覚が異質であることがむしろ重要なのではないか。
これは肯定的な捉え方ですが、、しかしある程度の対応関係がないと作品として成立しません。クラシック音楽に、ＣＧの動画の風景が流れる作品がありますが、音楽と動画を追加することの意味が感じられません。やはり、何らかの対応関係がないといけないわけで、これまでの作品のほとんどは、ほぼ間違いなく音楽との対応関係が、動画の「動き」の要素に限定されており、古来からの踊りと、最近では音楽と一緒に表示される動画のグラフィックや、オーディオ機器のボリュームメーターも入るでしょう。それはそれである程度の成果を出していますし、評価できるでしょうが、形という、人間の持つ五感の中でも最も多様性が優れる要素が、音声との関連がなくて放置されているというのは、もったいない気がします。
音楽を流しながら、手持ちのＣＧ画像を表示してみる。
音楽を流しながら色々なＣＧ画像をクリックしながら表示してみる。コード進行やらベースラインやらメロディーラインなどと画像との関連性を調べてみるが、どれもいまひとつしっくりこない。意外なのは、いかにも感傷的な曲を流しているとき、日の出か日の入りと水平線か地平線という、いかにもそれらしい光景の画像が、ぜんぜん合わないのだ！ 何事も実際にやってみないと分らないものだ。
はっきりとした対応関係はつかめないものの、なんとなく漠然と、この画像は合わないとか、これは比較的近いという違いは分かる。
ひとつ発見があった。それは、サウンドエフェクトとして残響効果を加えると、テラジェンに代表される地平線か水平線と立体画像が組み合わさった、この世ならぬ不思議な光景のなかに、ところどころ、「おやっ？」と感じさせる、音の心象と画像の心象が共鳴することがあった。残念なのは、やはり残響効果に関して対応しているだけで、この効果を無くして音楽だけにしてしまうと対応関係が薄れてしまうということだ。ほかに収穫があるとすれば、音楽に合っていなくても、画像が何らかの観念（刺激が去った後に意識に残る心象）を与えるため、曲との対応関係がもし見つかれば、音楽を動画に座標変換した然るべき形態も特定できなくもないような希望が沸いてくる。ただし、あくまで可能性の段階である。
追加します。
メロディーにおけるある特定の音階は、ある気分を強制するという作用がある。と定義してみます。少なくとも動画にはこれに類似した性質は存在しないといえそうです。俗な言い方になってしまいますが、そんなものがあれば、とうの昔に誰かが気づいて完成させている筈だからだ。と・・
気分なり心象なりを強制しないというのは視覚や動画の優れた点ではありますが、欠点でもあります。サイトを表示するとかってに音楽が流れることがときどきありますが、じつに不快です。これは曲とか音楽の持つ強制性が裏目に出た例でしょう。
１核実験の動画画像
いささか不謹慎との批判がくるかもしれませんが、核実験、とくに１０メガトンを超える大規模な水爆実験の迫力には凄いものがあり、とかく印象が薄くなりがちな動画の中では、よしあしはともかく、見る者に強い印象を与えます。
動画が見れる人は、「ＩＶＹ ＭＩＫＥ」か「ＣＡＳＴＬＥ ＢＲＡＶＯ」と入力して見てください。
話に入る前に、核実験の動画には以前から疑念を感じていて、映像と一緒に流れる爆発音は編集しているのではないかと考えられます。メガトン級の大規模な水爆実験の威力はとてつもなく、大きいものは火球の直径は数ｋｍにも達するようです。発生する衝撃波の威力もすさまじく、何十キロメートルも離れていてもマイクが破損してしまうでしょう。ところが、核実験の動画画像の中には、爆発してからすぐに「ドガン」という爆発音が鳴るものが少なくなく、爆発音が聞こえるまでの時間が短すぎます。もうひとつは、爆発音が、現場で録音されたものではなく、別の爆発音か加工しているのではないかと思われるものを使用しているのが少なくありません。
本当はどうなのか知りませんが、これはある種の演出ではないかと考えられます。製作者の意図がどういうところにあるのか知りようがありませんが、最低限指摘できるのは、現場で起こったことを正確にそのまま再現してしまうと、かえって印象が弱くなってしまうということです。
本題からやや外れてしまいますが、メディアでよく広島と長崎での原爆投下について、「一瞬のうちに数十万人もの人命が奪われた。」というような言い方をしますが、これは誤っており、一瞬、すなわち瞬間的に死亡した人たちは少数である筈で、大多数の被爆者は早くて数日、遅くて数十日かそれ以上の期間苦悶した挙げ句、大部分は火傷による体液喪失か感染症その他によって絶命していったと考えられます。これも不謹慎な言い方だとお叱りを受けるかもしれませんが、一瞬か短期間で命を落とした人たちはむしろ不幸中の幸いというべきで、火傷による激痛に長期間苦しみ続けられるほうが残虐といえるでしょう。とすると、核兵器の残虐さを強調しなければらないのなら、長期間激痛を味わって絶命しなければならないという、つまり、一瞬のうちに死ぬわけではないということこそ強調していかなければならないのではないでしょうか。
ところで、仮にメガトン級の核爆弾が、自分の住んでいる場所から５０ｋｍくらいの場所で爆発したとします。太陽が出現したような目が眩む明るさに襲われますが、爆発音はしばらくは聞こえない筈です。閃光が現れてから、建物の外壁や自動車その他が発火するか発煙します。これらによる音はすぐに聞こえるでしょう。その後早くても数十秒後、もしくは数分後衝撃波が到達します。そのとき、建物その他は破砕されてしまいますが、もしこの様子をそのまま動画で再現したら、印象が弱ってしまうようです。
核爆発を起こして火球が膨張している画像だけのものよりも、爆発音を入れたほうがたしかにいかにも爆発しているような印象があります。これは、爆発直後だけではなく、しばらく経ってきのこ雲が上昇しているときも、継続して爆発音、というよりも、むしろゴロゴロという雷鳴のような音が鳴っていたほうが、たしかに印象深いです。
核爆発直後に爆発音も鳴るという、ある種の演出に関しては、他の爆発現象である打ち上げ花火や爆竹、風船の破裂等で、小さい頃から物体が破裂した直後に爆発音が鳴るということが刷り込まれているため、核爆発でもそのように感じるのかもしれませんが、後者の、きのこ雲が上昇しているときも雷鳴音がなっているほうが印象が強くなるのは、刷り込みによるものでもなさそうです。
さて、「ＩＶＹ ＭＩＫＥ」という名称の、世界初の水爆実験のフィルムは、爆発直後から火球が膨張していくときに、恐怖感をあおるオーケストラ演奏が流れますが、動画だけの音なしで見たときよりも、たしかに印象は強いです。ただこのことで以って、ただちに音と動画の相乗効果と考えていいかどうかは即断できません。きのこ雲が上昇しつつ爆音が轟いている動画は、両方あるほうが明らかに印象が強いです。
とりあえずまとめておくと、爆発ときのこ雲の動画と爆発音とでは比較的無難に対応できている、あるいは視覚と聴覚が比較的渾然一体としている印象がありますが、上記のオーケストラ演奏の場合はやや異なり、直接的、というか現象面での対応関係ではなく、一歩手前の心理的な水準での対応関係になっているようです。
２打ち上げ花火から。
またしても音楽とは関係ない話になってしまいますが、打ち上げ花火を鑑賞している時の映像と音との関係について思い出してみます。
まず、打ち上げ花火の魅力とは、大きく分けると４個に分類できそうです。
１キラキラと点滅したりさまさまな色や形による画像としての美しさ。
２とくに、大玉が開花し膨張しているときや滝のように火の粉が空から流れるように落下するときに感ずる、夜空に吸い込まれていきそうな広大な空間感覚。
３ＣＧの動画のような動き。
４風圧を感じる発射音や身体に響く爆発音による恐怖感。
観客席で、とくに女性たちが「きれい、きれい」と言っているのが聞こえますが、打ち上げ花火の魅力の半分以上は４か２である筈で、１と３の要素はむしろ少ないように感じます。
音だけの打ち上げ花火が爆発してもかなり興奮するのは、４の影響の大きさを示しています。雷鳴を聞いたときに感じる興奮にも似たものがあります。つまり、花火を鑑賞しているというよりも、音による威圧感や恐怖感に興奮しているという側面が強いように感じます。
逆の、花火の映像だけが見えて音が聞こえないという状況は、現場ではありえないのですが、かりに無音状態だとしても十分感動するでしょう。
花火における音と動画の関係性は、核爆発の動画と音との関係のように、現象面での対応関係と、爆発音による恐怖感によって興奮している心理状態に、視覚情報による感動が追加されたという２つのことがあり、前者の要素は不自然な印象を与えない程度の効果以上の意味は見つけにくく、後者の要素は観客にとって重要ですが、音と動画との関連性というよりも、気分の面での関係のようです。ただこれはこれとして重要な役目を果たしているのは明らかです。
３映画音楽、ドラマとＢＧＭについて。
これらも同様に、音と映像との間に現象面での対応関係はありませんが、俳優の演技と台詞による物語によってある心情、雰囲気が演出され、そこにもっともらしい音楽が流れるわけですが、俳優の演技と台詞による物語によって、映像の商品価値が保たれているわけで、動画を作成するときに、物語感の欠落をどう補うのかということが問題になってきます。
４音声言語と文字言語の関係性について。
不思議なことに、言語だけは音声と文字が一体になっていますが、これは、そのように認識できるように脳が組織化された結果であり、音と動画の関係や動画作成の手がかりにはなりそうもありません。楽譜や音符も、訓練した人は音楽を聴いただけで音符が浮かんだり楽譜を読むとメロディーが頭に浮かぶのかもしれませんが、これも言語と同様にそのように脳が組織化された結果であって、言うまでもなく、音楽を鑑賞するのにそのような訓練は不要です。
ただ、画像の世界は多様性がとてつもなく、楽譜やコード記号のように、形体ごとに記号を付けて表記する必要があるかもしれません。そのさいの参考にはなるでしょう。
これら以外にも、新幹線の運転席から眺めた光景など、かなり印象的で、この場合も、発車して徐々に加速していくのに伴って、モーターの回転音の音程も徐々に上昇してきますが、これも、動画と音とが対応できています。ほかにも探せばいろいろ見つかりそうですが、皮肉というか困ったことに、音楽以外の現象では音と動画が比較的問題なく対応しているのに、音楽の音階の要素だけは対応関係がつかめないのです。
なぜか？ 聴覚は周波数そのものを知覚するため、周波数が倍になると１オクターブ上昇し、その間で周波数が動くと、それぞれに応じて各周波数（というか音階）が、異なった気分を内発させるからと考えられます。聴覚と視覚の本質的な違いは、音というものは、特定の周波数、つまり正弦波が鳴っているだけで、何らかの心情か気分を誘発しますが、視覚情報は、一定以上の情報（画素）が集積しないと心理的な影響を及ぼさないからではないかと考えられます。ただし、動画の動きの要素だけは、かなり画素数が少なくても印象深く、音楽のリズムとも対応可能です。
では、、このことをどう考えるべきか？
Ｑ音階と動画との対応関係が見出しにくいということについて、
Ａ音楽を表現したいのなら、わざわざ無理して映像で表現しなくても、音楽で表現すれば良いではないか？ 音楽にしかできないことは、音楽に任せれば良い。つまり、音と視覚が異質であることがむしろ重要なのではないか。
これは肯定的な捉え方ですが、、しかしある程度の対応関係がないと作品として成立しません。クラシック音楽に、ＣＧの動画の風景が流れる作品がありますが、音楽と動画を追加することの意味が感じられません。やはり、何らかの対応関係がないといけないわけで、これまでの作品のほとんどは、ほぼ間違いなく音楽との対応関係が、動画の「動き」の要素に限定されており、古来からの踊りと、最近では音楽と一緒に表示される動画のグラフィックや、オーディオ機器のボリュームメーターも入るでしょう。それはそれである程度の成果を出していますし、評価できるでしょうが、形という、人間の持つ五感の中でも最も多様性が優れる要素が、音声との関連がなくて放置されているというのは、もったいない気がします。
音楽を流しながら、手持ちのＣＧ画像を表示してみる。
音楽を流しながら色々なＣＧ画像をクリックしながら表示してみる。コード進行やらベースラインやらメロディーラインなどと画像との関連性を調べてみるが、どれもいまひとつしっくりこない。意外なのは、いかにも感傷的な曲を流しているとき、日の出か日の入りと水平線か地平線という、いかにもそれらしい光景の画像が、ぜんぜん合わないのだ！ 何事も実際にやってみないと分らないものだ。
はっきりとした対応関係はつかめないものの、なんとなく漠然と、この画像は合わないとか、これは比較的近いという違いは分かる。
ひとつ発見があった。それは、サウンドエフェクトとして残響効果を加えると、テラジェンに代表される地平線か水平線と立体画像が組み合わさった、この世ならぬ不思議な光景のなかに、ところどころ、「おやっ？」と感じさせる、音の心象と画像の心象が共鳴することがあった。残念なのは、やはり残響効果に関して対応しているだけで、この効果を無くして音楽だけにしてしまうと対応関係が薄れてしまうということだ。ほかに収穫があるとすれば、音楽に合っていなくても、画像が何らかの観念（刺激が去った後に意識に残る心象）を与えるため、曲との対応関係がもし見つかれば、音楽を動画に座標変換した然るべき形態も特定できなくもないような希望が沸いてくる。ただし、あくまで可能性の段階である。
追加します。
メロディーにおけるある特定の音階は、ある気分を強制するという作用がある。と定義してみます。少なくとも動画にはこれに類似した性質は存在しないといえそうです。俗な言い方になってしまいますが、そんなものがあれば、とうの昔に誰かが気づいて完成させている筈だからだ。と・・
気分なり心象なりを強制しないというのは視覚や動画の優れた点ではありますが、欠点でもあります。サイトを表示するとかってに音楽が流れることがときどきありますが、じつに不快です。これは曲とか音楽の持つ強制性が裏目に出た例でしょう。
