WiredVisionに載っていたどんな歌でもフル伴奏を付けるiPhoneアプリを観て,ほぉー,と感心しました。
この手の声とかそういう生音をコンピュータに取り込んで,単にエフェクトというのではなく音楽的に処理をする技術はわたしが興味を持って30年くらい…意外にもずっと進歩してるように思います。多くの技術はどこかで行き詰まったりするもんですが,この手の技術は技術時代の進歩と,あとアプリとしての応用の双方がうまく作用して,新しいものが生まれているのでしょう。
生音を音楽的に処理をするという場合,まず大事なのは生音のピッチ(音程)を抽出することです。エフェクタみたいにどんな音でも同じように処理をする場合はピッチの抽出は不要ですが,音楽として処理をするにはピッチを抽出しないと,その後の複雑な処理は出来ません。生音からピッチを抽出するってことを最初にやったアプリケーションはたぶんギターシンセです。わたしがギターを始めた頃1980年ちょっと前頃がたぶんギターシンセの創成期でしょう。当時からがローランドが頑張っていました。生音からピッチを抽出するにはとにかく単音として処理をするのが一番近道なので,弦それぞれにピックアップをつけて,あと音域を絞るとかそういうことをやってピッチを抽出していたのだと思います。その後1990年頃になると,ボーカルからピッチを抽出して処理をするものも産まれてきました(DigiTech のVocalistとか)。よく考えると音声符号化とかもピッチ抽出とかやってるので,出来ないはずは無かったんですよね。
で,同じ時期からコンピュータが著しく発達し,それまで時間がかかっていたピッチ抽出処理も徐々に速くなってきた気がします。そうなると処理に余裕が出来るようになり,いろんな場合わけをして複雑な処理が出来るようになりました。そうして,今度は単音だけじゃなくて和音のピッチ抽出,雑音とか複数の楽器が被ってる音からのピッチ抽出とかいろんなことにトライする研究者が増えてきたのをおぼえています。
実はその手の技術がどの程度まで発達したかは,わたしはあまり知らないのですが,ピアノの和音ぐらいはピッチ抽出処理ができるようになったように思います。
さてそういう風にピッチ抽出の精度が上がると,つまりは生音を譜面化出来るようになるのですが,同じようにその頃からそういう音楽情報から和音をつけたり,たぶんリズムを抽出して伴奏をしたりするような処理がされるようになってきました。その前にコードを入れたら伴奏をするとかいうソフトもでてきてました。この辺はルールを記述してより複雑に音楽を生成するという処理が高度化していったのだと思います。メモリ量や処理速度の増大により可能になったのでしょう。
さて今回の伴奏ソフト,聴いた感じで思ったのは,歌った声のピッチを抽出して,ハモる音をつけていること,声からリズムを取り出し,同じようなテンポで伴奏をつけていること。声のピッチから譜面情報を取り出せれば,ある程度キーの情報をつけられるので,たぶんそれを元に和音を適当につけ,定型のパターンを弾かせていることあたりがたぶん技術的な全貌なのではないか?と想像します。
この辺はここの技術よりも,その巧みな組み合わせと,あと定型のパターンとしてどういうのを入れておくか?というのが,実は結構それらしくみせるのに重要なので,その辺のセンスが結構すばらしいなと思いました。
わたし自身はこういう研究を自分でやろうとは思わないのですが,面白研究だとは思います。なかなかいいものを観たなと思いました。この分野,まだまだやれること,ありそうですね。
この手の声とかそういう生音をコンピュータに取り込んで,単にエフェクトというのではなく音楽的に処理をする技術はわたしが興味を持って30年くらい…意外にもずっと進歩してるように思います。多くの技術はどこかで行き詰まったりするもんですが,この手の技術は技術時代の進歩と,あとアプリとしての応用の双方がうまく作用して,新しいものが生まれているのでしょう。
生音を音楽的に処理をするという場合,まず大事なのは生音のピッチ(音程)を抽出することです。エフェクタみたいにどんな音でも同じように処理をする場合はピッチの抽出は不要ですが,音楽として処理をするにはピッチを抽出しないと,その後の複雑な処理は出来ません。生音からピッチを抽出するってことを最初にやったアプリケーションはたぶんギターシンセです。わたしがギターを始めた頃1980年ちょっと前頃がたぶんギターシンセの創成期でしょう。当時からがローランドが頑張っていました。生音からピッチを抽出するにはとにかく単音として処理をするのが一番近道なので,弦それぞれにピックアップをつけて,あと音域を絞るとかそういうことをやってピッチを抽出していたのだと思います。その後1990年頃になると,ボーカルからピッチを抽出して処理をするものも産まれてきました(DigiTech のVocalistとか)。よく考えると音声符号化とかもピッチ抽出とかやってるので,出来ないはずは無かったんですよね。
で,同じ時期からコンピュータが著しく発達し,それまで時間がかかっていたピッチ抽出処理も徐々に速くなってきた気がします。そうなると処理に余裕が出来るようになり,いろんな場合わけをして複雑な処理が出来るようになりました。そうして,今度は単音だけじゃなくて和音のピッチ抽出,雑音とか複数の楽器が被ってる音からのピッチ抽出とかいろんなことにトライする研究者が増えてきたのをおぼえています。
実はその手の技術がどの程度まで発達したかは,わたしはあまり知らないのですが,ピアノの和音ぐらいはピッチ抽出処理ができるようになったように思います。
さてそういう風にピッチ抽出の精度が上がると,つまりは生音を譜面化出来るようになるのですが,同じようにその頃からそういう音楽情報から和音をつけたり,たぶんリズムを抽出して伴奏をしたりするような処理がされるようになってきました。その前にコードを入れたら伴奏をするとかいうソフトもでてきてました。この辺はルールを記述してより複雑に音楽を生成するという処理が高度化していったのだと思います。メモリ量や処理速度の増大により可能になったのでしょう。
さて今回の伴奏ソフト,聴いた感じで思ったのは,歌った声のピッチを抽出して,ハモる音をつけていること,声からリズムを取り出し,同じようなテンポで伴奏をつけていること。声のピッチから譜面情報を取り出せれば,ある程度キーの情報をつけられるので,たぶんそれを元に和音を適当につけ,定型のパターンを弾かせていることあたりがたぶん技術的な全貌なのではないか?と想像します。
この辺はここの技術よりも,その巧みな組み合わせと,あと定型のパターンとしてどういうのを入れておくか?というのが,実は結構それらしくみせるのに重要なので,その辺のセンスが結構すばらしいなと思いました。
わたし自身はこういう研究を自分でやろうとは思わないのですが,面白研究だとは思います。なかなかいいものを観たなと思いました。この分野,まだまだやれること,ありそうですね。