産業技術総合研究所(産総研)は、音楽の再生にインターネット経由で同期して多様な機器を制御することで一体感のある演出ができる大規模音楽連動制御プラットフォーム「Songle Sync(ソングルシンク)」(http://api.songle.jp/sync)を開発した。
従来、音楽の再生に合わせた演出として、パソコンの画面の表示内容を変えたり、ロボットを踊らせたりすることは可能だった。しかし、多数の携帯端末・パソコン・IoTデバイスを音楽に合わせて同時に制御することは難しく、しかもそうした大規模な音楽連動制御に基づく演出をプログラマーが容易に開発できるような開発キットも実現されていなかった。
「Songle Sync」は、産総研独自の音楽理解技術と今回新たに開発した大規模音楽連動制御技術を融合させた、音楽に連動した演出を容易に利用・開発できるプラットフォーム。
ユーザーがウェブブラウザーから「Songle Sync」にアクセスして、ウェブ上の楽曲を選んで再生すると、音楽理解技術で事前に解析されたビートや小節、サビ区間などに応じて変化するCGアニメーション(CG映像)が表示される。
それに連動するためのQRコードを他の人が自分のスマートフォンで読み込むと、その同じ楽曲が時刻同期しながら再生されて同じアニメーションが表示される。
イベント会場などで数百人がこのようにアクセスすると、同じ楽曲を流すスピーカーや、同じアニメーションを表示する画面が多数存在する状態となり、多人数で一体感のある演出を楽しむことができる。
さらに「Songle Sync」では、プログラマーが多数かつ複数種類の機器制御を意識せずに演出内容を容易に変更・開発するための開発キットも公開した。