Overview
クラブにおける観客の反応、動作をDJの演奏に反映するためのインターフェースの提案。
Abstract
When looking at modern music club settings, especially in the area of electronic music, music is consumed in a unidirectional way on a sound engineering level – from DJ or producer to the audience – with little direct means to influence and participate. In this paper we challenge this phenomenon and aim for a new bond between the audience and the DJ through the creation of an interactive dance concept: Experio. Experio allows for multiple audience participants influencing the musical performance through dance, facilitated by a musical moderator using a tailored interface. This co-creation of electronic music on both novice and expert levels is a new participatory live performance approach, which is evaluated on the basis of thousands of visitors who interacted with Experio during several international exhibitions.
Motivation
現代のミュージッククラブでは、特に電子音楽の分野では、DJやプロデューサーから観客へと、サウンドエンジニアリングのレベルで一方向的に音楽が消費されており、影響を与えたり参加したりする直接的な手段はほとんどありません。この論文ではインタラクティブなダンスコンセプトの創造を通して、観客とDJの間に新しい絆を築くことを目指しています。
Architecture
本プロジェクトではExperioと呼ばれるインターフェースを通し、観客とDJの間に新しい絆を築くことを目指しています。
Experioのデモ動画
Experioでは大きく分けると以下の2つのことを行なっています。
- DJと観客による即興演奏
- 観客の動きをDJの”演奏”に反映
ここでいうDJというのは作曲者・プロデューサー的要素が強く、DJはブースで作曲をするイメージになっています。ゆえに観客の動作はDJミックス（曲と曲とを繋ぐこと）にではなく、”作曲”に反映されるように制作されています。
動作方法
– レーザー照射により観客の動きを認識（スモークも使用）
→人がレーザー照射に当たるなどして光が遮られると、MIDI信号（コンピュータで作曲をする際に主に用いられる信号です）が生成され、コンピュータに送られます（下写真；論文より引用）
＊この際、Processingを使用し、送られてきたMIDI信号を処理、DJのインターフェースに対応するMIDI信号に変換→生成されたMIDI信号は、DJが用意した音（後述）と合わせてDAWソフト（作曲用ソフトウェアです）に打ち込まれます
＊本プロジェクトの場合、DAWソフトはFL Studioを使用→フォトダイオードを用いる
☆このようにレーザー照射を用いることによりクラブという暗い空間でも動体認識が可能になった！（と主張しています）
– 観客側の動きの認識は意図的に足の動きのみに限定
→今回のようなクラブ現場などの場合、人間の初動作は足からであり、また、足の動きの認識だけでも十分信号を得ることができるという点、インプットが多すぎるとDJがこなす作業がかなり増えてしまい、負担が大きいという2点から、あえて足の動きのみに限定しているようです。ゆえに上記画像Figure2のように足元部分のみのレーザー照射になっています。
“Expeirio”インターフェース構造
上からの見取り図
エリア A：受動的な観客（いわゆる一般的な客？あまり激しい踊りはせず、雑談を楽しむ人など）のためのエリアです。あまり演奏には参加しないですが、その一方で広いエリアを生かし、移動などの動作からインタラクションを起こすことも可能なようです。
エリア B：音楽制作に積極的に参加したい人（本格的なダンスを楽しみたい人向け；ダンサーなど）が入るエリアです。このエリアの観客は自らのダンスによってDJと一緒に曲を作っていくイメージです。１人用になっています。
エリア C：ここにDJが立ちます。
DJ用インターフェース（画面部分）
DJが行う3つのタスク
1. 基盤となるビート（ドラムのキック、スネアなどの音）のみの曲をあらかじめ準備する（通常のDJと同じような作業です）
2. 観客それぞれの動きに、楽曲に足す音やエフェクトを指定する
3. フロアからのインプット（観客の動きに合わせて生成された音）をミックスする
＊これらに加え、最大2曲あらかじめ準備しておくことも可能になってます（通常DJを行うことも可能ということです）
Results
2013年9月〜2013年12月まで、オランダと中国の所定クラブで実施し、ポジティブ面とネガティブ面が浮き上がりました。
ポジティブ面
・観客は進んで参加してくれたよう
・多くの参加者が説明なしで理解
・Experioを用いることで初対面の人たちの交流が増えた？
・DJ、ダンサーそれぞれの専門性を融合することができたのでは
ネガティブ面
・動いたら何かしら音に影響がある！と観客側は考えたが、動体認識が限定されているため一定の動き以外からは音、エフェクトは生成されず
→この点が観客側から少々突っ込まれたみたいです
・演奏参加者（おそらくエリアBで踊ってくれた人たちのこと）はダンスが上手な人がほとんどだった
・減らしてあるものの、それでもDJがやらなければならない作業は多すぎた
→誰も踊らない場合ビートのみが流れ、つまらなくなってしまいます（いわゆるシンセなどの曲の彩をつける楽器は観客に委ねられているためです）
→仮に多くの人間が踊り出した場合、MIDI信号も同時に多く生成されてしまうため、楽曲制作段階でのミックス処理（ボリューム処理など）および演奏の即興性においてDJの負担が大きくなってしまったみたいです
以上のことを踏まえ、以下のようなことを結論としています。
・観客と演者のインタラクションを融合することができた
・比較的理解しやすいシステムにすることができた
・DJ用インターフェースはタッチパネルで作られているがハードウェアを作るのも良い
・エリアBの数をもっと増やしても良いかも
→より音楽的なところを観客に任せてしまうということです
・参加者のダンス力に応じて認識レベルを変えるのもあり
Further Thoughts
ここからは私個人の感想ですが、まず第一になんだかDJが指揮者のオーケストラのように感じ（もちろん好きなように観客には踊ってもらう形ですが）、自分自身DJの際に試してみたいなとも思いました。動作方法に関してはかなり興味を持ち、可能であれば足だけではないレーザー認識の実装を目指せたら楽しそうですよね。
一方、ネガティブ面になるのですが、ターゲットがDJ、およびクラブ向けという点に関しては正直疑問を感じました。というのも、少なくとも僕が出演経験のある、または遊びに行ったことのあるクラブではなかなか実装が難しいと思うのです。まず日本では、来る人が少ないクラブも多く、満足な即興演奏ができる可能性は低いです（来た人が必ずしも踊る人とは限らないし、、）。また、逆に混雑していても同様に困ります。この“Experio”のエリアBには１人しか入れないため、DJブース周りに人が集まることはできません。ゆえにエリアBに入れなかった人たちはDJとは離れたところで待機しなければならず、人の密集率が心配です。まして、最近では、クラブに頻繁に通う人たちはDJのプレイ動画を撮りたい人も多く、そういった人たちにとっては近くで撮れないことはフラストレーションになるように思います。
Links
Paper
Vimeo