好きなBPMは128。

なんか青いやつの、戯言。

SFC生研究紹介 - クラブとVJとARと。

真面目な報告

adventar.org

の12日目担当でした。

 

とか言ってたら12/24です。クリスマスまでになんとか間に合わせようと頑張りました。本当にごめんなさい来年のAdvent Calenderはがんばります。

軽く自己紹介。

中西研所属の学部4年の渡辺 基暉（わたなべ もとき）と言います。

twitter.com

www.instagram.com

 

中西研はHuman-Computer Interaction、私個人で思っている言い方であれば、

「テクノロジーを使って人間にどのような影響を与えるか」を考える研究会です。「VRをこういう使い方した、そしたらこういう影響があるよ！」みたいな感じです。

ちなみに研究会は

1年秋（脇田研）→2年春（伊達研）→2年秋無所属

で、3年春から中西研です。4期目ですね。

あと、中西研では以下に書く個人研究とは別にUISTという国際学会のStudent Innovation Contestという部門に最近は毎年チームを組んで挑戦しています。以下に参加報告をまとめているのでぜひ読んでみてください。

blog.motoki-watanabe.net

 

書いていることはあくまで中西研としてではなく私個人の目線の話なのであしからず。

まず、クラブの話を。

みなさんはクラブに行ったことありますか？

 ざっくり、これがクラブです。爆音と光と映像と。って感じですね。

 

もう1つしなければいけない話として、私はVJというのをやっています。

VJってなかなか聞いたことないと思います、DJならば聞いたことありますでしょうか。VJはVideo JockeyもしくはVisual Jockeyの略です。主にクラブにおいて、音楽をかける人がDJ、映像で演出する人がVJです。

この御方はかなり有名なVJなのでこんなすごくないですが、これです。

 

クラブにはDJが必ずいます。VJは必ずしもいません。プロジェクターとプロジェクターを移せる場所、もしくはディスプレイがあるところのみ、VJがいます。

まとめると、クラブの構成要素として、

・DJ

・VJ

・お客さん

・ディスプレイ

があります。

そして、それぞれの関係性を図示したのが以下の図です。

f:id:XxGodmoonxX:20181213005108p:plain

DJは音楽を通し、聴覚としてお客さんに届けます。

クラブにおいて、主役はDJです。全ての第1発信源がDJです。

クラブイベントはクラブのお客さんという集団をある方向へ導く儀式であり、DJは牧師、シャーマン的な存在です。

で、VJは主にクラブにおいては裏方要素が強いです。基本的にDJの流す音楽に合わせ、即興で映像演出していきます。

VJは儀式の補助担当です。

つまり、VJはDJより音楽をリアルタイムで耳で受け取り、ディスプレイ（もしくはプロジェクター）を通し、お客さんに視覚として届けます。

で、お客さんは。

聴覚で音楽を、視覚で映像を受け取る、のみです。

お客さんは受け取ることしか出来ないんですね。

 

なので、クラブでは、

どうしてもお客さんが楽しくない時間が発生している

と感じています。

なぜなのか？私が思う理由は、

・知らない曲が流れることが多い

・お客さんの目的が音楽を聞くことだけではない

とかがあると思います。

が、一番は、

・なにをしていいかわからない時間がある

というのがあると思うのですね。そして実際よく聞きます。

その結果、お客さんはなにをするか？

特に意味もなくスマホをいじります。

幾度となく見てきました、大体そういうときに見るのはTwitter、Facebook、Instagramです。

（こんな言い切ってますが……ちなみにスマホがない昔ってどうだったんでしょうね…？と思い聞いてみました。）

（結果はリプ等色々反応をもらいました。そもそもスマホいじる客が多いかどうかも、箱によるし、年代によるのかもな、というのが色々意見を聞いた限りでの今の感想です。でも、そういう層が一定数いるのは事実かと思います。）

 

さて、話を戻して。

では、一般的な歌手のライブでは？

この場合、

・知らない曲が流れることが多い

ということはほぼないでしょう。そのアーティストが好きじゃないのにライブに行くことはほぼありませんね。

また、アイドル系のライブの場合、ペンライトやうちわ、ヲタ芸、コール等、

お客さん → アーティスト

の行動が用意されており、結果としてインタラクションできるようになっています。

でもこれは流石にクラブイベントでそのまま真似るのは難しいです、かかる曲自体や曲を歌うアーティストに依存しているからです。

 

他に、新しい音楽イベントのかたちを提案したものが先行事例としてあります。

2015年にBAPA2期生の卒業発表 LIVE BAPA がありましたが、

www.bapa.ac

これの中のSync Ringでは、指輪型デバイスで前の画面に流れる太鼓の達人風ゲームをすることにより、お客さんから歌手への盛り上がってるよという意思表示を自然とできるようなかたちを示しました。

また、研究としての先行事例もあります。詳細は割愛しますが、

Mobile HCI'08 で発表されたMobile Collaborative Live Video Mixingはスマホアプリで踊っている映像をVJに送信することでお客さんがVJに参加可能になる体験を示しました。これはお客さんVJ参加型と言えると思います。

International conference on Multimedia - MM'11で発表されたEnabling the VJ as Performer with Rhythmic Wearable Interfaces は映像を操作できるジャケットを作り、お客さん自身がVJをするというかたちを示しました。これはお客さんVJ化型と言えるかと思います。

international conference on Advances in computer entertainment technology - ACE '07で発表されたrhythmism: A VJ Performance System with Maracas based Devicesは、映像を操作できるマラカスを作り、お客さん自身がVJをするというかたちを示しました。これもお客さんVJ化型かと。

 

ただ、私個人は今まででこれが最強だ、と思うクラブイベントがありました。

泡パ です。聞いたことありますか？

（泡パはイビサ島のパーティー発祥ですが、そこは今回は割愛します。）

このアフロマンスさん卒業回の泡パに私はスタッフとしていました。そして泡パの凄さを目の当たりにしました。

この泡パのなにがすごいか、それは

泡がインタラクションするための言い訳オブジェクトになっている

ということです。泡を通して、他人とのインタラクションができるのです。

まず泡が前の方に落ちるので、泡を浴びるという目的で前の方に集中します。

そして、泡を他人に投げつけるとか、泡を知らん人の頭に乗せるとか、合法的に泡を通じて誰かと触れ合うことが出来ます。

こうやって、お客さん自身にもやることが提示されているのですよね。

だからこそ人気なイベントなのではないかな、と感じています。

 

そしてもう1つ、沈黙ダンス です。

 クラブイベントなのに話しちゃいけない。というイベント。

じゃあなにをするか？Twitterで発言するのです。 

VJの前の画面にツイートが流れます。

こちらは現実でやることを制限させて消極的にではなく積極的にSNSをいじらせる、という方向性のイベント。これも面白いですね。

上記に上げたとおり、色々な参考になるイベントや作品や研究がありますね。

で、私がやっていることのお話をします。

最近ツイートしまくったのでそれを基に。

まずそもそもVJをやっているので、VJとしてディスプレイを通じて頑張ることで解決すべきなのは間違いないのですよね。

それは百も承知ですが、違うアプローチも必要なのではないか、そしてなにより自分がVJをやっている理由がここにあるからこのようなことに取り組んでいます。

私がVJをやっている理由の1つに、クラブイベントにただお客さんとして参加するよりVJとして参加するほうが楽しいから、主体的に参加できるからというのがあります。従来のクラブイベントでは少なくとも私は満たされていなかったわけです。究極は自分のためにやっています。

で、やろうとしていることは、

です。VJを介して、お客さんに遊んでもらおうと。AR空間に新しい遊べる空間を生成しようとしています。しかし、ここからはまだまだ完成していないところです。

既存のクラブでは満足しきれていないでなんとなくSNSをいじってしまう客層に対して、既存のクラブの世界になにかを加えるのではなく、その客層はその客層で新しい世界を構築するということを目指しています。

ここからの最適解はまだまだわかっていませんし、いまも試行錯誤を繰り返しています。

とりあえずいまは現状、画像認識したらオブジェクトが出る、こちらからもオブジェクトが出せる、それでインタラクションできる、というところまで実装していますが、ゲームとしての面白さとしてまだまだ。

クラブならではの音楽との関連付けや、（難しいですが）他のお客さんとインタラクションできると最高だな、と感じております。

スマホでAR × ゲームはなかなか前例が少なく難しいですが、最近リリースされて面白いのは

これです、ペチャバト。まだリリースされて2週間くらい。これやりましたがめちゃ面白いです。

ペチャバト - AR対戦バトル・大乱闘シューティングゲーム

ペチャバト - AR対戦バトル・大乱闘シューティングゲーム

  • Graffity Inc.
  • ゲーム
  • 無料

これとは違う方向性で作らなければいけないですね…！

 

前提として、ゲームの面白さがなければ、その新しい世界に来てくださるお客さんがいません。

 

と、いうわけで。

今後、私がどうにか面白そうなARゲームを作れるように、祈っておいてください。

これからもがんばります。

 

以上、SFC研究紹介でした！

 adventar.org

ここにいろんなSFC生のやってるいろんな面白いことが載ってるので、ぜひぜひ見てみてください！