Master’s Research
伏田昌弘
FUSHIDA Masahiro
複合現実を用いたLive空間の提案
Proposal of Live space using Mixed Reality
今まで自身が行ってきたLiveハウスでのロックバンドの活動や飲食店で定期的に行われるジャズセッションへの参加、クラブ空間で行うラップトップPCでのパフォーマンス、音楽ライブのイベント企画といった経験から音楽ライブの楽しみ方は演者のテクニックの差はあれど大きな変化はないと感じていた。このことに対して問題意識を持ち、音楽空間にメディア技術を持ち込むことによってLive空間自体を拡張し新しい表現を行うことで、観客に新しい音楽体験を提案できないかと考えた。そこでMixed Reality（以降MR）という技術を用いて、アバターを操作して音楽的なパフォーマンスを行うMicrosoftのMRデバイスであるHoloLensのアプリケーション「Avatar Jockey」を提案する。 MRを用いた新しいLive空間として、仮想空間をコントロールしているのが人間であり、パフォーマンスが仮想空間を操作することで行われていることが実空間からも明確にわかるといった、通常のLiveと同様となるような条件を考慮した新しいLive空間の定義を行った。新しいLive空間について述べる。①実空間に重ね合わさっている仮想空間と音が参加者に共有されていること。②体験者が聞く音が3次元的な方向?距離?拡がりをもつ立体音響であること。③実空間の制約がなく、いつどこにいても音楽体験が可能であること。④現実空間内に人間の手で音を自由に配置し1回限りの音楽空間をLiveで構築できること。⑤視覚で音源がある方向?距離を確認できること。⑥観客参加型音楽であること。これらを満たす空間を新しいLive空間と定義し検証する。 結論として、音楽Liveの楽しみ方は演者のテクニックの差はあるが大きな変化はないという私の問題意識に対して、定義した新しいLive空間は観客に新しい音楽体験を与えることができたと考えられる。その理由は新しいLive空間を体験者に受け入れてもらい楽しんでもらえたからである。従って「Avatar Jockey」は一定の成功をおさめたと言える。ライブの「楽しみ」や「盛り上がり」は、空間や他の観客との相互作用といったところにあると考える。だから「Avatar Jockey」はライブ空間そのものを移動させたり拡張させたりすることができるのだから、ライブ空間への物理的移動や閉鎖的空間でのオールスタンディングといった状況の苦しさを解放してライブを楽しむことができる。本研究は今後来ると予想される複合現実が当たり前になる未来から逆算し、Live空間を今あるMRの技術で構築し提案したという位置付けになる。
This research was inspired by my experiences planning music events, performing with my laptop, and participating in Jazz jam sessions. These experiences showed me that, while each performance is different based on the performer’s technique, audiences enjoy all these performance in much the same way. To address this, I wanted to propose a new musical experience for audiences by incorporating media technology into the music space. For my first-year year-end presentation at IAMAS, I created FaceSession, a participatory music experience for iPhone. After that, I shifted my focus to mixed reality technology for my graduate project. For my second-year mid-term presentation I created a system that allowed live music to be experienced through Avatars. Next, for my graduate project’s first preliminary examination, I made Audience Jockey, a system that enlivens a music venue by generating avatars in the live music space. After that, I created Avatar Jockey, a system that provides an interactive musical experience in mixed reality (MR) shared by multiple users. The objective of my research is to create a new live music space in which MR is used to enable interactive music performances. I will verify how enjoyable this performance system is, and I will investigate possibilities for its application. I define this new live space as a mixed reality space that has the same conditions as ordinary music performance space, and in which it is clear to viewers in real space that the virtual space is being controlled and a human is doing it. This new space has the following characteristics: 1) Participants all experience the same sounds as well as the same mixed-reality space. 2) It has three-dimensional acoustics that have expansion, distance, and direction. 3) It allows users to create a musical experience anywhere without the limitations of real space. 4) In it, a unique live music space can be created with participants freely arranging sounds with their hands in real space. 5) Users can confirm the distance and direction of the sound with their eyes. 6) The music in this space incorporates audience participation. I define space that contains all these characteristics as my new live music space. Regarding the issue I chose to address – the fact that, in spite of differences in the performers’ techniques, there are no major differences in the way audiences enjoy live music performance – I believe that this newly defined space was able to provide spectators with a new experience that they were able to accept and enjoy the space. Therefore, Avatar Jockey achieved a measure of success. The enjoyment and excitement of a live performance comes from the interaction between the space and other spectators. Therefore, as Avatar Jockey allows the space itself to be moved and expanded, the audience of these performances do not have to stand in an enclosed area or physically move to the venue. This piece is an inverse operation simulating with current technology the kind of augmented reality that will commonplace in the future.
