Kinect（キネクト）によるダンスとテクノロジーの融合

オランダからの留学生として福岡に来ているエブリンです。

2年前、私は「Kinect（キネクト）」を使ったインタラクティブ・ダンス・パフォーマンスについての卒業制作に取り組みました。

ダンスについて教えて！とみなさんに言われることが多いので、卒業制作完成までの詳しいプロセスや使用したソフトウェアについて、またその際に直面した問題などをここに書いてみようと思います。同じようなダンスプロジェクトをされている方のお役に立てたら幸いです。

完成させたいという強い想い

卒業制作のテーマの一つとして、ダンサーが後方のスクリーンに映し出された映像と融合しながらダンスを繰り広げるインタラクティブ・ダンス・パフォーマンスを行いましたが、難しいテーマに対してネガティブになるのではなく、どんなことでも挑戦的に受け入れようという私自身の信念だけを頼りに制作を進行させました。

私は流れる音楽に合わせて、様々なキーを押しながらビジュアルライブをコントロールしました。この動画をご覧いただき、手前でMacBookを操作しているのが私です。

制作に取り組んでいる間、私は何度もダンサーとワークショップを重ね、彼女のアイデアをヒアリングしました。それによってダンサーが持つ個性に音楽と映像をマッチさせ、最終公演を迎える頃にはより完成度を上げることができました。

彼女とのワークショップのおかげで、起こりそうな問題を予想したり衣装をブラッシュアップすることができました。また私が組んだダンサーはとても経験豊富だったので、彼女から色々なことを教わりました。

ダンスと音楽と映像の競演

音楽は「Logic Pro」を使って作曲しました。ダンスと映像をリアルタイムで組み合わせたかったので、「Kinect」というモーション・キャプチャ装置を使う必要がありました。「Kinect」は赤外線の点を人間の表面に映して反射したパターンを赤外線カメラで見ることによって動いている人を検出できる物です。このメカニズムで距離を測り、人間のような対象を認識することができます。

「Kinect」をコンピューターとUSB接続したうえで専用のドライバーにより情報を解読し、どんなプログラミング環境でも使うことができます。私はMacBookを使いたかったので、オープンソース・ドライバー「OpenNI」を選びました。

映像はプログラミング環境「Processing（Javaの高水準バージョン）」で書きました。四角や線などの簡単な映像を作ることができるソフトです。そこで示された通りにキーを押して映像を変え、プログラムの中でコードの活動とリンクさせていきます。

問題発生！その時…

私が最初に考えていたのは、脚や頭などの体の部分を登録できるジョイント検出を使うことでした。そうすると「Kinect」にはこのような棒状の線画が描かれます。

しかし問題点がありました。Macでは私が使用していたソフトウェアの一部しかアップデートされないことが分かったのです。そのため私のプログラムは暴走し続けてしまい、バグをなんとかするには「Processing」の古いバージョンを使って、ジョイント検出をスキップするしかありませんでした。

その代わりに、人の輪郭を検出してそこからブロッブ（塊）を作り出す、ブロッブ検出を使いました。1週間でプログラムを書き直さなければならなかったため、結局 「Amnon Owed」のプログラムを使用して、既存のプログラムに適応させることになりました。

最終的にパフォーマンスは大成功でしたが、私はその週ほどストレスを感じたことはありませんでした。

楽しみながら学ぶ

公式の「Kinect SDK Software」かWindows環境であれば、継続的に更新されるので「Kinect」はお勧めできます。もしプロジェクターを使っているのなら、その品質を常に確認しておくことが必要だと思います。コンピュータ・スクリーン上で見るよりも映像のコントラストが弱く感じられるかもしれないので、コントラストは強めに描いておきましょう。

このダンスパフォーマンスは全体を通して私が好きなモノを寄せ集めたような内容でしたので、本当に楽しみながら多くのことを学びました。もし「Kinect」や「Processing」に関するアイデアを思いついたら、是非試してみてください。そしてご質問があればいつでもどうぞ。

原文はコチラ

ー日本語版翻訳：舘　沙也子