takuma7's blog: 3月 2013

マルチタッチディスプレイの発展により、近年テーブルトップインタフェースが続々と製品化されてきている。

テーブルトップインタフェースは複数人での協同的な作業において非常に直感的で有用なものだ。だけども、「誰がどのタッチをしたのか」といったことまでは分からないのが現状。

「誰がどのタッチをしたのか」が分かることは結構重要。すぐに思いつくメリットとしては、作業履歴・状態を保存できたり、権限を考慮した操作が可能になるといったこと挙げられる。複数人での協同作業がより直感的になり、かつ操作に幅が出ると考えられる。

マルチタッチが普通になっている今、マルチユーザへと移っていくことは進化の方向としては妥当じゃないだろうか。そっちの方が直感的だし。現状のように、自分のタッチがアノニマスなタッチの1つでしか無いとか気持ち悪い。

関連研究としてはMERLによるDiamondTouchや、SchmidtらによるHandsDown, IdLensesなどがあるけども、何れも大規模ユーザにおける個人レベルの識別までは達成できていない。

今回作ったSuzuriは公共空間への設置を前提とした、「誰がどのタッチをしたのか」を個人レベルまで識別可能で手軽に使用可能なテーブルトップインタフェースシステム。使用イメージは以下のようになっている。

スマートフォンでブラウザを開き、指定webサイトにアクセス＆ログインするとマーカ（テーブルトップ上でどのスマートフォンがどこにあるかを示す）が表示される
マーカ下のボタンをタップする
手がスマートフォンと関連付けられ、トラッキングが開始される
今後この手による操作は全てこのスマートフォン(=個人)と関連付けられて処理される

百聞は一見に如かず。以下の動画をご覧頂きたい。この動画ではお絵かきアプリケーションのデモが行われる。

Suzuri: the most natural multi-user tabletop interface ever from TaKUMA7 on Vimeo.

中央の白い長方形がキャンパスであり、タッチディスプレイになっている。青い輪郭の手（=未認証の手）でタッチ操作をしても線が描かれることはない。しかし、スマートフォンを取り出しサイトにアクセス・ログインし、出てきたマーカ下のボタンをタップすることにより輪郭がオレンジに変化する。オレンジの輪郭の手は認証済みの手であり、今後この手による操作はすべて認証に使用したスマートフォンと関連づいて処理される。各タッチは各手に関連付けられているので、各タッチ操作はスマートフォン（=個人）と関連づけられることになる。

"Suzuri"という名前は、スマートフォンを書道の硯に見立てたことに由来している。

異なる硯に異なる色の墨汁を入れ、筆（=手）を浸すと、それぞれの筆がそれぞれの色で線を描く。こんな感じのイメージをメタファーとして名前を考えた。

実際に作ったものの外観は下図のようになる。手のトラッキングはKinectセンサにより得られる深度画像により前景・背景を切り離したシルエットを用いた。マーカにはARToolKitPlusのマーカを使用した。

公共空間への設置を前提とされているため、大局的な構成のコンセプトとしては下図のようになっている。

suzuriはテーブルシステム、suzuri-serverはwebサーバでありスマートフォンとsuzuriはsuzuri-serverを通して情報のやりとりを行なっている。今回実装したのはこの1ノード：

suzuriはsuzuri-cameraとsuzuri-tableから成り、suzuri-cameraは手やマーカのトラッキング、suzuri-tableはテーブル側のアプリケーションシステムとなっている。
suzuri-cameraはopenFrameworksで、suzuri-tableはCinderで、suzuri-serverはNode.jsを用いて実装を行った。また、それぞれの間で下図のような情報のやり取りが行われている。