Takegawa.Lab

ピアノをうまく弾けるようになるためには，とてつもない長い修練が求められる．しかし，この努力の成果を活かせる場面がピアノ演奏だけにとどまっているのはもったいないと思わないか．鍵盤演奏スキルのより広い利活用をめざし，その第一段階として鍵盤演奏スキルを文字入力への転用を試みた．提案する鍵盤文字入力は，下記の図に示すように，鍵盤そのものを文字入力インタフェースとして用いる．また，通常の文字入力インタフェースのように入力速度重視の「高速文字入力方式」と，鍵盤を利用している利点を活用し音楽性重視の「芸術的文字入力方式」を考案した．

提案するインタフェースを利用している様子を右図に示す．屋外利用を想定し，鍵盤は普段の生活で邪魔にならないように音域が1オクターブの小型な鍵盤を用いる．また，鍵盤は持って使用するのではなく装着し，入力は片手で行う．

右表に提案する文字入力方式の文字コード割当てを示す．かな文字の入力はC鍵からG鍵（白鍵のみ）の組合せで行う．あ行〜な行は奏法（a）で，は行〜わ行は奏法（b）で入力し，第1音で子音を第2音で母音を決定する．なお，は行〜わ行で第1音と第2音が同じ鍵を使う文字（下線が引かれた文字）は，奏法（b）で演奏できない．ゆえに，第1音とC#鍵，D#鍵，F#鍵のいずれかを奏法（b）で弾くことで該当の文字を入力できるようにした．例えば，「は」を入力する場合，C鍵とC#鍵，D#鍵，F#鍵のいずれかを奏法（b）で弾く．なお，これら2鍵の演奏順は順不同である．

少ない鍵数で多くの文字を入力するためには，ストローク数や同時打鍵数を増やすことで組合せ数を稼ぐのが一般的である．しかし，提案方式では，2音の組合せと奏法を変化させることで組合せ数を増やしている．この組合せは，通常の演奏で頻繁に用いられている奏法であるため，ピアニストにとって肉体的・精神的な疲労感が少なく，特別な訓練なくブラインドで入力できる．これは，ピアニストを被験者とした予備実験から確認されている．また，全ての文字入力操作はC鍵からG鍵で行う．これにより，C鍵に親指をG鍵に小指を置いたポーズをホームポジションとすれば，ホームポジション内で文字入力操作が行えるため安定性が確保できる．さらに，実験のヒアリングで「C鍵に親指がある場合，D鍵は人差し指，E鍵は中指，F鍵は薬指，G鍵は小指を使って演奏する」という意見から，提案するホームポジションは，運指という視点から見ても演奏者にとって違和感がない．加えて，母音と指が1対1に対応付けられているため直観的に文字入力を行える．
提案文字入力インタフェースの有効性を示すために，鍵盤に習熟している被験者（ピアニスト）および鍵盤に慣れていない被験者を対象とした評価実験を行った．屋外利用を想定している入力デバイスとして広く使われているTwiddlerを比較対象とした．提案文字入力インタフェースは使い始めてから約60分でブラインド入力できるようになり，280分後には比較対象であるTwiddlerの文字入力速度と比べて2倍以上速く文字入力できるようになった．また，携帯電話方式（同じキーに複数の文字を割り当て，キーを複数回押すことで入力文字を選択する方式）を採用しているKeiboardとの比較評価実験からも提案手法の方が高速に入力できることがわかった．さらに，ピアニストの被験者は，鍵盤に慣れていない被験者より高速に入力できたことから，ピアニスト向けのインタフェースといえる．

　これまでに，いつでもどこでも文字入力を行いたいという要求を満たすために様々なキーボード型文字入力インタフェースが提案されてきた．これらは，文字入力方式に着目すると携帯電話方式（同じキーに複数の文字を割り当て，キーを複数回押すことで入力文字を選択する方式），ポケットベル方式（子音と母音など複数キーの組合せで入力する方式），コード方式（複数キーを同時に入力する方式）に分類できる．一般に携帯電話方式，ポケットベル方式，コード方式の順で敷居は高くなり使い始めの文字入力速度は遅い．しかし，習熟後の文字入力速度はコード方式が最も速くなる．したがって，ユーザは敷居が低く低速な文字入力方式か，敷居が高いが習熟すれば高速に文字入力できる方式を選択しなければならない．このように，万人向けに設計されたインタフェースでは，敷居の低さと文字入力速度の両立は難しい．提案インタフェースは，ピアニスト向けという対象が限定されているものの，その対象にとって使い慣れたインタフェースを流用することで直観的で敷居の低い文字入力を実現できた．この研究成果は，これまでの「ユニバーサルデザイン」に対し「パーソナルデザイン」という新たな設計思想の提案につながると考えている．今後，日常生活の些細なことでもコンピュータを介するなどコンピュータとの関わりがより密になる流れはおさえようがなく，同時にコンピュータを操作する機会は増加すると考えられる．このような社会においては，インタフェースは多様化し，まるでファッションアクセサリにこだわりをもつように，個人の嗜好，特性，用途にあったインタフェースが求められはずで，パーソナルデザインが一般的になる可能性も十分考えられる．
小型の鍵盤で音域の広い曲を演奏しようとする場合，弾き進めていけば当然弾けない音が現れる．このとき，キートランスポーズを行なえば音域の問題は解決する．つまり，弾けない音が出現すれば，その都度キートランスポーズを行なって音域をカバーしていけば鍵数が少なくても音を繋いでいくことができる．しかし，通常の鍵盤でキートランスポーズを行なうと新たな問題が生じる．例えば，通常の鍵盤にキートランスポーズを行ない「ドの鍵」に「ラ」の音を割り当てた場合（左図上），黒鍵の音と白鍵の音の位置関係が崩れる．演奏者にとってこのずれによる違和感は大きい．また，どの鍵に何の音が割当てられているかを視覚的に判別できないという問題も生まれる．

 

代表的な関連文献

竹川佳成, 寺田 努, 西尾章治郎, ``鍵盤奏者のための小型鍵盤を用いた文字入力インタフェースの構築,'' 情報処理学会論文誌, Vol. 50, No. 3, pp. 1122--1132 (2009年3月). PDF

Takegawa, Y., Terada, T., and Nishio, S. ``A Text Input Interface using a Portable Clavier for Pianists,'' Proceeding of IEEE International Symposium on Wearable Computers (ISWC2007), pp. 99--102, (Oct. 2007). PDF

 

芸術的文字入力方式では文字入力のスピードや正確性を重視する一般の文字入力インタフェースとは異なり，いかに思いや感情を演奏として表現できるかという点が重要になる．そのためにはユーザが任意の文字を好きなタイミングで入力でき，そのときの出力音を自由にコントロールできることが望ましい．しかし，携帯電話やポケットベルのような文字入力方式では入力文字に対して使用するキーが決まっているため，文字に対する出力音が固定され，ユーザの意図しない音楽が生成される．

この問題を解決する方法として文字入力鍵の打鍵音を変更する方法と中継音を挿入する2つの方式を考えた．ここでは，前者の方式についてのみ簡単に説明する．前者の方式は，文字入力鍵（打鍵時に文字と楽音を生成する鍵）の打鍵音（鍵の打鍵により出力される音）を変更する方式である．例えば，演奏鍵（文字入力に用いない鍵）の演奏と協和する音を文字入力鍵の打鍵音に割り当てる方法が考えられる．このようにすることで，ユーザは演奏鍵の演奏を通して間接的に文字入力音をコントロールできる．具体的に25鍵程度の鍵盤を用いて文字入力を行う場合，右図のように鍵盤を左右に分割し，左側を伴奏（左手）領域，右側を文字指定（右手）領域に割り当てる．右手の入力の組み合わせで文字指定し，左手の伴奏により芸術性を付加する．文字指定方式としては，ポケットベル文字指定方式や，縦分割文字指定方式などいくつか提案した．また，右手で打鍵したときに出力される音に芸術性をもたせるため，出力音を左手で入力する和音（伴奏）に応じて変化させるようにした．具体的には，伴奏と不協和音にならない音集合を導出し，文字指定領域にその音を敷き詰めることで違和感のない文字入力演奏を実現した．一例を挙げると左手の伴奏がド3（数字:オクターブの高さ）, ミ3，ソ3だったとすると，右図に示すように文字指定領域の左端から順にそれらを敷き詰める．

この文字入力演奏は，電子メール，ブログ，チャットなどテキストベースのコミュニケーションにおいて感情や思いをより良く表現し他者に伝えるためのツールとして活用できると考えられる．この演奏と同期する文字入力が感情伝達に有効か200名弱の被験者を対象とした主観評価実験からテキストだけの表現と比較して豊かに感情伝達できることが証明された．

 

代表的な関連文献

竹川佳成, 寺田 努, 塚本昌彦, 西尾章治郎, ``TEMPEST: 音楽的表現が可能な文字入力システム,'' 芸術科学会論文誌, Vol. 6, No. 2, pp. 88--97 (2007年7月). PDF

Takegawa, Y., Terada, T., and Nishio, S. ``TEMPEST: A Text Input System for Musical Performers,'' Proceeding of International Conference on Entertainment Computing (ICEC2006), pp. 322--325 (Sept. 2006). PDF