運指認識技術と運指認識技術を活用した学習支援
運指認識技術
代表的な関連文献
竹川佳成, 寺田 努, 西尾章治郎, ``鍵盤楽器のための実時間運指取得システムの構築,'' コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol. 23, No. 4, pp. 51--59 (2006年10月). PDF
Takegawa, Y., Terada, T., and Nishio, S. ``Design and Implementation of a Real-Time Fingering Detection System for Piano Performances,'' Proceeding of International Computer Music Conference (ICMC2006), pp. 67--74 (Nov. 2006).PDF
竹川佳成, 寺田 努, 西尾章治郎, ``鍵盤奏者のための実時間運指取得システムの設計と実装,'' インタラクティブシステムとソフトウェアXIII: 日本ソフトウェア科学会 WISS2005, pp. 93--98 (2005年12月).
学習支援
上図を用いて提案システムの学習支援方法について説明する.図中の番号は,以下の箇条書き番号や括弧付き番号に対応している.
1.打鍵鍵(次に打鍵する鍵)の輪郭を囲む.
2.運指情報は,運指番号ごとに対応している輪郭の色や,鍵上に運指番号を表示することで示す.なお,輪郭の色は,爪先に装着しているマーカの色と同じである.
3.正解運指が打鍵鍵上にある場合,その打鍵鍵全体が塗りつぶされる.上図では(1)の指す鍵が打鍵鍵で,左の打鍵鍵は正しい指が置かれているため打鍵鍵全体が塗りつぶされている.一方,誤運指で打鍵している場合や,誤った鍵を打鍵した場合,矩形を赤色で塗りつぶすことで誤りを視覚的に示す.これにより学習者は容易に打鍵位置や運指を把握できると同時に誤りを補正できる.
4.打鍵鍵上に正運指がある場合に塗りつぶすだけでなく,候補鍵(打鍵鍵より後に打鍵する鍵)上に正運指がある場合は,候補鍵上の輪郭を正運指の色で囲む.上図では(4)の指す鍵が候補鍵で,最も低い候補鍵上に正運指があるためその鍵の輪郭が囲まれている.これにより,学習者は打鍵鍵より後に弾く鍵と指の組合せを明確に把握できるためスムーズに演奏を行える.
5.打鍵鍵や候補鍵の先端に打鍵順番を提示する.また,打鍵順番の背景色は運指に対応する色が割り当てられており,同じタイミングで打鍵する音が複数あれば横線で結び和音演奏であることを提示する.これにより,どの鍵を今後弾いていくのかといった演奏の流れを理解できるため,次以降に弾くべき鍵が不明なため演奏を中断してしまう光る鍵盤の問題も解決できる.また,広い領域にまたがる同時打鍵に気づくことができる.
6.右手と左手の各指はそれぞれ同じ色のマーカを装着しており,運指情報を示す色だけでは右手か左手で演奏するか判別できない.そこで,右手と左手の演奏領域の境界線を提示する.
7.鍵盤上部に現在演奏している付近の楽譜を示す.楽譜の各音符と音符に対応する鍵との間が線で結ばれている.これにより譜面が読めないユーザであっても音符と鍵の関係が理解でき読譜学習にもつながる.また,打鍵鍵の線は太線で,候補鍵の線は細線で表すことで打鍵鍵を目立たせている.
8.五線譜内には,現在演奏している位置を示すバーを表示する.これにより左右の手の打鍵タイミングを楽譜から理解できる.
9.初級者が新規の楽譜に取り組む場合,片手ずつ訓練する.両手用楽譜や片手用楽譜を用意し,選択的に利用できるようにする.また,片手で訓練している場合も,もう片方の手の演奏との関連を意識することは両手で合わせるときに重要であるため,もう片方の手で演奏する音符も薄く提示する.上図-(9)は右手訓練用の楽譜である.
10.鍵盤演奏ではスムーズな演奏を行うために親指を交差する奏法が頻繁に用いられる.初級者は指の交差を行うタイミングや,どのように指の交差を行うかわからないため,タイミングや交差方法を提示する.
代表的な関連文献
竹川佳成, 寺田努, 塚本昌彦, ``運指認識技術を活用したピアノ演奏学習支援システムの構築,'' 情報処理学会論文誌, Vol. 52, No. 2, pp. 917--927 (2011年2月). PDF
竹川佳成, 寺田 努, 塚本昌彦, ``リズム学習を考慮したピアノ演奏学習支援システムの設計と実装,'' 情報処理学会論文誌, Vol. 54, No. 4, pp. 1383--1392 (2013年4月). PDF
Takegawa, Y., Tayanagi, E., Tsubakimoto, M., and Hirata, K., ``Evaluation of a Piano Learning Support System Focusing on the Learning Process,'' Proceeding of World Conference on Educational Media and Technology (EdMedia2013) , pp. 2306--2314 (June 2013). PDF
竹川佳成, 寺田 努, 塚本昌彦, ``システム補助からの離脱を考慮したピアノ演奏学習システムの設計と実装,'' コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol. 30, No. 4, pp. 51--60 (2013年10月). PDF
竹川佳成, 椿本弥生, 田柳恵美子, 平田圭二, ``鍵盤上への演奏補助情報投影機能をもつピアノ学習支援システムにおける熟達化プロセスに関する調査,'' インタラクティブシステムとソフトウェアXXI: 日本ソフトウェア科学会 WISS2013, pp. 55-60 (2013年12月). PDF
田村速人, 竹川佳成, 平田圭二, 田柳恵美子, 椿本弥生,``成人ピアノ初級者の演奏熟達におけるチャンク形成過程の分析,''情報処理学会研究報告, Vol.2014-MUS-102, No. 8, pp. 1--8 (2014年3月). PDF