iCorpusStudio

管理者:角 康之()
本ホームページは,インタラクション統合分析環境iCorpusStudioの紹介と解説を行うものです.

インデックスに戻る

PREVIOUS:チュートリアル

TSeqViewer: 時系列データ演算プラグイン

本項ではiCorpusStudioのプラグインであるTSeqViewerについて説明します.

目次

  1. 起動
  2. 画面の説明
  3. ラベリング
  4. データの読み込み
  5. 演算処理の実行
  6. ラベル演算の例
  7. 時系列数値データ演算の例

1.起動

TSeqViewerはiCorpusStudioと同調して動作するプラグインです.TSeqViewerは,iCorpusStudioのメニューの「プラグイン」から「TSeqViewer」を選択することで起動されます.

TSeqViewer起動時の画面


TSeqViewerでは,のラベル表示,記入の機能に加えて,ラベル同士の論理演算,一括編集が可能です.また,アナログ時系列データを読み込んで,それら時系列データ同士の演算も可能です.

TSeqViewerの外観


ページの先頭に戻る

2.画面の説明

最上部のツールバーには再生・表示に関するボタンが備わっています.

ツールバー


上部にある二本あるルーラーはタイムバーです.上のバーは全範囲を表示するもので,下のバーはビューの表示範囲に対応しています.

タイムバー


中央の領域にはラベルビューまたはグラフビューが表示されます.ラベルビューには名義データが,グラフビューには数値データがそれぞれ表示されます.

ラベルビュー及びグラフビュー


ビューのコントロールパネル


ページの先頭に戻る

3.ラベリング

ラベルデータに対しては時間方向,時系列数値データに対しては値方向における任意の範囲にラベルを付与することができます.

新しい空のラベルビューを追加する場合には,「編集」->「空のラベルビューを追加」を選択するか,ツールバーの「空のラベル列を追加」ボタンを押してください

ラベルビュー

ラベルビューの場合,ラベルエリアを横にドラッグすることで時間範囲を選択できます. 選択された範囲の上で右クリックを押すか,メニューバーの「編集」->「選択範囲のラベルを設定」以下を選択することでラベルの編集が可能です.

動画などを参照しながらラベリングを行う場合には,おそらく以下のような操作になります.

  1. ラベルの開始となる時点の位置で右クリック->「ここにラベル境界を追加」
  2. 動画などを再生して終了点を探し,終了位置で右クリック->「ここにラベル境界を追加」
  3. 作成された二つのラベル境界の間の左クリックするとその範囲が選択される
  4. 選択範囲の上で右クリックを行い,表示されるメニューの「ここにラベルを設定」と書かれたテキストボックスにラベル名を書き込み,エンターキーを押す
ラベルビューにラベル境界を設定

ラベル境界の範囲にラベルを設定

範囲を選択して右クリックからのラベリング
範囲を選択してメニュー「編集」->「選択範囲のラベルを設定」からのラベリング
選択範囲外で右クリックからのラベリング
その他の操作

グラフビュー

グラフビューの場合は,値の方向(縦方向)に対しラベルを設定できます. メニューの「データ処理」->「時系列データの処理」->「ラベル化」を選択することで, 設定したラベルとグラフの値をもとにラベル列を作成します.

グラフビューに対してもラベルビューと同様に,上記のような(値方向の)ラベルの編集が可能です. また,グラフエリアの選択範囲外を右クリック->「ラベル境界の設定」->「境界位置の設定」メニューから詳細な編集が可能です.

ページの先頭に戻る

ラベルカラーの設定

ラベルの色は,ラベル名に応じて自動的に決定されますが,変更することもできます.

メニューの「編集」->「ラベル色の一括変更」を選択すると,色変更ダイアログが表示されます.

ラベルカラーの変更

左のビュー一覧から変更対象のビューをチェックし,中央のラベル一覧から変更対象のラベルをチェック, 右のボタン群の中から適当なボタンをクリックしてラベルの色が変更できます.

4.データの読み込み

ラベルビュー

iCorpusStudioに展開されているラベル列を読み込む
「ファイル」->「ラベルデータのインポート」のサブメニュー内にある,iCorpusStudio本体に展開されているラベル列の一覧のいずれかを選択することでTSeqViewerにラベルビューが追加されます.
iCorpusStudioのラベルファイルから読み込む

グラフビュー

ファイルから読み込む
MotionDataUtilityから読み込む
MotionDataUtilityの出力メニューから,オブジェクトの位置や位置関係から得られる時系列データを読み込むことができます.

保存されたビュー

  1. ラベルビュー,グラフビューのいずれに対しても,ビューエリアを右クリックし,「ファイル」->「ビューパネルを保存」メニューでビューの状態を保存することができます.
  2. 保存されたビューの状態は,メニューの「ファイル」->「保存されたビューを追加」から復元することができます.

すべてのビューの状態

  1. メニューの「ファイル」->「ビュー一覧を保存」から,すべてのビューの状態をまとめて保存することができます.保存をすると,.svs拡張子のファイルの他に,.Files拡張子の付いたフォルダが作成され,この中に各ビューのデータが保持されます.
  2. すべてのビューの状態は,メニューの「ファイル」->「ビュー一覧を開く」から.svs拡張子のファイルを選択することで復元することができます.

ページの先頭に戻る

5.演算処理の実行

読み込んだビューのデータに対してラベル演算や数値演算等の処理を実行することができます.演算処理を施すことで,個々のセンサデータやアノテーションからより複雑なアノテーションを導き出すことができます.

下記の図のように,メニューバーから処理メニューを選択することで選択中のビューに対して処理が実行されます.もしくは,ビュー内のラベルエリアまたはグラフエリアを右クリックすることで表示されるメニューからも処理を実行することができます.

演算処理の実行

ビューを左クリックすることでビューが選択され,その状態でメニューの「データ処理」から目的の処理を選択することで,処理の設定ダイアログが表示されます.パラメータを設定し,OKボタンを押すことで処理が実行されます.

演算処理のパラメータ設定ダイアログ

ページの先頭に戻る

6.ラベル演算の例

この章ではラベル演算についての例示を行います.

同期的なラベルの検出

最初の例として,異なるラベル列の間で同じタイミングで現れるラベルの抽出を行います. 同期するラベルの抽出により,共同注視や振る舞いの同期などのイベントを容易に求めることができます. 求める結果の違いに応じて,いくつかの演算処理が選択できます.
共通部分 / intersect label

シンプルに,二つのラベルデータに対して各時点で同じラベルが貼られているか,に基づいてラベルを抽出します.

パラメータとして対象ラベルビューを選択することで,選択しているラベルビューとの単純な共通部分を求めることができます. 「Same Label Text Only」パラメータのチェックがある場合には,同じ時間に同じラベルが貼られている部分が抽出されます. チェックがない場合には,選択しているラベルビューのラベルのうち,対象ラベルビュー上で何らかのラベルがある時間をすべて抽出します.

下図は,一列目が選択しているラベルビュー,二列目が対象ラベルビューであり,三列目が「Same Label Text Only」チェックありの場合の結果で, 四列目がチェックなしの場合の結果です.

共通部分

共通部分を含む / Extract Label by labels containing

「共通部分を含む」演算処理では,選択しているラベルビューのラベルのうち,比較対象のラベルビューのラベルが少しでも重なっているものを残し, そうでないラベルは取り除く,という処理を行います.具体的には,「ある被験者の発話」ラベル列と「他の被験者の頷き」ラベル列から,「発話中に他の被験者による頷きを伴う,ある被験者の発話」ラベル列を求めるようなことが可能です

下図は,一列目が選択しているラベルビュー,二列目が対象ラベルビューであり,三列目が処理の結果です.

共通部分を含む

ラベル直積 / Label Direct Product

「ラベル直積」演算処理では,複数のラベルデータに対して,各時点でのラベルの直積,すなわち,「それぞれの列のラベルの組」のラベルを作成します.

直積は単独ではなく,他の演算処理と組み合わせて使うことが期待されます. 例えば,「選択抽出」演算処理と組み合わせて,「被験者Aがパネル3を見て,被験者Bがパネル1を見ている」などといった特定の共通部分を取り出す, などといったことが可能です.

下図は,一列目が選択しているラベルビュー,二,三列目が対象ラベルビューであり,四列目が処理の結果です. 「Use Empty Label」パラメータがチェックされている場合は,ラベルのないところを「空白文字列のラベル」とみなして直積を求めます.

ラベル直積

選択ラベル列に対する直積 / Label Direct Product for Selected

「選択ラベル列に対する直積」演算処理は,「ラベル直積」演算処理と「共通部分を含む」演算処理が合わさったような処理を行います

選択しているラベルビューの各ラベルに対し,時間的に重なっている比較対象のラベルビューのラベル名をつなぎ合わせたラベルを作成します. 下の図では,「発話」ラベルに対して他の二人の「頷き」ラベルを取り込んだ形になっています.

選択ラベル列に対する直積

「ラベルのないところを空白文字列のラベルとみなす」パラメータや,「複数のラベルが重なっている場合にすべてつなぎ合わせる」パラメータがあります

複数のラベル列の合算

マージ / Merge Label

別々のラベル列の和をとってひとつのラベル列にします.実際には,選択しているラベル列のラベルがない部分に,比較対象のラベル列のラベルを付与したものを作成します

「Append Title to label」パラメータがチェックされている場合,各ラベル名にその出所となるラベルビューのタイトルを前置します.

ラベルテキストの一斉置き換え

ラベル名置換 / Rename Label text

特定のラベル名を別の名前に置き換えます.

下記の図のように,置き換え元のラベルを選択し,下のテキストボックスに入力して,「置き換え」ボタンを押します. 置き換えの設定が完了したら,OKボタンを押して置き換えを反映させます.

ラベル名置き換え

この処理は,他の処理と異なり新しいビューを作らずに選択中のビューの中身を変更します.