時空間Hybrid Dynamical Systemについて少し考えたい。
***********************************
カメラやマイクロフォン、生体センサ、脳計測装置などがある。
これらを用いて同時計測することで、複数のメディア信号が得られる。
異なるメディア信号に現れる変化パターンの間には、
共起性、同期や遅延などの時間的構造の特徴が見られる。
マルチメディア信号における共起性のモデル化で注目している構造は、
同時刻、隣接するフレーム間などの関係である。
しかし、
実際の異なるメディアの変化パターン間には、
これらのモデルでは十分表現できない構造が現れる。
ex.破裂音と母音・口唇動作の関係
このような異なるメディア信号の変化パターン間に起こる,
共起性や系統的時間差といった時間的構造をタイミング構造と呼ぶ.
このとき,マルチメディア信号におけるこのタイミング構造(マルチメディア・タイミング構造)を
明示的に表現する新たなモデルを提案した。
***********************************
こっからが長いんやけど、今回はここでおしまい。