最適問題の例として、通信理論や信号処理理論で重要なフィルタの構成法の一例について書きたいと思います。以下に述べるウィーナー・ホッフの積分方程式の導出を学んだとき、変分の考え方やエルゴード性など、少し高くつく数学の醍醐味を感じたのを覚えています。
フィルタとは、広域周波数から所望の周波数を抽出するものである。
例えば、理想信号に雑音(一般に高周波)が乗った現実の信号から雑音を除去するために低周波の波のみを通す低域フィルタ(Low Pass filter: LPF)や、低域のドリフトノイズを取り除き、高域だけを透過する高域フィルタ(High Pass filter: HPF)などがある。また広い意味で、システム固有の状態変数について目標入力に対するシステムの応答(出力)を所望の目標値に追従させるために、目標入力と出力との誤差を0にする装置のことをフィルタと呼ぶこともある。
以下、古典的な周波数フィルタであるウィーナー(Wiener)フィルタの構成法について書きたいと思う。ウィーナーフィルタは、サイバネティックスの提唱者N. Wienerが考案したものである。
ウィーナーフィルタは目標入力とシステムの出力の誤差を最小にする規範のもとに設計される最適フィルタのひとつである。
まず次の3点を仮定する。
1.フィルタへの入力信号は定常かつエルゴード的(時間平均と標本平均が一致すること)であるとする。
2.誤差規範は2乗誤差平均とする。
3.フィルタの動特性は線形、時不変(システムを記述するパラメタが時間的に一定)かつ因果的とする。
フィルタのインパルス応答をh(t)、入力をx(t)とすると、出力y(t)は
(1) y(t)= ∫ h(τ)x(t-τ)dτ (積分は0~∞まで。以下同じ)
ここで誤差規範 I は、以下の①、②の2パターンある。
①時間平均の規範として
(2) I=lim 1/2T( ∫ (y(t) - y^(t))^2dt
(積分は-T~Tまで。極限はT --->∞)
ただし、y^(t)は目標入力であるとする。
②集合平均の規範として
(3) I=E{ (y(t) - y^(t))^2}
ここでフィルタが線形時不変であり、入力信号x(t)が定常エルゴード的であることより出力y(t)も定常エルゴード的である。
よって、相関関数のエルゴードの定理より、時間平均である①におけるI と集合平均である②におけるI が一致する。よって、以下集合平均の2乗誤差規範 I を用いて差し支えない。
(3)式に(1)式を代入して、
(4) I = E{(y^(t) - ∫ h(t) x(t - τ)dτ)^2}
I はh(t)の汎関数であり、I[h(t)]とおく。
ここで、考えている最適フィルタ問題は、この汎関数を最小にするh(t)を求める変分問題に帰着される。最適解をh`(t)とすると、h`(t)は微小変数εによる偏微分
(5) ∂ I[h`(t) + ε h(t)] / ∂ ε = 0 (ε → 0)
で与えられる。
ここで、(4)式と(5)式より、簡単な計算により、
(6) I [h`(t) + ε h(t) ] = I[h`(t)] - 2ε I' + ε^2I''
となる。ただし
(7) I' = ∫ h(τ) [Ryx(τ) - ∫ h`(σ)Rxx(τ - σ)dσ]dτ
(8) I'' =∫ h(τ)dτ∫ h(t) Rxx(τ - t)dt
である。ここで、Rxx、Ryxはそれぞれxの自己相関関数、xとy の相互相関関数を表す。
(6)式を(5)式に代入すると、
((5)の左辺)= lim[( - 2εI' + ε^2I'')/ε] = - 2I' = 0 (ε →0)
これより、I' = 0となる。よって、(7)式より、h`(t)の満たす必要条件として式、
(9) Ryx(τ) - ∫ h`(σ) Rxx(τ - σ)dσ = 0 (τ≧ 0:因果性により)
を得る。h`(t)が求まれば、そのフーリエ変換がフィルタの周波数伝達関数となる。この(9)式はウィーナー・ホッフ(Wiener-Hopf)の積分方程式と呼ばれる。この方程式は、最適化問題でよく顔を出す重要な方程式である。
この方程式の解法については、いつか記事にしたいと思います。
参考
確率システム理論2 砂原
カルマンフィルター 有本