Branched Evolution

Competitive Programming in Python

正規確率過程の Karhunen–Loève 分解

概要

ベイズ統計の理論と方法」p116で、正規確率過程を和の形に分解するところについての補足。テキストでは一般の有限次元空間上の確率過程を扱っているが、ここでは簡単のため1次元の場合を考える。同様の議論で拡張できるはず。

主張

$\xi(t)$ を $[0,1]$ 上の平均 $0$ 共分散関数 $K(s,t)$ の正規確率過程とすると、標準正規分布に独立に従う確率変数 $Z _ 1, Z _ 2 , \ldots $ を用いて、 $$ \xi(t) = \sum _ {j = 1} ^ {\infty} \sqrt {\lambda _ j} Z _ j f _ j (t) $$ と表せる。ただし、$\lambda _ j$ は $K(s,t)$ を核とする積分作用素 $$ f(t) \mapsto \langle K(\cdot, t), f \rangle = \int _ 0 ^ 1 K(s,t)f(s) d s $$ の固有値で、$f _ j (t)$ は $\lambda _ j$ に対する固有関数である。
すなわち、各 $j$ について $$ \langle K(\cdot, t), f _ j \rangle = \lambda _ j f _ j (t) $$ が成り立つ。さらに、$\{f _ j (t) \}$ は $L ^ 2 [0, 1]$ の正規直交基底になるようにとることができる。

証明

一般に、可分ヒルベルト空間 $\mathcal{H}$ 上の自己共役コンパクト作用素 $T$ に対して、固有値 $\{ \lambda _ j \}$ に対する固有ベクトル $\{ x _ j \}$ からなる $\mathcal{H}$ の正規直交基底が存在し、 $$ T x = \sum _ {j = 1} ^ {\infty} \lambda _ j \langle x _ j, x \rangle x _ j $$ と表せる。証明は増田久弥「関数解析」の7.3節等を参照されたい。
上述の $K(s,t)$ によって定まる積分作用素は $L ^ 2 [0, 1]$ 上の自己共役コンパクト作用素であるから、固有値 $\{ \lambda _ j \}$ に対する固有関数 $\{ f _ j(t) \}$ からなる $L ^ 2 [0, 1]$ の正規直交基底が存在し、任意の $f \in L ^ 2 [0, 1]$ に対して、 $$ \langle K(\cdot, t), f \rangle = \sum _ {j = 1} ^ {\infty} \lambda _ j \langle f _ j, f \rangle f _ j (t) $$ と表せる。(Mercerの定理)

正規直交基底の性質から、各サンプルパスごとに $$ \xi(t) = \sum _ {j = 1} ^ {\infty} \langle \xi, f _ j \rangle f _ j (t) $$ が成り立ち、$\xi _ j = \langle \xi, f _ j \rangle$ とおくと $\xi _ j$ は正規分布に従う確率変数で、平均は $$ \mathrm{E} [\xi _ j] = \langle \mathrm{E} [\xi], f _ j \rangle = \langle 0, f _ j \rangle = 0 $$ 共分散は $$ \begin{aligned} \mathrm{E} [\xi _ i \xi _ j] &= \mathrm{E} \left[ \int _ 0 ^ 1 \int _ 0 ^ 1 \xi (s) \xi(t) f _ i (s) f _ j (t) ds dt \right] \\ \\ &= \int _ 0 ^ 1 \int _ 0 ^ 1 \mathrm{E} \left[ \xi (s) \xi(t) \right] f _ i (s) f _ j (t) ds dt \\ \\ &= \int _ 0 ^ 1 \int _ 0 ^ 1 K(s,t) f _ i (s) f _ j (t) ds dt \\ \\ &= \int _ 0 ^ 1 \langle K(\cdot, t), f _ i \rangle f _ j (t) dt \\ \\ &= \int _ 0 ^ 1 \lambda _ i f _ i (t) f _ j (t) dt \\ \\ &= \lambda _ i \delta _ {ij} \end{aligned} $$ である。正規分布に従う確率変数において共分散が $0$ であることと独立であることは同値なので、$\xi _ j = \sqrt{\lambda _ j} Z _ j $ とおくと $Z _ 1, Z _ 2, \ldots$ は独立に標準正規分布に従い、 $$ \xi(t) = \sum _ {j = 1} ^ {\infty} \sqrt {\lambda _ j} Z _ j f _ j (t) $$ と表せる。

参考

Karhunen–Loève theorem - Wikipedia