正規直交基底と直交射影

正規直交基底

$\mathbb R^n$ の標準基底は正規直交基底です。 $\mathbb R^2$ では

\boldsymbol{e}_1=\frac1{\sqrt2}(1,1)^{\mathsf T},\qquad \boldsymbol{e}_2=\frac1{\sqrt2}(1,-1)^{\mathsf T}

も正規直交基底です。したがって正規直交基底は一意ではありません。

∵証明

$\boldsymbol{x}=\sum c_i\boldsymbol{e}_i$ と書き、両辺と $\boldsymbol{e}_j$ の内積を取ると $c_j=\langle\boldsymbol{x},\boldsymbol{e}_j\rangle$ です。さらに自己内積を取ると交差項が0になり、Parsevalの等式を得ます。

直交射影

∵証明

各 $j$ について

\left\langle\boldsymbol{x}-P_W\boldsymbol{x},\boldsymbol{e}_j\right\rangle =\langle\boldsymbol{x},\boldsymbol{e}_j\rangle-langle\boldsymbol{x},\boldsymbol{e}_j\rangle=0.

基底の全方向と直交するので $W$ 全体と直交します。

これはデータに最も近いモデルを探す最小二乗法の基本です。

練習問題

Q正規直交座標★☆☆

上の

\boldsymbol{e}_1,\boldsymbol{e}_2

に関する

(2,0)^{\mathsf T}

の座標を求め、Parsevalの等式を確認してください。

HINTヒントを見る

各基底ベクトルとの内積を取ります。

ANS解答を見る

座標は $(\sqrt2,\sqrt2)$ です。 $\|(2,0)\|^2=4$ 、座標の平方和も $2+2=4$ です。

Q直線への射影★★☆

$\boldsymbol{x}=(3,1,2)^{\mathsf T}$ を $\boldsymbol{u}=(1,1,0)^{\mathsf T}$ が張る直線へ射影し、残差との内積を確認してください。

HINTヒントを見る

\|\boldsymbol{u}\|^2=2

です。

ANS解答を見る

P\boldsymbol{x}=\frac4{2}(1,1,0)^{\mathsf T}=(2,2,0)^{\mathsf T}.

残差は $(1,-1,2)^{\mathsf T}$ で、 $\langle(1,-1,2),(1,1,0)\rangle=0$ です。

Q平面への射影と距離★★★

$b=(1,2,3)$ を平面

W=\{(x,y,z)\in\mathbb R^3:x+y+z=0\}

へ直交射影し、 $b$ と $W$ の距離を求めてください。

HINTヒントを見る

法線ベクトル

n=(1,1,1)

への射影を

b

から引きます。

ANS解答を見る

$b\cdot n=6$ 、 $n\cdot n=3$ なので、法線方向の成分は $2n=(2,2,2)$ です。したがって

\operatorname{proj}_W b=b-2n=(-1,0,1).

距離は法線成分のノルムで、 $\|2n\|=2\sqrt3$ です。