初級Mathマニアの寝言

特異値分解

この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。 対称行列のスペクトル分解 特異値分解 行列の作用素ノルム 行列の低ランク近似 参考文献 対称行列のスペクトル分解 特異値分解は対称行列のスペクトル分解に密接に関係しているので、まずは対称行列のスペクトル分解について説明します。 実数を成分に持つ正方行列 が対称行列だとしましょう。すなわち、 です。このとき、\begin{align} Av_i = \lambda_i v_i \end{align} となる と が存在します。ただし、 です。よく知ら…

2019/12/30 15:33

行列のシュール分解

この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。 シュール分解 以下のような行列 の固有値が対角成分に並んだ上三角行列への分解をシュール分解と言います。 ただし、 は複素共役転置を表します。これの証明は以下の通りです。 証明の中でグラム・シュミットの直交化法を利用しました。グラム・シュミットの直交化法は以下の記事で解説しています。 正規行列：シュール分解によって対角化可能な行列 一般の行列 はシュール分解によって上三角行列に分解できることを上で示しましたが、 が正規行列、すな…

2019/12/29 12:45

グラム・シュミットの直交化法とQR分解

この記事では、グラム・シュミットの直交化法とQR分解について解説します。 グラム・シュミットの直交化法 ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化法は の任意の基底 から以下のように正規直交基底を構成する方法です。\begin{align} q_1 &:=\frac{a_1}{ a_1 }\\ q_k &:= \frac{a_k-P_{q_1,\ldots,q_{k-1}}(a_k)}{ a_k-P_{q_1,\ldots,q_{k-1}}(a_k) }\quad (k=2,\ldot…

2019/12/28 12:49