線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 深層学習への応用 6.6節「線形システムのモデル低次元化法」は深層学習と関係しており，状態空間モデル (State Space Model: SSM) が組み込まれた深層モデルのパラメータ削減に応用できます．実際に，以下の論文では深層モデルに組み込まれた比較的大きなSSMを6.6節で説明している平衡打ち切り法を利用して小さなS…
本ブログの内容と以下の本の内容の関係を紹介します（随時更新します）． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 第1章と第2章の内容と関係するブログ記事 第1章は「本書の内容を理解するための準備」で第2章は「線形代数」となっており，全体を読むための準備という位置付けになっています．第1章で最も難しい部分は1.4節の「距離空間とその位相」という部分だと思われますが，この部分と第2章を読むと以下のブログ記事を理解することが可能になると思われます． ogyahogya.hatenablog.…
線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ)という本を出版しました！ 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ) 作者:佐藤 一宏 サイエンス社 Amazon このブログで気が向いたら本書の内容をより詳しく説明したりしたいと思います（3年以上ぶりにブログが動き出す気配があります）．
Courant-Fischerの定理，主成分分析，最適化の概要など
に載せてる8回目の動画 ではCourant-Fischerの定理，主成分分析，最適化の概要などを説明しています． ・0～27分ぐらいまで：Courant-Fisherの定理の説明 ・27分ぐらい～58分ぐらいまで：Courant-Fisherの定理の応用(シュティーフェル多様体が登場します） ・58分ぐらい～1時間15分ぐらいまで：Courant-Fisherの定理の主成分分析への応用 ・1時間15分ぐらい～1時間33分ぐらいまで：Courant-Fisherの定理の特異値分解への応用 ・1時間33分ぐらい～最後まで：最適化の概要（1時間42分40秒ぐらいから何回か「勾配は等高線に接する」とか…
シュール分解，スペクトル分解，(半)正定値対称行列，特異値分解など
に載せてる7回目の動画 では，シュール分解，スペクトル分解，(半)正定値対称行列，特異値分解などを説明しています．興味がありましたらご覧ください． ・0～34分まで：シュール分解，スペクトル分解について説明しています． ・34分～1時間20分まで：(半)正定値対称行列を説明しています． ・1時間20分～最後まで：特異値分解を説明しています． 動画で利用している資料は です．
に載せてる6回目の動画 では，ノルム，内積，射影などを説明しています．興味がありましたらご覧ください． ・0～1時間5分ぐらいまで：ノルム，内積を導入して，任意の有限次元ノルム空間はバナッハ空間であることを説明しています． ・1時間5分～1時間38分ぐらいまで：凸集合上やベクトル空間上への射影の説明をしています． ・1時間38分ぐらい～最後まで：グラム・シュミットの直交化法とQR分解を説明しています． 動画で利用している資料は です．また も利用しています．
東京大学大学院情報理工学系研究科の線形数理要論という授業を担当しているのですが，新型コロナ対策のためオンライン授業をすることになり，急遽オンライン向けの資料などを用意することになりました．線形代数の発展版なので興味がございましたら以下をご覧ください． www.kazuhirosato.work
この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。 対称行列のスペクトル分解 特異値分解 行列の作用素ノルム 行列の低ランク近似 参考文献 対称行列のスペクトル分解 特異値分解は対称行列のスペクトル分解に密接に関係しているので、まずは対称行列のスペクトル分解について説明します。 実数を成分に持つ正方行列 が対称行列だとしましょう。すなわち、 です。このとき、\begin{align} Av_i = \lambda_i v_i \end{align} となる と が存在します。ただし、 です。よく知ら…
この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。 シュール分解 以下のような行列 の固有値が対角成分に並んだ上三角行列への分解をシュール分解と言います。 ただし、 は複素共役転置を表します。これの証明は以下の通りです。 証明の中でグラム・シュミットの直交化法を利用しました。グラム・シュミットの直交化法は以下の記事で解説しています。 正規行列：シュール分解によって対角化可能な行列 一般の行列 はシュール分解によって上三角行列に分解できることを上で示しましたが、 が正規行列、すな…
この記事では、グラム・シュミットの直交化法とQR分解について解説します。 グラム・シュミットの直交化法 ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化法は の任意の基底 から以下のように正規直交基底を構成する方法です。\begin{align} q_1 &:=\frac{a_1}{ a_1 }\\ q_k &:= \frac{a_k-P_{q_1,\ldots,q_{k-1}}(a_k)}{ a_k-P_{q_1,\ldots,q_{k-1}}(a_k) }\quad (k=2,\ldot…
この記事では射影行列について解説します。 射影行列の定義と性質 行列 が射影行列であるとは、\begin{align} P^2 =P \end{align} を満たすときに言います。 行列 が射影行列のとき、\begin{align} Q:= I_n-P \end{align} も射影行列であり（ は の単位行列）、\begin{align} PQ=QP =0 \end{align} であり、\begin{align} {\bf R}^n = {\rm Im}\, P\oplus {\rm Im}\, Q\end{align} が成り立ちます。さらに、\begin{align} {\rm Ke…
この記事では、ベクトル空間の直和分解について解説します。 ベクトル空間の和と直和 ベクトル空間 の二つの部分空間 が与えられているとします。このとき、 は の部分空間でないかもしれませんが、\begin{align} V_1+V_2 := \{ x_1 + x_2\, \, x_1\in V_1, x_2\in V_2 \} \end{align} は の部分空間になっています。この は を含む最小の部分空間になっており、 と の和と言います。基底を構成するベクトルの数をカウントすることで、\begin{align} \dim (V_1+V_2) = \dim V_1 + \dim V_2 -…
この記事では多様体上の接続と平行移動という概念について解説します。なお、この記事を理解するためには多様体、接空間、ベクトル場といった概念を理解しておく必要がありますが、それらについては以下の記事を参考にしてください。 多様体上のアファイン接続 ユークリッド空間の場合の共変微分 ユークリッド空間の部分多様体の場合の共変微分 局所座標を使わない説明 局所座標と曲線を使った説明 具体例 ユークリッド空間の部分多様体の場合における平行と平行移動の概念 平行の名前の由来 平行の概念を曲線を使って考える理由 一般の多様体の場合の平行と平行移動の概念 参考文献 多様体上のアファイン接続 多様体上のアファイン…
この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して を 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 は 次元のベクトル空間で任意の に対して を と定義することで はノルムとなり、 は 次元のノルム空間ということになります。 ノルム空間 は有限次元かもしれないし、 で紹介したような2乗可積分な関数全体の集合 のように無限次元かもしれないことに注意してください。 全微分と方向微分 ノルム空間の間の線形写像の連続性と有界性 ガトー微分：方向微分の一般化 フレッシェ微分：勾配の一般化 …
この記事では、多様体上のベクトル場について解説します。なお、この記事を理解するためには多様体や接空間などの概念を理解しておくことが必要です。それらについては を参考にしてください。 多様体上のベクトル場 ベクトル場全体の集合の代数構造 積分曲線 二つの多様体上のベクトル場の関係性 参考文献 多様体上のベクトル場 多様体 上のベクトル場 とは、 という対応のことです。 をよく と書きます。この記事では基本的には と書くことにして、 だと読みづらくなると思われるところで を使うことにします。また、 次元多様体 の座標近傍系が であるとき、 上のベクトル場 が滑らか( 級 )であるとは を 上で と…
この記事では、可制御・可観測な線形システム全体の集合は多様体になることを説明します。ここで言う線形システムとは、 で解説した のことですが、状態方程式表現は行列の三つ組 で決定するので、一つの線形システムは の一点である\begin{align} (A,B,C)\end{align} のことだ考えられます。そうすると、線形システム全体の集合とは\begin{align} {\bf R}^{n\times n}\times {\bf R}^{n\times m}\times {\bf R}^{p\times n}\end{align} のこととなります。この線形システム全体の集合の中には、 で解…
この記事はarXivについてのメモです。 arXivとは arXivとは理数系の英語の原稿を無料で読むことができる以下のウェブサイトです。 https://arxiv.org/ arXivは以下のような特徴を持ちます。 1) arXivは査読がないので誰でもすぐに掲載できます。一方で、専門誌は査読があるので投稿から掲載まで1年以上かかったりします。 2) 多くの場合、専門誌に投稿した論文もarXivに投稿できます。 arXivへの投稿は研究成果の優先権の確保になるので、似たようなことをやってる人がいそうな場合はできるだけarXivに投稿した方が良さそうです。最新の成果も速く広まりますし。 ar…
この記事では、電力網のネットワーク、交通網のネットワーク、人間関係のネットワーク、神経ネットワーク、遺伝子ネットワークのようなネットワークシステムの性質を解析する際に重要なグラフラプラシアンについて解説します（枝に向きのないネットワークだけ解説します）。 グラフ、隣接行列、次数行列 下図のように節点と枝から構成されるネットワークを数学的に表現するには、グラフという概念が役立ちます。 グラフとは、節点の集合 と枝の集合 の組 のことです。例えば上のネットワークだと節点集合が で枝集合が です。このように なら が成り立つグラフを正確には無向グラフといいます（この記事では、無向グラフだけを説明しま…
この記事では、下図のように を観測してパラメータ を推定しようとしたとき、推定したいパラメータ と推定値 の二乗誤差 の期待値が最小となる推定値（最小平均二乗誤差推定値） は条件付き期待値 で与えられ、この推定値は不偏推定値になることを説明します。 ここでは、, , として、 をユークリッドノルムとします。 推定したいパラメータ と観測値 は確率変数だと考える。そうすると、推定値 も確率変数だと考えるのが自然になる。 この記事の中では、推定したいパラメータ と観測値 は確率変数だと考えます。そのとき、推定値 も確率変数だと考えるのが自然になります。これらの理由を以下で説明します。 推定したいパ…
対象とする線形システム の可制御性と可観測性の定義は ogyahogya.hatenablog.com で紹介しましたが、この記事では可制御性と可観測性の「大きさ」を定量的に測る手段を紹介します。線形システムについては ogyahogya.hatenablog.com で紹介しています。この記事の中では行列 を安定、つまり、 のすべての固有値の実部は負であると仮定します。 入力エネルギー最小化問題 まず、線形写像 を と定義します。ここで、 は区間 上で定義された2乗可積分な関数全体の線形空間です。このような空間については、 ogyahogya.hatenablog.com でも紹介しています…
この記事では、行列の指数関数と対数関数について解説します。Lie群とLie環という概念を理解するための準備に相当します。 ●行列の内積とノルム をn行n列の実数を成分に持つ行列全体の集合とします。このとき、 に以下の内積とノルムを導入できます。 任意の に対して が成り立つことがコーシー・シュワルツの不等式を使うことで確認できます。 ●行列の指数関数 実数 の指数関数 を の周りでテイラー展開すると でした。これと形式的に同じになるように行列の指数関数が次のように定義されます。 右辺の無限級数が収束することは以下のように分かります。 ●行列の指数関数の性質 行列の指数関数の性質は以下の結果を利…
この記事では、等質空間の概念について説明します。等質空間なるものをなぜ紹介するかというと、また別の記事で実数を成分に持つ正定値対称行列全体の集合 を幾何学的に考えたいからです。そのような集合を考えたい理由は、 上での最適化問題が工学の問題を考えていると自然に出てくるからです。実際の問題の例はまた今度書くと思いますが、この記事では等質空間について説明します。 ●群 等質空間の定義を理解するためには、群の概念を知っている必要がありますので、群の定義を確認しておきましょう。 実数や整数は馴染みがあると思いますが、実数全体の集合や整数全体の集合は和に関して群になっています（単位元は両方とも0)。しかし…
この記事では、商集合という概念について説明します。この概念を理解しないと、少し高度な数学は理解できないというぐらい重要な概念です。 ●同値関係 同値関係という概念を使って商集合は定義されます。同値関係よりも一般的な二項関係の概念は以下の通りです。 のとき、 と書きます。 例えば、は二項関係であり、 なので と書こうというわけです。 を任意の集合として、 を のベキ集合として、 とすると は二項関係であり、 となるので、 と書こうというわけです。 をすべての人間の集合として、 と定義すると、 は二項関係であり、 かつ が成り立ちます。 同値関係は以下のように定義されます。 例えば、整数全体の集合…
この記事では最適化理論の基盤となる凸解析の理論を解説します。 ●最適化問題とは 目的関数と呼ばれる関数 を制約条件 のもとで最小化する問題を最適化問題と呼びます。特に、 が凸関数で、 が凸集合である時、凸最適化問題と呼びます。凸最適化問題は効率的に解く方法がたくさん研究されています。 ●凸集合と凸関数と凹関数 次の性質を満たす集合を凸集合と呼びます。 つまり、ある集合の任意の2点を結んだ線分がその集合に含まれるなら、その集合は凸集合です。凸集合と非凸集合のイメージ図は次のような感じになります。 次の性質を満たす関数を凸関数と呼びます。 凸関数と非凸関数のイメージ図は次のような感じになります。 …
この記事では今後の記事を書くために必要となる共役作用素について簡単にまとめます。共役作用素とは次のように定義される線形作用素です。 正確には上の の定義域は で稠密である必要があります。そのときに, 上の が一意に定まります。 有界線形作用素 の作用素ノルムと の作用素ノルムは一致することが示せます。ここで、線形作用素の作用素ノルムとは のことです。これは、 ogyahogya.hatenablog.comで書いたリースの表現定理を利用することで証明できます。 ●参考文献 もっと詳しく色々書いてます。 ヒルベルト空間と量子力学 改訂増補版 (共立講座 21世紀の数学 16) 作者: 新井朝雄,…
この記事では線形システムの制御で重要な役割を果たす伝達関数について説明します。 ●ラプラス変換 伝達関数を理解するためには関数のラプラス変換を知っている必要があります。ラプラス変換は次のように定義されます。 上のラプラス変換は前の記事で説明したフーリエ変換に似ていますが、次のような違いがあります。 ogyahogya.hatenablog.com ●伝達関数 線形システムの伝達関数は次のように入力関数のラプラス変換と出力関数のラプラス変換の比で定義されます。 伝達関数は次のように座標変換のもとで不変です。 ●伝達関数と可制御性・可観測性 伝達関数の概念と前の記事で説明した可制御性と可観測性の概…
前の記事で説明した線形システムの制御を考えるにあたって重要な可制御性と可観測性の概念について説明します。以下の記事 では、可制御可観測なシステム全体の集合の性質について解説しており、この記事の続編のような記事となっています。 ●線形代数の復習(ケーリー・ハミルトンの定理と不変部分空間) システムの可制御性や可観測性の性質を調べるためには線形代数の知識が少し必要です。特にケーリー・ハミルトンの定理や不変部分空間の概念を知っていると理解が深まりますので、まずはそれらから説明します。 ケーリー・ハミルトンの定理は固有多項式に関する定理です。固有多項式とは何かというと、 行列 が与えられた時に定義され…
制御の目的は対象とするシステムに適切な入力を加えて所望の出力を実現することです。 この記事では制御を実行する手順と、システムの最も重要な数学モデルである線形システムについて説明します。 ●制御の手順 制御するときに考える入力や出力は一つだけとは限らず、複数ある場合が多いです。例えば、車の運転は次の図のように入力数3で出力数2だと考えられます。 制御を行う手順は次のようになります。 まず、モデリングは対象とするシステムの数学モデルを立てることを意味しています。数学モデルは物理法則や実験から得られたデータで作られます。次に制御器の設計は対象とするシステムを制御するための入力を設計することを意味して…
今回は確率分布が作る幾何学について説明します。 ●フィッシャー情報行列とリーマン多様体 まずは、前の記事で説明したような応用上よく出てくるガウス分布が幾何学的に次のように理解できることに注意しましょう（多様体についてはこちら）。 上の例のようにパラメータの組を一つ定めると確率密度関数を定めることができます。このことを一般化して次の確率分布の族である統計モデルと確率分布を特定するパラメータの集合である多様体を同一視できます（厳密には統計モデルにいくつかの条件を付ける必要がありますが、応用上気にしなくて良いことが多いです)。 確率分布が作る幾何学を考えるときに重要なフィッシャー情報行列はつぎのよう…
この記事ではリーマン多様体という概念を説明します。リーマン多様体とは簡単に言うと多様体の各点に内積が導入された集合のことです。多様体のことを知らない人のために、まずは多様体から説明しましょう。その後に接空間、2つの多様体間の写像の微分、余接空間と1次微分形式、2次テンソル場の概念を説明して最後にリーマン多様体を定義したいと思います。以下の記事はこの記事の続編になっています。 ユークリッド空間と2次元球面の違い 位相空間の初歩 多様体 多様体に関する注意 多様体上の関数 接空間 速度ベクトル 二つの多様体間の写像の微分 余接空間と1次微分形式 2次テンソル場 リーマン多様体 参考文献 ユークリッ…
前の記事で平均から大きく離れたところの生起確率の簡単な評価を与えました。今回はその評価をさらに精密にして、数理的な構造をもっと詳しく見たいと思います。前の記事で次の評価を与えました。 上の は確率変数 の積率母関数、 は確率変数 のキュムラント母関数 (物理では自由エネルギー) と呼ばれています。上の指数関数の中の は のもとで の上限を意味しています。これを改造することで の上界だけでなく下界も与えることができます。それがクラメールの定理です。 ●レート関数 まず、上の評価式の中にある の という制約を外した を考えましょう。この はレート関数と呼ばれています。こちらの記事で説明している理由…
前回簡単に説明した大偏差原理をエントロピーの概念を使って詳しく説明するために、今回はエントロピーについて説明します。また、カルバック・ライブラー情報量、最尤推定法などについても説明します。 ●エントロピー 有限個の事象のエントロピーは次のように定義されます。 これは確率変数のエントロピーへ次のように一般化されます。 エントロピーは平均情報量ともみなせます。 ●カルバック・ライブラー情報量（相対エントロピー） データはある確率分布に従う確率変数の実現値であると考えられることが多いです。しかし、その確率分布の形が分からないことがあり、得られたデータから真の確率分布を推定する必要がよくあります。推定…
前の記事では中心極限定理について説明しました。中心極限定理の主張は次のようにも解釈できます。 しかし、中心極限定理だけでは次のような疑問が生じます。 図で気持ちを書くとこんな感じです。 平均と同じオーダーの偏差が生じる確率を0と答えるのではなく数式で答えるのが大偏差原理です。つまり、 と大偏差の生起確率の関係を教えてくれます。この記事では簡単な不等式を使って大偏差を調べる方法を述べて、難しい議論は次回以降にすることにします。 ●チェビシェフの不等式 チェビシェフの不等式から大偏差に関する単純な解答が得られます。ここで、チェビシェフの不等式とは のことです。実際にチェビシェフの不等式から大偏差に…
この記事では、 ogyahogya.hatenablog.com で少し書いた中心極限定理について詳しく説明します。中心極限定理は直感的にはたくさんの確率変数の和の確率分布関数はガウス分布(正規分布)になるということを述べています。一つ一つの確率変数にあまりきつい条件を課すことなく言えるので、色々な分野で応用が可能です。しかし、あまりきつい条件を課さないということで、その定理を示すためにはいくつかの抽象的な概念を経由する必要があります。 ogyahogya.hatenablog.com で書いた確率測度の弱収束と確率分布関数の分布収束という概念も中心極限定理を証明するために必要な概念となってい…
前の記事で確率測度や、確率測度から定義される確率分布関数というものを紹介しました。今回はこの記事で少しだけ書いた中心極限定理をきちんと説明するために確率測度の例や確率測度の弱収束について紹介したいと思います。 ●確率分布関数から確率測度を定義する まず、前の記事で確率測度から定義した確率分布関数は以下の定義を満たしていていることが分かります。 前の記事では確率測度から確率分布関数を定義しましたが、逆に上の定義を満たす確率分布関数から確率測度を定義することができます。 例えば、前の記事で紹介したヘビサイド関数は確率分布関数の性質を満たしていて、これから次のような性質を満たす確率測度を定義できます…
超関数とは関数の概念を一般化したもので、もともとは物理の方で導入されたディラックのデルタ関数という計算に便利なものを数学的に正当化しようとして考え出されました。ディラックのデルタ関数は直感的にはガウス分布の確率密度関数の分散を0に限りなく近付けたときの極限関数が持つ性質を理想化したものです。 ●ガウス分布とディラックのデルタ関数 まず、色々な分散のガウス分布の確率密度関数は次のようになっています。 ディラックのデルタ関数は次のようにガウス分布の確率密度関数の分散を0へ限りなく近付けたときの特徴を理想化したものと考えられます。 ●ディラックのデルタ関数の変なところ ディラックのデルタ関数 は次の…
フーリエ変換は色々な分野で応用されている便利な道具です。例えば、信号の解析をするためにフーリエ変換の原理を取り込んだFFTアナライザというものが計測関係の企業で使われています。FFTアナライザの中で行われていることはググるとたくさん出てきますので興味のある人はググってみてください。 フーリエ変換はよく時間領域の信号(関数) を周波数領域に移し、逆フーリエ変換は周波数領域の関数 を時間領域の信号に戻すものだと言われ、次のような式で定義されます。 イメージ的にはこんな感じです。 上の図のようにフーリエ変換と逆フーリエ変換を使うことで時間の世界と周波数の世界を行ったり来たりできます。これは、時間の世…
前の記事では確率変数という概念を導入しました。今回は確率変数の和の確率分布関数はどうなるかを考えてみましょう。つまり、下の図のように二つの確率変数 が与えられたとき という新しい確率変数の確率分布はどうなるか？ということを説明したいと思います。 その前に、二つの確率変数の独立性というものを定義します。 ●確率変数の独立性 二つの確率変数があると、その確率変数たちの関係性を論じることができます。中にはまったく関係のない確率変数たちもあるわけで、そのような確率変数たちは互いに独立であるといいます。厳密には、二つの確率変数が独立であるとは、同時確率分布が各々の確率変数の確率分布の積となるときにいいま…
確率の議論で超重要な概念である確率変数というものを前の記事で述べたように数学とは集合の性質を写像を通して調べる学問ということを意識して説明したいと思います。 ●確率変数は確率と関連付いた写像である 確率変数は写像です。では、どの集合からどの集合への写像かというと標本空間から実数の空間への写像です。イメージとしてはこんな感じです。 しかし、上の図だけでは確率変数はただの写像ということになってしまい、わざわざ「確率」変数という名前を付ける必要はありません。実際には、次のような制約のついた写像を確率変数というのです。 加法族については前の記事を参照してください。 ●確率変数の確率分布 加法族の要素を…
コインを投げたとき表が出る「確率」は で、サイコロを投げたとき1が出る「確率」は だとかよく言いますが、「確率」とは何でしょうか？そもそもなぜ「確率」というものを考える必要があるのでしょうか？ ●「確率」を考える理由 「確率」の定義を考える前に、なぜそのようなものを導入する必要があるのか少し考えてみましょう。例として、コイン投げを考えます。コインを剛体と仮定しましょう。コインを投げるとは、ある力をコインへ加えたと考えられます。このとき、コインが従う運動方程式は というふうに書けます。つまり初期条件 を与えて上の運動方程式を解くことでコインの軌道 が得られます。したがって、コインを投げてから何秒…
「ブログリーダー」を活用して、ogyahogyaさんをフォローしませんか？
指定した記事をブログ村の中で非表示にしたり、削除したりできます。非表示の場合は、再度表示に戻せます。
画像が取得されていないときは、ブログ側にOGP(メタタグ)の設置が必要になる場合があります。
線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 深層学習への応用 6.6節「線形システムのモデル低次元化法」は深層学習と関係しており，状態空間モデル (State Space Model: SSM) が組み込まれた深層モデルのパラメータ削減に応用できます．実際に，以下の論文では深層モデルに組み込まれた比較的大きなSSMを6.6節で説明している平衡打ち切り法を利用して小さなS…
本ブログの内容と以下の本の内容の関係を紹介します（随時更新します）． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 第1章と第2章の内容と関係するブログ記事 第1章は「本書の内容を理解するための準備」で第2章は「線形代数」となっており，全体を読むための準備という位置付けになっています．第1章で最も難しい部分は1.4節の「距離空間とその位相」という部分だと思われますが，この部分と第2章を読むと以下のブログ記事を理解することが可能になると思われます． ogyahogya.hatenablog.…
線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ)という本を出版しました！ 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ) 作者:佐藤 一宏 サイエンス社 Amazon このブログで気が向いたら本書の内容をより詳しく説明したりしたいと思います（3年以上ぶりにブログが動き出す気配があります）．
に載せてる8回目の動画 ではCourant-Fischerの定理，主成分分析，最適化の概要などを説明しています． ・0～27分ぐらいまで：Courant-Fisherの定理の説明 ・27分ぐらい～58分ぐらいまで：Courant-Fisherの定理の応用(シュティーフェル多様体が登場します） ・58分ぐらい～1時間15分ぐらいまで：Courant-Fisherの定理の主成分分析への応用 ・1時間15分ぐらい～1時間33分ぐらいまで：Courant-Fisherの定理の特異値分解への応用 ・1時間33分ぐらい～最後まで：最適化の概要（1時間42分40秒ぐらいから何回か「勾配は等高線に接する」とか…
に載せてる7回目の動画 では，シュール分解，スペクトル分解，(半)正定値対称行列，特異値分解などを説明しています．興味がありましたらご覧ください． ・0～34分まで：シュール分解，スペクトル分解について説明しています． ・34分～1時間20分まで：(半)正定値対称行列を説明しています． ・1時間20分～最後まで：特異値分解を説明しています． 動画で利用している資料は です．
に載せてる6回目の動画 では，ノルム，内積，射影などを説明しています．興味がありましたらご覧ください． ・0～1時間5分ぐらいまで：ノルム，内積を導入して，任意の有限次元ノルム空間はバナッハ空間であることを説明しています． ・1時間5分～1時間38分ぐらいまで：凸集合上やベクトル空間上への射影の説明をしています． ・1時間38分ぐらい～最後まで：グラム・シュミットの直交化法とQR分解を説明しています． 動画で利用している資料は です．また も利用しています．
東京大学大学院情報理工学系研究科の線形数理要論という授業を担当しているのですが，新型コロナ対策のためオンライン授業をすることになり，急遽オンライン向けの資料などを用意することになりました．線形代数の発展版なので興味がございましたら以下をご覧ください． www.kazuhirosato.work
この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。 対称行列のスペクトル分解 特異値分解 行列の作用素ノルム 行列の低ランク近似 参考文献 対称行列のスペクトル分解 特異値分解は対称行列のスペクトル分解に密接に関係しているので、まずは対称行列のスペクトル分解について説明します。 実数を成分に持つ正方行列 が対称行列だとしましょう。すなわち、 です。このとき、\begin{align} Av_i = \lambda_i v_i \end{align} となる と が存在します。ただし、 です。よく知ら…
この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。 シュール分解 以下のような行列 の固有値が対角成分に並んだ上三角行列への分解をシュール分解と言います。 ただし、 は複素共役転置を表します。これの証明は以下の通りです。 証明の中でグラム・シュミットの直交化法を利用しました。グラム・シュミットの直交化法は以下の記事で解説しています。 正規行列：シュール分解によって対角化可能な行列 一般の行列 はシュール分解によって上三角行列に分解できることを上で示しましたが、 が正規行列、すな…
この記事では、グラム・シュミットの直交化法とQR分解について解説します。 グラム・シュミットの直交化法 ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化法は の任意の基底 から以下のように正規直交基底を構成する方法です。\begin{align} q_1 &:=\frac{a_1}{ a_1 }\\ q_k &:= \frac{a_k-P_{q_1,\ldots,q_{k-1}}(a_k)}{ a_k-P_{q_1,\ldots,q_{k-1}}(a_k) }\quad (k=2,\ldot…
この記事では射影行列について解説します。 射影行列の定義と性質 行列 が射影行列であるとは、\begin{align} P^2 =P \end{align} を満たすときに言います。 行列 が射影行列のとき、\begin{align} Q:= I_n-P \end{align} も射影行列であり（ は の単位行列）、\begin{align} PQ=QP =0 \end{align} であり、\begin{align} {\bf R}^n = {\rm Im}\, P\oplus {\rm Im}\, Q\end{align} が成り立ちます。さらに、\begin{align} {\rm Ke…
この記事では、ベクトル空間の直和分解について解説します。 ベクトル空間の和と直和 ベクトル空間 の二つの部分空間 が与えられているとします。このとき、 は の部分空間でないかもしれませんが、\begin{align} V_1+V_2 := \{ x_1 + x_2\, \, x_1\in V_1, x_2\in V_2 \} \end{align} は の部分空間になっています。この は を含む最小の部分空間になっており、 と の和と言います。基底を構成するベクトルの数をカウントすることで、\begin{align} \dim (V_1+V_2) = \dim V_1 + \dim V_2 -…
この記事では多様体上の接続と平行移動という概念について解説します。なお、この記事を理解するためには多様体、接空間、ベクトル場といった概念を理解しておく必要がありますが、それらについては以下の記事を参考にしてください。 多様体上のアファイン接続 ユークリッド空間の場合の共変微分 ユークリッド空間の部分多様体の場合の共変微分 局所座標を使わない説明 局所座標と曲線を使った説明 具体例 ユークリッド空間の部分多様体の場合における平行と平行移動の概念 平行の名前の由来 平行の概念を曲線を使って考える理由 一般の多様体の場合の平行と平行移動の概念 参考文献 多様体上のアファイン接続 多様体上のアファイン…
この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して を 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 は 次元のベクトル空間で任意の に対して を と定義することで はノルムとなり、 は 次元のノルム空間ということになります。 ノルム空間 は有限次元かもしれないし、 で紹介したような2乗可積分な関数全体の集合 のように無限次元かもしれないことに注意してください。 全微分と方向微分 ノルム空間の間の線形写像の連続性と有界性 ガトー微分：方向微分の一般化 フレッシェ微分：勾配の一般化 …
この記事では、多様体上のベクトル場について解説します。なお、この記事を理解するためには多様体や接空間などの概念を理解しておくことが必要です。それらについては を参考にしてください。 多様体上のベクトル場 ベクトル場全体の集合の代数構造 積分曲線 二つの多様体上のベクトル場の関係性 参考文献 多様体上のベクトル場 多様体 上のベクトル場 とは、 という対応のことです。 をよく と書きます。この記事では基本的には と書くことにして、 だと読みづらくなると思われるところで を使うことにします。また、 次元多様体 の座標近傍系が であるとき、 上のベクトル場 が滑らか( 級 )であるとは を 上で と…
この記事では、可制御・可観測な線形システム全体の集合は多様体になることを説明します。ここで言う線形システムとは、 で解説した のことですが、状態方程式表現は行列の三つ組 で決定するので、一つの線形システムは の一点である\begin{align} (A,B,C)\end{align} のことだ考えられます。そうすると、線形システム全体の集合とは\begin{align} {\bf R}^{n\times n}\times {\bf R}^{n\times m}\times {\bf R}^{p\times n}\end{align} のこととなります。この線形システム全体の集合の中には、 で解…
この記事はarXivについてのメモです。 arXivとは arXivとは理数系の英語の原稿を無料で読むことができる以下のウェブサイトです。 https://arxiv.org/ arXivは以下のような特徴を持ちます。 1) arXivは査読がないので誰でもすぐに掲載できます。一方で、専門誌は査読があるので投稿から掲載まで1年以上かかったりします。 2) 多くの場合、専門誌に投稿した論文もarXivに投稿できます。 arXivへの投稿は研究成果の優先権の確保になるので、似たようなことをやってる人がいそうな場合はできるだけarXivに投稿した方が良さそうです。最新の成果も速く広まりますし。 ar…
この記事では、電力網のネットワーク、交通網のネットワーク、人間関係のネットワーク、神経ネットワーク、遺伝子ネットワークのようなネットワークシステムの性質を解析する際に重要なグラフラプラシアンについて解説します（枝に向きのないネットワークだけ解説します）。 グラフ、隣接行列、次数行列 下図のように節点と枝から構成されるネットワークを数学的に表現するには、グラフという概念が役立ちます。 グラフとは、節点の集合 と枝の集合 の組 のことです。例えば上のネットワークだと節点集合が で枝集合が です。このように なら が成り立つグラフを正確には無向グラフといいます（この記事では、無向グラフだけを説明しま…
この記事では、下図のように を観測してパラメータ を推定しようとしたとき、推定したいパラメータ と推定値 の二乗誤差 の期待値が最小となる推定値（最小平均二乗誤差推定値） は条件付き期待値 で与えられ、この推定値は不偏推定値になることを説明します。 ここでは、, , として、 をユークリッドノルムとします。 推定したいパラメータ と観測値 は確率変数だと考える。そうすると、推定値 も確率変数だと考えるのが自然になる。 この記事の中では、推定したいパラメータ と観測値 は確率変数だと考えます。そのとき、推定値 も確率変数だと考えるのが自然になります。これらの理由を以下で説明します。 推定したいパ…
対象とする線形システム の可制御性と可観測性の定義は ogyahogya.hatenablog.com で紹介しましたが、この記事では可制御性と可観測性の「大きさ」を定量的に測る手段を紹介します。線形システムについては ogyahogya.hatenablog.com で紹介しています。この記事の中では行列 を安定、つまり、 のすべての固有値の実部は負であると仮定します。 入力エネルギー最小化問題 まず、線形写像 を と定義します。ここで、 は区間 上で定義された2乗可積分な関数全体の線形空間です。このような空間については、 ogyahogya.hatenablog.com でも紹介しています…
線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 深層学習への応用 6.6節「線形システムのモデル低次元化法」は深層学習と関係しており，状態空間モデル (State Space Model: SSM) が組み込まれた深層モデルのパラメータ削減に応用できます．実際に，以下の論文では深層モデルに組み込まれた比較的大きなSSMを6.6節で説明している平衡打ち切り法を利用して小さなS…
本ブログの内容と以下の本の内容の関係を紹介します（随時更新します）． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 第1章と第2章の内容と関係するブログ記事 第1章は「本書の内容を理解するための準備」で第2章は「線形代数」となっており，全体を読むための準備という位置付けになっています．第1章で最も難しい部分は1.4節の「距離空間とその位相」という部分だと思われますが，この部分と第2章を読むと以下のブログ記事を理解することが可能になると思われます． ogyahogya.hatenablog.…
