線形代数を基礎とする応用数理入門に書かれている内容は最新の研究とも密接に関係しています．以下ではそのことを紹介します． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 深層学習への応用 6.6節「線形システムのモデル低次元化法」は深層学習と関係しており，状態空間モデル (State Space Model: SSM) が組み込まれた深層モデルのパラメータ削減に応用できます．実際に，以下の論文では深層モデルに組み込まれた比較的大きなSSMを6.6節で説明している平衡打ち切り法を利用して小さなS…

本ブログの内容と以下の本の内容の関係を紹介します（随時更新します）． 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ 187) 作者:佐藤 一宏 サイエンス社 Amazon 第1章と第2章の内容と関係するブログ記事 第1章は「本書の内容を理解するための準備」で第2章は「線形代数」となっており，全体を読むための準備という位置付けになっています．第1章で最も難しい部分は1.4節の「距離空間とその位相」という部分だと思われますが，この部分と第2章を読むと以下のブログ記事を理解することが可能になると思われます． ogyahogya.hatenablog.…

線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ)という本を出版しました！ 線形代数を基礎とする 応用数理入門: 最適化理論・システム制御理論を中心に (SGCライブラリ) 作者:佐藤 一宏 サイエンス社 Amazon このブログで気が向いたら本書の内容をより詳しく説明したりしたいと思います（3年以上ぶりにブログが動き出す気配があります）．

に載せてる8回目の動画 ではCourant-Fischerの定理，主成分分析，最適化の概要などを説明しています． ・0～27分ぐらいまで：Courant-Fisherの定理の説明 ・27分ぐらい～58分ぐらいまで：Courant-Fisherの定理の応用(シュティーフェル多様体が登場します） ・58分ぐらい～1時間15分ぐらいまで：Courant-Fisherの定理の主成分分析への応用 ・1時間15分ぐらい～1時間33分ぐらいまで：Courant-Fisherの定理の特異値分解への応用 ・1時間33分ぐらい～最後まで：最適化の概要（1時間42分40秒ぐらいから何回か「勾配は等高線に接する」とか…

に載せてる7回目の動画 では，シュール分解，スペクトル分解，(半)正定値対称行列，特異値分解などを説明しています．興味がありましたらご覧ください． ・0～34分まで：シュール分解，スペクトル分解について説明しています． ・34分～1時間20分まで：(半)正定値対称行列を説明しています． ・1時間20分～最後まで：特異値分解を説明しています． 動画で利用している資料は です．

に載せてる6回目の動画 では，ノルム，内積，射影などを説明しています．興味がありましたらご覧ください． ・0～1時間5分ぐらいまで：ノルム，内積を導入して，任意の有限次元ノルム空間はバナッハ空間であることを説明しています． ・1時間5分～1時間38分ぐらいまで：凸集合上やベクトル空間上への射影の説明をしています． ・1時間38分ぐらい～最後まで：グラム・シュミットの直交化法とQR分解を説明しています． 動画で利用している資料は です．また も利用しています．

東京大学大学院情報理工学系研究科の線形数理要論という授業を担当しているのですが，新型コロナ対策のためオンライン授業をすることになり，急遽オンライン向けの資料などを用意することになりました．線形代数の発展版なので興味がございましたら以下をご覧ください． www.kazuhirosato.work

この記事では線形代数の基本定理とも言われるほど応用上非常に重要な特異値分解について解説します。今はやりのデータサイエンスでもかなり使われています。 対称行列のスペクトル分解 特異値分解 行列の作用素ノルム 行列の低ランク近似 参考文献 対称行列のスペクトル分解 特異値分解は対称行列のスペクトル分解に密接に関係しているので、まずは対称行列のスペクトル分解について説明します。 実数を成分に持つ正方行列 が対称行列だとしましょう。すなわち、 です。このとき、\begin{align} Av_i = \lambda_i v_i \end{align} となる と が存在します。ただし、 です。よく知ら…

この記事では、与えられた複素正方行列 のシュール分解を紹介します。また、応用上よく利用される実対称行列のスペクトル分解はシュール分解の特別な場合であることも説明します。 シュール分解 以下のような行列 の固有値が対角成分に並んだ上三角行列への分解をシュール分解と言います。 ただし、 は複素共役転置を表します。これの証明は以下の通りです。 証明の中でグラム・シュミットの直交化法を利用しました。グラム・シュミットの直交化法は以下の記事で解説しています。 正規行列：シュール分解によって対角化可能な行列 一般の行列 はシュール分解によって上三角行列に分解できることを上で示しましたが、 が正規行列、すな…

この記事では、グラム・シュミットの直交化法とQR分解について解説します。 グラム・シュミットの直交化法 ベクトル は一次独立だとします。このとき、 は の基底となります。しかし、 は の正規直交基底ではないかもしれません。グラム・シュミットの直交化法は の任意の基底 から以下のように正規直交基底を構成する方法です。\begin{align} q_1 &:=\frac{a_1}{ a_1 }\\ q_k &:= \frac{a_k-P_{q_1,\ldots,q_{k-1}}(a_k)}{ a_k-P_{q_1,\ldots,q_{k-1}}(a_k) }\quad (k=2,\ldot…

この記事では射影行列について解説します。 射影行列の定義と性質 行列 が射影行列であるとは、\begin{align} P^2 =P \end{align} を満たすときに言います。 行列 が射影行列のとき、\begin{align} Q:= I_n-P \end{align} も射影行列であり（ は の単位行列）、\begin{align} PQ=QP =0 \end{align} であり、\begin{align} {\bf R}^n = {\rm Im}\, P\oplus {\rm Im}\, Q\end{align} が成り立ちます。さらに、\begin{align} {\rm Ke…

この記事では、ベクトル空間の直和分解について解説します。 ベクトル空間の和と直和 ベクトル空間 の二つの部分空間 が与えられているとします。このとき、 は の部分空間でないかもしれませんが、\begin{align} V_1+V_2 := \{ x_1 + x_2\, \, x_1\in V_1, x_2\in V_2 \} \end{align} は の部分空間になっています。この は を含む最小の部分空間になっており、 と の和と言います。基底を構成するベクトルの数をカウントすることで、\begin{align} \dim (V_1+V_2) = \dim V_1 + \dim V_2 -…

この記事では多様体上の接続と平行移動という概念について解説します。なお、この記事を理解するためには多様体、接空間、ベクトル場といった概念を理解しておく必要がありますが、それらについては以下の記事を参考にしてください。 多様体上のアファイン接続 ユークリッド空間の場合の共変微分 ユークリッド空間の部分多様体の場合の共変微分 局所座標を使わない説明 局所座標と曲線を使った説明 具体例 ユークリッド空間の部分多様体の場合における平行と平行移動の概念 平行の名前の由来 平行の概念を曲線を使って考える理由 一般の多様体の場合の平行と平行移動の概念 参考文献 多様体上のアファイン接続 多様体上のアファイン…

この記事ではノルム空間の間に定義された関数のガトー微分とフレッシェ微分について解説します。この記事の全体を通して を 上のノルム空間とします。ここで、ノルム空間とはノルムが定義されたベクトル空間のことです。例えば、 は 次元のベクトル空間で任意の に対して を と定義することで はノルムとなり、 は 次元のノルム空間ということになります。 ノルム空間 は有限次元かもしれないし、 で紹介したような2乗可積分な関数全体の集合 のように無限次元かもしれないことに注意してください。 全微分と方向微分 ノルム空間の間の線形写像の連続性と有界性 ガトー微分：方向微分の一般化 フレッシェ微分：勾配の一般化 …

この記事では、多様体上のベクトル場について解説します。なお、この記事を理解するためには多様体や接空間などの概念を理解しておくことが必要です。それらについては を参考にしてください。 多様体上のベクトル場 ベクトル場全体の集合の代数構造 積分曲線 二つの多様体上のベクトル場の関係性 参考文献 多様体上のベクトル場 多様体 上のベクトル場 とは、 という対応のことです。 をよく と書きます。この記事では基本的には と書くことにして、 だと読みづらくなると思われるところで を使うことにします。また、 次元多様体 の座標近傍系が であるとき、 上のベクトル場 が滑らか( 級 )であるとは を 上で と…

この記事では、可制御・可観測な線形システム全体の集合は多様体になることを説明します。ここで言う線形システムとは、 で解説した のことですが、状態方程式表現は行列の三つ組 で決定するので、一つの線形システムは の一点である\begin{align} (A,B,C)\end{align} のことだ考えられます。そうすると、線形システム全体の集合とは\begin{align} {\bf R}^{n\times n}\times {\bf R}^{n\times m}\times {\bf R}^{p\times n}\end{align} のこととなります。この線形システム全体の集合の中には、 で解…

この記事はarXivについてのメモです。 arXivとは arXivとは理数系の英語の原稿を無料で読むことができる以下のウェブサイトです。 https://arxiv.org/ arXivは以下のような特徴を持ちます。 1) arXivは査読がないので誰でもすぐに掲載できます。一方で、専門誌は査読があるので投稿から掲載まで1年以上かかったりします。 2) 多くの場合、専門誌に投稿した論文もarXivに投稿できます。 arXivへの投稿は研究成果の優先権の確保になるので、似たようなことをやってる人がいそうな場合はできるだけarXivに投稿した方が良さそうです。最新の成果も速く広まりますし。 ar…

この記事では、電力網のネットワーク、交通網のネットワーク、人間関係のネットワーク、神経ネットワーク、遺伝子ネットワークのようなネットワークシステムの性質を解析する際に重要なグラフラプラシアンについて解説します（枝に向きのないネットワークだけ解説します）。 グラフ、隣接行列、次数行列 下図のように節点と枝から構成されるネットワークを数学的に表現するには、グラフという概念が役立ちます。 グラフとは、節点の集合 と枝の集合 の組 のことです。例えば上のネットワークだと節点集合が で枝集合が です。このように なら が成り立つグラフを正確には無向グラフといいます（この記事では、無向グラフだけを説明しま…

この記事では、下図のように を観測してパラメータ を推定しようとしたとき、推定したいパラメータ と推定値 の二乗誤差 の期待値が最小となる推定値（最小平均二乗誤差推定値） は条件付き期待値 で与えられ、この推定値は不偏推定値になることを説明します。 ここでは、, , として、 をユークリッドノルムとします。 推定したいパラメータ と観測値 は確率変数だと考える。そうすると、推定値 も確率変数だと考えるのが自然になる。 この記事の中では、推定したいパラメータ と観測値 は確率変数だと考えます。そのとき、推定値 も確率変数だと考えるのが自然になります。これらの理由を以下で説明します。 推定したいパ…

対象とする線形システム の可制御性と可観測性の定義は ogyahogya.hatenablog.com で紹介しましたが、この記事では可制御性と可観測性の「大きさ」を定量的に測る手段を紹介します。線形システムについては ogyahogya.hatenablog.com で紹介しています。この記事の中では行列 を安定、つまり、 のすべての固有値の実部は負であると仮定します。 入力エネルギー最小化問題 まず、線形写像 を と定義します。ここで、 は区間 上で定義された2乗可積分な関数全体の線形空間です。このような空間については、 ogyahogya.hatenablog.com でも紹介しています…