ハッシュタグ記事一覧

MATLAB,Python,Scilab,Julia比較 第4章 その75【誤差逆伝播法②】

誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。

2024/09/03 19:51

MATLAB,Python,Scilab,Julia比較 第4章 その76【誤差逆伝播法③】

出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。

2024/09/03 19:50

MATLAB,Python,Scilab,Julia比較 第4章 その77【誤差逆伝播法④】

隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。

2024/09/03 19:50

MATLAB,Python,Scilab,Julia比較 第5章 その30【三角関数の直交性⑤】

cos関数同士の直交性を確認。 cos同士の積和公式の定積分を元に解いていく。 最終的にはsinが0になるので、内積の結果も0となる。 結果としてcos関数同士は直交していることになる。

2024/09/03 19:50

MATLAB,Python,Scilab,Julia比較 第4章 その78【誤差逆伝播法⑤】

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。

2024/09/03 00:00

MATLAB,Python,Scilab,Julia比較 第4章 その79【誤差逆伝播法⑥】

連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。

2024/09/02 23:59

【入門】誤差逆伝播法①【数値計算】

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。

2024/09/02 23:58

【入門】誤差逆伝播法②【数値計算】

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。

2024/09/02 23:58

MATLAB,Python,Scilab,Julia比較 第5章 その29【三角関数の直交性④】

m=nの時のsin関数の内積を求める。 分母が0になるため、極限値を利用する。 結果としてはπになる。 つまり、同じ角周波数のsin同士の内積は必ずπになる。

2024/09/02 19:42

MATLAB,Python,Scilab,Julia比較 第4章 その80【誤差逆伝播法⑦】

多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。

2024/09/01 21:09

MATLAB,Python,Scilab,Julia比較 第4章 その81【誤差逆伝播法⑧】

多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。

2024/09/01 21:09

MATLAB,Python,Scilab,Julia比較 第4章 その82【誤差逆伝播法⑨】

多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。

2024/09/01 21:09

MATLAB,Python,Scilab,Julia比較 第4章 その83【誤差逆伝播法⑩】

多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。

2024/09/01 21:09

【入門】誤差逆伝播法(MATLAB)【数値計算】

多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。

2024/09/01 21:09

【入門】誤差逆伝播法(Python)【数値計算】

多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。

2024/09/01 21:09

【入門】誤差逆伝播法(Scilab)【数値計算】

多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。

2024/09/01 21:08

MATLAB,Python,Scilab,Julia比較 第5章 その28【三角関数の直交性③】

sin関数同士の直交性を確認。 sin同士の積和公式の定積分を元に解いていく。 最終的にはsinが0になるので、内積の結果も0となる。 結果としてsin関数同士は直交していることになる。

2024/09/01 21:08

1-1. 離散時間制御系の構成（演習）

連続時間システムから離散時間システムへの変換連続時間システムが微分方程式$$\frac{dy}{dt} = \alpha y + \beta u \;\; \cdots (1)$$で与えられるとき、このシステムをディジタルシステムに変換する。式(1)の自由システムは、$$\frac{dy}{dt} = \alpha y$$で、変数分離形なので、$$\frac{dy}{y} = \alpha dt$$となり、両辺を積分すると、$$\ln y = \alpha

2024/09/01 14:16

【入門】誤差逆伝播法(Julia)【数値計算】

多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。

2024/08/31 21:44

MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】

非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。

2024/08/31 21:44

MATLAB,Python,Scilab,Julia比較 第4章 その85【非線形分類の問題点②】

非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。

2024/08/31 21:43

【入門】非線形分類の問題点【数値計算】

非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。

2024/08/31 21:43

MATLAB,Python,Scilab,Julia比較 第4章 その86【ユニット数増加①】

多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。

2024/08/31 21:43

【入門】ユニット数増加【数値計算】

多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。

2024/08/31 21:43

MATLAB,Python,Scilab,Julia比較 第5章 その27【三角関数の直交性②】

sinとcosの内積と畳み込み積分を考える。 奇関数、偶関数の特性より、sin、cosの畳み込み積分は0となる。 畳み込み積分が0ということは内積も0になる。 内積が0ということは直交しているということになる。

2024/08/31 21:43

MATLAB,Python,Scilab,Julia比較 第4章 その87【ユニット数増加②】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:49

MATLAB,Python,Scilab,Julia比較 第4章 その88【ユニット数増加③】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:49

MATLAB,Python,Scilab,Julia比較 第4章 その89【ユニット数増加④】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:48

MATLAB,Python,Scilab,Julia比較 第4章 その90【ユニット数増加⑤】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:48

【入門】ユニット数増加(MATLAB)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターン やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:48

【入門】ユニット数増加(Python)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パタ やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/30 20:48

MATLAB,Python,Scilab,Julia比較 第5章 その26【三角関数の直交性①】

直交性とは2つのベクトルが垂直に交わることを指す。 直交しているベクトルの内積は必ず0になる。 cos関数の影響。 成分表記の内積でも0になることを確認。

2024/08/30 20:48

【入門】ユニット数増加(Scilab)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/29 20:04

【入門】ユニット数増加(Julia)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/08/29 20:04

MATLAB,Python,Scilab,Julia比較 第4章 その91【モーメンタム①】

最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説＆実験をしてい 最初は復習を兼ねて勾配降下法についても確認する。

2024/08/29 20:04

MATLAB,Python,Scilab,Julia比較 第4章 その92【モーメンタム②】

今回改めてまじめに更新式を確認。 勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。

2024/08/29 20:04

MATLAB,Python,Scilab,Julia比較 第5章 その25【重要な極限値③】

はさみうちの原理について説明。 sinc関数について説明＆MATLABでプロットしてみた。(Pythonコードも)

2024/08/29 20:03

MATLAB,Python,Scilab,Julia比較 第4章 その93【モーメンタム③】

勾配降下法の動作イメージを確認。 学習率が大きい場合と小さい場合で挙動が変わる。 ちょうど良い学習率を人間の手で探す。 これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

2024/08/28 20:57

MATLAB,Python,Scilab,Julia比較 第4章 その94【モーメンタム④】

モーメンタムの更新式について確認。 指数移動平均を利用して直近の値を重視する。 実際の指数移動平均とは異なっているので、その点は注意。

2024/08/28 20:57

MATLAB,Python,Scilab,Julia比較 第4章 その95【モーメンタム⑤】

モーメンタムの動作イメージについて確認。 動作イメージの表現は難しい。 最初は大きく更新して、最適解が近いと小さく更新。 勾配降下法で言うところの学習率が可変と同義な動きになる。

2024/08/28 20:57

MATLAB,Python,Scilab,Julia比較 第4章 その96【モーメンタム⑥】

モーメンタムを確認するプログラムの方針を確認。 以前の勾配降下法のプログラムをベースにする。 隠れ層のユニット数は4。 プログラムのフローを確認。 モーメンタム項とパラメータ更新が基本的な差分となる。

2024/08/28 20:57

【入門】モーメンタム①【数値計算】

最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説＆実験をしていく。 最初は復習を兼ねて勾配降下法についても確認する。

2024/08/28 20:56

【入門】モーメンタム②【数値計算】

勾配降下法の更新式を確認。 勾配降下法の動作イメージを確認。 学習率が大きい場合と小さい場合で挙動が変わる。 ちょうど良い学習率を人間の手で探す。 これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

2024/08/28 20:56

MATLAB,Python,Scilab,Julia比較 第5章 その24【重要な極限値②】

円に接する三角形と扇形の面積の不等式を最適化。 いろいろ弄っていくと、はさみうちの原理により1が求められる。

2024/08/28 20:56

【入門】モーメンタム③【数値計算】

モーメンタムの更新式について確認。 指数移動平均を利用して直近の値を重視する。 モーメンタムの動作イメージについて確認。 最初は大きく更新して、最適解が近いと小さく更新。 勾配降下法で言うところの学習率が可変と同義な動きになる。

2024/08/27 20:18

【入門】モーメンタム④【数値計算】

モーメンタムを確認するプログラムの方針を確認。 以前の勾配降下法のプログラムをベースにする。 隠れ層のユニット数は4。 プログラムのフローを確認。 モーメンタム項とパラメータ更新が基本的な差分となる。

2024/08/27 20:18

MATLAB,Python,Scilab,Julia比較 第4章 その97【モーメンタム⑦】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第5章 その23【重要な極限値①】

重要な極限値について説明。 sin(x)/xのxを0に近づける極限値。 まずは円に接する三角形と扇形に着目する。 これが先ほどの極限値にどうつながるかは次回。

2024/08/27 20:17