シミュレーションの世界に引きこもる部屋

【入門】モーメンタム(勾配降下法との差分)【数値計算】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。 モーメンタムの方が学習の収束が早い。 勾配降下法で500エポックのところ100エポック。 モーメンタムの場合、初期のパラメータ移動が大き目。 これにより、大域最適化を見つける可能性が高くなる。

2024/06/30 21:07

【入門】モーメンタム(Julia)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/29 20:36

【入門】モーメンタム(Scilab)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/28 19:43

【入門】モーメンタム(Python)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/27 21:57

【入門】モーメンタム(MATLAB)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/26 20:55

MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。 モーメンタムの方が学習の収束が早い。 勾配降下法で500エポックのところ100エポック。 モーメンタムの場合、初期のパラメータ移動が大き目。 これにより、大域最適化を見つける可能性が高くなる。

2024/06/25 19:47

MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/24 21:10

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/23 20:13

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/23 20:13

MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/22 19:43

MATLAB,Python,Scilab,Julia比較 第4章 その97【モーメンタム⑦】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/06/21 20:40

【入門】モーメンタム④【数値計算】

モーメンタムを確認するプログラムの方針を確認。 以前の勾配降下法のプログラムをベースにする。 隠れ層のユニット数は4。 プログラムのフローを確認。 モーメンタム項とパラメータ更新が基本的な差分となる。

2024/06/20 20:01

【入門】モーメンタム③【数値計算】

モーメンタムの更新式について確認。 指数移動平均を利用して直近の値を重視する。 モーメンタムの動作イメージについて確認。 最初は大きく更新して、最適解が近いと小さく更新。 勾配降下法で言うところの学習率が可変と同義な動きになる。

2024/06/19 20:19

【入門】モーメンタム②【数値計算】

勾配降下法の更新式を確認。 勾配降下法の動作イメージを確認。 学習率が大きい場合と小さい場合で挙動が変わる。 ちょうど良い学習率を人間の手で探す。 これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

2024/06/18 23:01

【入門】モーメンタム①【数値計算】

最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説＆実験をしていく。 最初は復習を兼ねて勾配降下法についても確認する。

2024/06/17 19:47

MATLAB,Python,Scilab,Julia比較 第4章 その96【モーメンタム⑥】

モーメンタムを確認するプログラムの方針を確認。 以前の勾配降下法のプログラムをベースにする。 隠れ層のユニット数は4。 プログラムのフローを確認。 モーメンタム項とパラメータ更新が基本的な差分となる。

2024/06/16 20:11

MATLAB,Python,Scilab,Julia比較 第4章 その95【モーメンタム⑤】

モーメンタムの動作イメージについて確認。 動作イメージの表現は難しい。 最初は大きく更新して、最適解が近いと小さく更新。 勾配降下法で言うところの学習率が可変と同義な動きになる。

2024/06/15 18:10

MATLAB,Python,Scilab,Julia比較 第4章 その94【モーメンタム④】

モーメンタムの更新式について確認。 指数移動平均を利用して直近の値を重視する。 実際の指数移動平均とは異なっているので、その点は注意。

2024/06/14 19:50

MATLAB,Python,Scilab,Julia比較 第4章 その93【モーメンタム③】

勾配降下法の動作イメージを確認。 学習率が大きい場合と小さい場合で挙動が変わる。 ちょうど良い学習率を人間の手で探す。 これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

2024/06/13 19:35

MATLAB,Python,Scilab,Julia比較 第4章 その92【モーメンタム②】

今回改めてまじめに更新式を確認。 勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。

2024/06/12 19:29

MATLAB,Python,Scilab,Julia比較 第4章 その91【モーメンタム①】

最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説＆実験をしてい 最初は復習を兼ねて勾配降下法についても確認する。

2024/06/11 20:09

【入門】ユニット数増加(Julia)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/10 19:57

【入門】ユニット数増加(Scilab)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/09 20:37

【入門】ユニット数増加(Python)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パタ やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/08 20:34

【入門】ユニット数増加(MATLAB)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターン やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/07 19:55

MATLAB,Python,Scilab,Julia比較 第4章 その90【ユニット数増加⑤】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/06 20:25

MATLAB,Python,Scilab,Julia比較 第4章 その89【ユニット数増加④】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/05 19:28

MATLAB,Python,Scilab,Julia比較 第4章 その88【ユニット数増加③】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/04 19:36

MATLAB,Python,Scilab,Julia比較 第4章 その87【ユニット数増加②】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。

2024/06/03 19:31

【入門】ユニット数増加【数値計算】

多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。

2024/06/02 20:31

MATLAB,Python,Scilab,Julia比較 第4章 その86【ユニット数増加①】

多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。

2024/06/01 20:52