ハッシュタグ記事一覧

【入門】モーメンタム(勾配降下法との差分)【数値計算】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。 モーメンタムの方が学習の収束が早い。 勾配降下法で500エポックのところ100エポック。 モーメンタムの場合、初期のパラメータ移動が大き目。 これにより、大域最適化を見つける可能性が高くなる。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】

もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。 プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。 Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第4章 その103【最適化アルゴリズム②】

AdaGradについて説明。 更新式をモーメンタムと比較。 更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第4章 その104【最適化アルゴリズム③】

RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。 AdaGradでは2次の勾配の累積だったものが、2次の勾配の指数移動平均に。 これにより、極小値近辺やプラトーになっても更新を続けられる。

2024/08/25 03:06

MATLAB,Python,Scilab,Julia比較 第4章 その105【最適化アルゴリズム④】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 学習率というハイパーパラメータ無しで動作する。 最終的な学習率は1近傍になるため振動しやすいらしい。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その106【最適化アルゴリズム⑤】

最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その107【最適化アルゴリズム⑥】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その108【最適化アルゴリズム⑦】

Adamの更新式を実現するためのプログラムフローを記載。 モーメンタムの部分をAdamに差し替えただけ。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/24 00:08

【入門】最適化アルゴリズム①【数値計算】

もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。 AdaGradについて説明。 更新式をモーメンタムと比較。 RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。

2024/08/24 00:07

【入門】最適化アルゴリズム②【数値計算】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/22 20:37

【入門】最適化アルゴリズム③【数値計算】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamの更新式を実現するためのプログラムフローを記載。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その109【最適化アルゴリズム⑧】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:36

MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:36

MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:18

MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章 その114【本章のまとめ】

分類問題を扱って第4章終了。 最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。 次の章はこれから考える。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】

はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安

2024/08/21 05:16

【入門】最適化アルゴリズム(MATLAB)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:16

【入門】最適化アルゴリズム(Python)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Scilab)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Julia)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Adamでの分類結果)【数値計算】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/19 20:52