ハッシュタグ記事一覧

MATLAB,Python,Scilab,Julia比較 第4章 その97【モーメンタム⑦】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第5章 その23【重要な極限値①】

重要な極限値について説明。 sin(x)/xのxを0に近づける極限値。 まずは円に接する三角形と扇形に着目する。 これが先ほどの極限値にどうつながるかは次回。

2024/08/27 20:17

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/26 23:48

MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/26 23:48

MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。 モーメンタムの方が学習の収束が早い。 勾配降下法で500エポックのところ100エポック。 モーメンタムの場合、初期のパラメータ移動が大き目。 これにより、大域最適化を見つける可能性が高くなる。

2024/08/26 23:48

【入門】モーメンタム(MATLAB)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/26 23:47

【入門】モーメンタム(Python)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/26 23:47

【入門】モーメンタム(Scilab)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/26 23:47

MATLAB,Python,Scilab,Julia比較 第5章 その22【三角関数積和公式②】

sin,sinの積和公式を導出。 積和公式をフーリエ係数に向けて変形。 α,βをαx,βxにするだけ。

2024/08/26 23:47

【入門】モーメンタム(Julia)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。 問題無く動作。 学習の収束が通常の勾配降下法よりも比較的早い。

2024/08/25 20:15

【入門】モーメンタム(勾配降下法との差分)【数値計算】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。 モーメンタムの方が学習の収束が早い。 勾配降下法で500エポックのところ100エポック。 モーメンタムの場合、初期のパラメータ移動が大き目。 これにより、大域最適化を見つける可能性が高くなる。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】

もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。 プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。 Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第4章 その103【最適化アルゴリズム②】

AdaGradについて説明。 更新式をモーメンタムと比較。 更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第5章 その21【三角関数積和公式①】

三角関数の加法定理の組み合わせで積和公式が導出できる。 sin,cosの積和公式とcos,cosの積和公式を導出してみた。

2024/08/25 20:14

MATLAB,Python,Scilab,Julia比較 第5章 その20【三角関数加法定理】

三角関数の加法定理を確認。 偶関数、奇関数を利用すると、βにマイナス符号が付いた加法定理の式も導出できる。

2024/08/25 03:05

MATLAB,Python,Scilab,Julia比較 第4章 その104【最適化アルゴリズム③】

RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。 AdaGradでは2次の勾配の累積だったものが、2次の勾配の指数移動平均に。 これにより、極小値近辺やプラトーになっても更新を続けられる。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その105【最適化アルゴリズム④】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 学習率というハイパーパラメータ無しで動作する。 最終的な学習率は1近傍になるため振動しやすいらしい。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その106【最適化アルゴリズム⑤】

最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その107【最適化アルゴリズム⑥】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その108【最適化アルゴリズム⑦】

Adamの更新式を実現するためのプログラムフローを記載。 モーメンタムの部分をAdamに差し替えただけ。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/24 00:07

【入門】最適化アルゴリズム①【数値計算】

もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。 AdaGradについて説明。 更新式をモーメンタムと比較。 RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。

2024/08/24 00:07

MATLAB,Python,Scilab,Julia比較 第5章 その19【関数の内積】

前回までの数式パズルの力業的解法と関数の内積はほぼ同一の考え方。 関数を無限次元ベクトルを解釈すると、関数の内積は関数の積の定積分として表現される。

2024/08/24 00:07

【入門】最適化アルゴリズム②【数値計算】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/22 20:37

【入門】最適化アルゴリズム③【数値計算】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamの更新式を実現するためのプログラムフローを記載。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その109【最適化アルゴリズム⑧】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:36

MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:36

【入門】複雑な定積分(Scilab)【数値計算】

複雑な定積分をScilabで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/22 20:36

【入門】複雑な定積分(Julia)【数値計算】

複雑な定積分をJuliaで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/22 20:35

MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:18

MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章 その114【本章のまとめ】

分類問題を扱って第4章終了。 最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。 次の章はこれから考える。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】

はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安

2024/08/21 05:16

【入門】最適化アルゴリズム(MATLAB)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:16

【入門】複雑な定積分(Python)【数値計算】

複雑な定積分をPythonで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/21 05:15

【入門】最適化アルゴリズム(Python)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Scilab)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Julia)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:52

【入門】最適化アルゴリズム(Adamでの分類結果)【数値計算】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/19 20:51

MATLAB,Python,Scilab,Julia比較 第5章 その1【導入編】

業務でフーリエ解析学に絡むところがやってるのでこれを第5章はフーリエ解析学をテーマとする 途中、フーリエと関係ない部分でもプログラム化して確認するなどをして理解しやすい状態で進める予定。

2024/08/19 20:50

【入門】フーリエ解析学(導入編)【数値計算】

業務でフーリエ解析学に絡むところがやってるのでこれを第5章はフーリエ解析学をテーマとする 途中、フーリエと関係ない部分でもプログラム化して確認するなどをして理解しやすい状態で進める予定。

2024/08/19 20:50

【入門】複雑な定積分(MATLAB)【数値計算】

複雑な定積分をMATLABで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/19 20:49

MATLAB,Python,Scilab,Julia比較 第5章 その2【フーリエ級数①】

フーリエ解析学は「フーリエ級数、係数」と「フーリエ変換、逆フーリエ変換」に分けられる。 「フーリエ級数、係数」も実数フーリエと複素フーリエに分けらえる。 まずはフーリエ級数に至る道を提示。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その3【フーリエ級数②】

無限級数について説明。 無限級数自体は無限に足していくだけの概念。 無限級数の代表格にテイラー級数がある。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その4【フーリエ級数③】

波の合成について説明。 単なる関数の足し算になる。 フーリエ級数に話を繋げるならば、三角関数の足し算と思えばOK。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その5【フーリエ級数④】

フーリエ級数について説明。 sin関数だけでなく、cos関数も使用する。 a0/2はバイアスを想定した係数。 2分の1は係数算出時にキレイになるため。 理由は後日。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その6【フーリエ級数⑤】

フーリエ級数までの説明は完了。 いつもなら、ここでプログラム化の話になるの段が、フーリエ級数だけでは波の合成以上の話ができない。 よって、フーリエ係数の話の後に、フーリエ級数含めてプログラム化予定。

2024/08/18 21:36

【入門】フーリエ級数①【数値計算】

フーリエ解析学は「フーリエ級数、係数」と「フーリエ変換、逆フーリエ変換」に分けられる。 「フーリエ級数、係数」も実数フーリエと複素フーリエに分けらえる。 無限級数について説明。 波の合成について説明。 単なる関数の足し算になる。

2024/08/18 21:36