ハッシュタグ記事一覧

MATLAB,Python,Scilab,Julia比較 第4章 その103【最適化アルゴリズム②】

AdaGradについて説明。 更新式をモーメンタムと比較。 更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。

2024/08/25 20:15

MATLAB,Python,Scilab,Julia比較 第5章 その21【三角関数積和公式①】

三角関数の加法定理の組み合わせで積和公式が導出できる。 sin,cosの積和公式とcos,cosの積和公式を導出してみた。

2024/08/25 20:14

MATLAB,Python,Scilab,Julia比較 第5章 その20【三角関数加法定理】

三角関数の加法定理を確認。 偶関数、奇関数を利用すると、βにマイナス符号が付いた加法定理の式も導出できる。

2024/08/25 03:05

MATLAB,Python,Scilab,Julia比較 第4章 その104【最適化アルゴリズム③】

RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。 AdaGradでは2次の勾配の累積だったものが、2次の勾配の指数移動平均に。 これにより、極小値近辺やプラトーになっても更新を続けられる。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その105【最適化アルゴリズム④】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 学習率というハイパーパラメータ無しで動作する。 最終的な学習率は1近傍になるため振動しやすいらしい。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その106【最適化アルゴリズム⑤】

最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その107【最適化アルゴリズム⑥】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。

2024/08/24 00:08

MATLAB,Python,Scilab,Julia比較 第4章 その108【最適化アルゴリズム⑦】

Adamの更新式を実現するためのプログラムフローを記載。 モーメンタムの部分をAdamに差し替えただけ。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/24 00:07

【入門】最適化アルゴリズム①【数値計算】

もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。 AdaGradについて説明。 更新式をモーメンタムと比較。 RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。

2024/08/24 00:07

MATLAB,Python,Scilab,Julia比較 第5章 その19【関数の内積】

前回までの数式パズルの力業的解法と関数の内積はほぼ同一の考え方。 関数を無限次元ベクトルを解釈すると、関数の内積は関数の積の定積分として表現される。

2024/08/24 00:07

【入門】最適化アルゴリズム②【数値計算】

AdaDeltaについて説明。 RMSpropの拡張版に当たる。 最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。

2024/08/22 20:37

【入門】最適化アルゴリズム③【数値計算】

各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamの更新式を実現するためのプログラムフローを記載。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その109【最適化アルゴリズム⑧】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:37

MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/22 20:36

【入門】複雑な定積分(Scilab)【数値計算】

複雑な定積分をScilabで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/22 20:36

【入門】複雑な定積分(Julia)【数値計算】

複雑な定積分をJuliaで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/22 20:35

MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:18

MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:18

MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章 その114【本章のまとめ】

分類問題を扱って第4章終了。 最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。 次の章はこれから考える。

2024/08/21 05:17

MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】

はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安

2024/08/21 05:16

【入門】最適化アルゴリズム(MATLAB)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/21 05:16

【入門】複雑な定積分(Python)【数値計算】

複雑な定積分をPythonで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/21 05:15

【入門】最適化アルゴリズム(Python)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Scilab)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:53

【入門】最適化アルゴリズム(Julia)【数値計算】

ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。

2024/08/19 20:52

【入門】最適化アルゴリズム(Adamでの分類結果)【数値計算】

Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。

2024/08/19 20:51

MATLAB,Python,Scilab,Julia比較 第5章 その1【導入編】

業務でフーリエ解析学に絡むところがやってるのでこれを第5章はフーリエ解析学をテーマとする 途中、フーリエと関係ない部分でもプログラム化して確認するなどをして理解しやすい状態で進める予定。

2024/08/19 20:50

【入門】複雑な定積分(MATLAB)【数値計算】

複雑な定積分をMATLABで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/19 20:49

【入門】フーリエ解析学(導入編)【数値計算】

業務でフーリエ解析学に絡むところがやってるのでこれを第5章はフーリエ解析学をテーマとする 途中、フーリエと関係ない部分でもプログラム化して確認するなどをして理解しやすい状態で進める予定。

2024/08/18 21:37

MATLAB,Python,Scilab,Julia比較 第5章 その2【フーリエ級数①】

フーリエ解析学は「フーリエ級数、係数」と「フーリエ変換、逆フーリエ変換」に分けられる。 「フーリエ級数、係数」も実数フーリエと複素フーリエに分けらえる。 まずはフーリエ級数に至る道を提示。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その3【フーリエ級数②】

無限級数について説明。 無限級数自体は無限に足していくだけの概念。 無限級数の代表格にテイラー級数がある。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その4【フーリエ級数③】

波の合成について説明。 単なる関数の足し算になる。 フーリエ級数に話を繋げるならば、三角関数の足し算と思えばOK。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その5【フーリエ級数④】

フーリエ級数について説明。 sin関数だけでなく、cos関数も使用する。 a0/2はバイアスを想定した係数。 2分の1は係数算出時にキレイになるため。 理由は後日。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その6【フーリエ級数⑤】

フーリエ級数までの説明は完了。 いつもなら、ここでプログラム化の話になるの段が、フーリエ級数だけでは波の合成以上の話ができない。 よって、フーリエ係数の話の後に、フーリエ級数含めてプログラム化予定。

2024/08/18 21:36

【入門】フーリエ級数①【数値計算】

フーリエ解析学は「フーリエ級数、係数」と「フーリエ変換、逆フーリエ変換」に分けられる。 「フーリエ級数、係数」も実数フーリエと複素フーリエに分けらえる。 無限級数について説明。 波の合成について説明。 単なる関数の足し算になる。

2024/08/18 21:36

【入門】フーリエ級数②【数値計算】

フーリエ級数について説明。 sin関数だけでなく、cos関数も使用する。 a0/2はバイアスを想定した係数。 プログラム化は、フーリエ係数の話の後に、フーリエ級数含めてプログラム化予定。

2024/08/18 21:36

MATLAB,Python,Scilab,Julia比較 第5章 その18【複雑な定積分⑧】

複雑な定積分をJuliaで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/18 21:35

MATLAB,Python,Scilab,Julia比較 第5章 その7【偶関数と奇関数①】

フーリエ係数の話に突入。 フーリエ係数へ至る道を説明。 大半が「三角関数の直交性」に必要な知識。 偶関数、奇関数を利用した数学パズルっぽいのもやる予定。

2024/08/17 20:42

MATLAB,Python,Scilab,Julia比較 第5章 その8【偶関数と奇関数②】

偶関数について説明。 単純にy軸に対して線対称な関数。 この特性から-L～Lの範囲の定積分は、0～Lの範囲の定積分の2倍となる。

2024/08/17 20:42

MATLAB,Python,Scilab,Julia比較 第5章 その9【偶関数と奇関数③】

奇関数について説明。 単純に原点に対して展対称な関数。 この特性から-L～Lの範囲の定積分は、必ず0になる。

2024/08/17 20:42

MATLAB,Python,Scilab,Julia比較 第5章 その17【複雑な定積分⑦】

複雑な定積分をScilabで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/17 20:41

MATLAB,Python,Scilab,Julia比較 第5章 その10【偶関数と奇関数④】

偶関数と奇関数の積の重要な特性について説明。 結論としては以下になるだけ。 偶関数×偶関数=偶関数。 奇関数×偶関数=奇関数。 奇関数×奇関数=偶関数。

2024/08/17 14:26

【入門】偶関数と奇関数①【数値計算】

フーリエ係数の話に突入。 フーリエ係数へ至る道を説明。 偶関数について説明。 単純にy軸に対して線対称な関数。

2024/08/17 14:25

【入門】偶関数と奇関数②【数値計算】

奇関数について説明。 単純に原点に対して展対称な関数。 偶関数と奇関数の積の重要 結論としては以下になるだけ。 偶関数×偶関数=偶関数 奇関数×偶関数=奇関数 奇関数×奇関数=偶関数

2024/08/17 14:25

MATLAB,Python,Scilab,Julia比較 第5章 その16【複雑な定積分⑥】

複雑な定積分をPythonで求めた。 同様に円周率が答えとして算出。 小数点第6位まで一緒。 Nを増やせばもっと精度は上がる。

2024/08/17 14:02

MATLAB,Python,Scilab,Julia比較 第5章 その11【複雑な定積分①】

偶関数、奇関数を駆使する数学パズルを実施。 細かいことは置いておいて、雰囲気のみでざっくり解説。 奇関数が確定すれば0にできる。 偶関数が確定すれば線対称を利用して積分範囲を半分にした上で2倍にすればOK。

2024/08/16 16:54

MATLAB,Python,Scilab,Julia比較 第5章 その12【複雑な定積分②】

前回の数学パズルを真面目に解いてみる。 まずは平方根の関数の正体を探る。 結果としては半円の方程式と言うことになる。 これで構成される関数が偶関数か奇関数か特定できたことになる。

2024/08/16 16:53

MATLAB,Python,Scilab,Julia比較 第5章 その13【複雑な定積分③】

偶関数、奇関数の特性を利用しまくって定積分を最適化しまくる。 ほとんどが0に消えて、半円の方程式だけが残る。 さらに偶関数の特性を利用して四分円にする。 半径2の円を四等分すれば答えが出る。

2024/08/16 16:53

MATLAB,Python,Scilab,Julia比較 第5章 その14【複雑な定積分④】

複雑な関数も無限次元ベクトルと見なすと力業で解くことが可能。 複雑な定積分を無限次元ベクトルとして表現。 これをプログラムとして解いていく。

2024/08/16 16:53