シミュレーションの世界に引きこもる部屋過去記事

シミュレーションの世界に引きこもる部屋 https://www.simulationroom999.com/blog/

シミュレーションで実物を扱わなくても仕事ができる環境を目指す。つまり家に引きこもって外に出なくてもOKな世界。

352位	総合ランキング
1位	科学ブログ
1位	AI・人工知能
1位	技術・工学
1位	IT技術ブログ
1位	システムエンジニア

本日のランキング詳細

KEI

フォロー

住所: 未設定

出身: 未設定

ブログ村参加: 2020/02/11

参加テーマ

ハッシュタグ

過去記事

【入門】モーメンタム(Scilab)【数値計算】

最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/28 19:43
【入門】モーメンタム(Python)【数値計算】

最適化アルゴリズムモーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/27 21:57
【入門】モーメンタム(MATLAB)【数値計算】

最適化アルゴリズムモーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/26 20:55
MATLAB,Python,Scilab,Julia比較第4章その101【モーメンタム⑪】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。
2024/06/25 19:47
MATLAB,Python,Scilab,Julia比較第4章その100【モーメンタム⑩】

最適化アルゴリズムモーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/24 21:10
MATLAB,Python,Scilab,Julia比較第4章その99【モーメンタム⑨】

最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/23 20:13
MATLAB,Python,Scilab,Julia比較第4章その99【モーメンタム⑨】

最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/23 20:13
MATLAB,Python,Scilab,Julia比較第4章その98【モーメンタム⑧】

最適化アルゴリズムモーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/22 19:43
MATLAB,Python,Scilab,Julia比較第4章その97【モーメンタム⑦】

最適化アルゴリズムモーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
2024/06/21 20:40
【入門】モーメンタム④【数値計算】

モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。
2024/06/20 20:01
【入門】モーメンタム③【数値計算】

モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。モーメンタムの動作イメージについて確認。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。
2024/06/19 20:19
【入門】モーメンタム②【数値計算】

勾配降下法の更新式を確認。勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
2024/06/18 23:01
【入門】モーメンタム①【数値計算】

最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしていく。最初は復習を兼ねて勾配降下法についても確認する。
2024/06/17 19:47
MATLAB,Python,Scilab,Julia比較第4章その96【モーメンタム⑥】

モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。
2024/06/16 20:11
MATLAB,Python,Scilab,Julia比較第4章その95【モーメンタム⑤】

モーメンタムの動作イメージについて確認。動作イメージの表現は難しい。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。
2024/06/15 18:10
MATLAB,Python,Scilab,Julia比較第4章その94【モーメンタム④】

モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。実際の指数移動平均とは異なっているので、その点は注意。
2024/06/14 19:50
MATLAB,Python,Scilab,Julia比較第4章その93【モーメンタム③】

勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
2024/06/13 19:35
MATLAB,Python,Scilab,Julia比較第4章その92【モーメンタム②】

今回改めてまじめに更新式を確認。勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。
2024/06/12 19:29
MATLAB,Python,Scilab,Julia比較第4章その91【モーメンタム①】

最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしてい最初は復習を兼ねて勾配降下法についても確認する。
2024/06/11 20:09
【入門】ユニット数増加(Julia)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/10 19:57
【入門】ユニット数増加(Scilab)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/09 20:37
【入門】ユニット数増加(Python)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。大きく2パターンの分類パタやや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/08 20:34
【入門】ユニット数増加(MATLAB)【数値計算】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。大きく2パターンの分類パターンやや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/07 19:55
MATLAB,Python,Scilab,Julia比較第4章その90【ユニット数増加⑤】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/06 20:25
MATLAB,Python,Scilab,Julia比較第4章その89【ユニット数増加④】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/05 19:28
MATLAB,Python,Scilab,Julia比較第4章その88【ユニット数増加③】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/04 19:36
MATLAB,Python,Scilab,Julia比較第4章その87【ユニット数増加②】

多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。大きく2パターンの分類パターンがあるやや複雑な分類パターンが4ユニットにすることで出てきたもの。
2024/06/03 19:31
【入門】ユニット数増加【数値計算】

多層パーセプトロンの隠れ層のユニット数を増やす。表現力が上がるはず。局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。プログラム上の修正点確認。ベクトル、行列演算ができるため修正範囲は極小。
2024/06/02 20:31
MATLAB,Python,Scilab,Julia比較第4章その86【ユニット数増加①】

多層パーセプトロンの隠れ層のユニット数を増やす。表現力が上がるはず。局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。プログラム上の修正点確認。ベクトル、行列演算ができるため修正範囲は極小。
2024/06/01 20:52
【入門】非線形分類の問題点【数値計算】

非線形分類をしたが実は問題が発生している。非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。案の定、局所最適解にハマってる。つまりエポック数を増やしても対策にはならない。隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
2024/05/31 20:06
MATLAB,Python,Scilab,Julia比較第4章その85【非線形分類の問題点②】

非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。案の定、局所最適解にハマってる。つまりエポック数を増やしても対策にはならない。隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
2024/05/30 20:54
MATLAB,Python,Scilab,Julia比較第4章その84【非線形分類の問題点①】

非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。
2024/05/29 19:30
【入門】誤差逆伝播法(Julia)【数値計算】

多層パーセプトロンによる分類をJuliaで実施。一応ちゃんと分類できた。
2024/05/28 19:50
【入門】誤差逆伝播法(Scilab)【数値計算】

多層パーセプトロンによる分類をScilabで実施。一応ちゃんと分類できた。等高線による分類表記がうまく行かなかったため、境界線をplotしている。
2024/05/27 19:51
【入門】誤差逆伝播法(Python)【数値計算】

多層パーセプトロンによる分類をPythonで実施。一応ちゃんと分類できた。
2024/05/26 19:30
【入門】誤差逆伝播法(MATLAB)【数値計算】

多層パーセプトロンによる分類をMATLABで実施。一応ちゃんと分類できた。
2024/05/25 19:49
MATLAB,Python,Scilab,Julia比較第4章その83【誤差逆伝播法⑩】

多層パーセプトロンによる分類をJuliaで実施。一応ちゃんと分類できた。
2024/05/24 19:59
MATLAB,Python,Scilab,Julia比較第4章その82【誤差逆伝播法⑨】

多層パーセプトロンによる分類をScilabで実施。一応ちゃんと分類できた。等高線による分類表記がうまく行かなかったため、境界線をplotしている。
2024/05/23 20:07
MATLAB,Python,Scilab,Julia比較第4章その81【誤差逆伝播法⑧】

多層パーセプトロンによる分類をPythonで実施。一応ちゃんと分類できた。
2024/05/22 19:50
MATLAB,Python,Scilab,Julia比較第4章その80【誤差逆伝播法⑦】

多層パーセプトロンによる分類をMATLABで実施。一応ちゃんと分類できた。
2024/05/21 19:59
【入門】誤差逆伝播法②【数値計算】

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。連鎖律の共通部分の算出。共通変数で実際の処理に相当する数式を書き出し。
2024/05/20 19:54
【入門】誤差逆伝播法①【数値計算】

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。誤差逆伝播法の全体像を確認。出力層の連鎖律と各偏導関数を導出。隠れ層から誤差関数までの連鎖律を導出。
2024/05/19 19:38
GUGA 生成AIパスポート試験問題集(ひたすら過去問ふぅ問題集で鍛錬する所一問一答仮)

GUGA 生成AIパスポート試験の問題集を設置。現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲第4章情報リテラシー・基本理念とAI社会原則第5章テキスト生成AIのプロンプト制作と実例問題は随時追加予定。(すべて
2024/05/18 20:23
GUGA 生成AIパスポート試験対策道場(ひたすら過去問ふぅ問題集で鍛錬する所一問一答仮)

GUGA 生成AIパスポート試験の問題集を設置。現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲第4章情報リテラシー・基本理念とAI社会原則第5章テキスト生成AIのプロンプト制作と実例問題は随時追加予定。(すべて
2024/05/18 20:23
MATLAB,Python,Scilab,Julia比較第4章その79【誤差逆伝播法⑥】

連鎖律の共通部分の算出。いままでの部品の組み合わせで導出できる。共通変数で実際の処理に相当する数式を書き出し。ついでに学習率を加味した各重み、各バイアスの更新式も記載。
2024/05/17 19:37
MATLAB,Python,Scilab,Julia比較第4章その78【誤差逆伝播法⑤】

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。連鎖律の共通部分を特定。共通部分を変数化。変数化したもので連鎖律を表現し直し。
2024/05/16 19:38
MATLAB,Python,Scilab,Julia比較第4章その77【誤差逆伝播法④】

隠れ層から誤差関数までの合成関数を確認。隠れ層から誤差関数までの連鎖律を導出。
2024/05/15 19:27
MATLAB,Python,Scilab,Julia比較第4章その76【誤差逆伝播法③】

出力層の合成関数を確認。出力層の連鎖律と各偏導関数を導出。多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。
2024/05/14 19:40
MATLAB,Python,Scilab,Julia比較第4章その75【誤差逆伝播法②】

誤差逆伝播法の全体像を確認。更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。出力層と隠れ層の合成関数を確認。
2024/05/13 19:36
MATLAB,Python,Scilab,Julia比較第4章その74【誤差逆伝播法①】

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。多層に渡っているため、少しメンドウクサイ。各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。
2024/05/12 19:09
JDLA Generative AI Test 対策問題集(ひたすら過去問ふぅ問題集で鍛錬する所一問一答仮)

JDLA Generative AI Testの問題集を設置。現状は40問ほど放り込んでいる。問題は随時追加予定。(問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) 動画とかそのうち作ります。学習書籍
2024/05/11 20:22
【入門】非線形分類【数値計算】

単純パーセプトロンでは分類できないものがある。決定境界直線を求めるというより決定領域を特定するというイメージになる。非線形分類するにはパーセプトロンを複数使う。単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
- #MATLAB
- #Python
- #Scilab
2024/05/10 19:52
MATLAB,Python,Scilab,Julia比較第4章その73【非線形分類②】

非線形分類するにはパーセプトロンを複数使う。つまり多層パーセプトロンにする。単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
2024/05/09 19:53
MATLAB,Python,Scilab,Julia比較第4章その72【非線形分類①】

単純パーセプトロンでは分類できないものがある。 XORなどの非線形分類を求められるものなどが代表的。決定境界直線を求めるというより決定領域を特定するというイメージになる。
2024/05/08 20:04
【入門】単純パーセプトロンで分類(Julia)【数値計算】

単純パーセプトロンの分類をJuliaで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/07 19:38
【入門】単純パーセプトロンで分類(Scilab)【数値計算】

単純パーセプトロンの分類をScilabで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/06 19:49
【入門】単純パーセプトロンで分類(Python)【数値計算】

単純パーセプトロンの分類をPythonで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/05 19:29
【入門】単純パーセプトロンで分類(MATLAB)【数値計算】

単純パーセプトロンの分類をMATLABで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/04 19:10
MATLAB,Python,Scilab,Julia比較第4章その71【単純パーセプトロンで分類⑦】

単純パーセプトロンの分類をJuliaで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/03 19:49
MATLAB,Python,Scilab,Julia比較第4章その70【単純パーセプトロンで分類⑥】

単純パーセプトロンの分類をScilabで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/02 20:21
MATLAB,Python,Scilab,Julia比較第4章その69【単純パーセプトロンで分類⑤】

単純パーセプトロンの分類をPythonで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/05/01 20:22
MATLAB,Python,Scilab,Julia比較第4章その68【単純パーセプトロンで分類④】

単純パーセプトロンの分類をMATLABで実施。想定通り分類可能。おおよそ200エポックあれば分類可能。
2024/04/30 20:36
【入門】単純パーセプトロンで分類【数値計算】

単純パーセプトロンの構造について復習。逆伝播の復習。重みとバイアスの連鎖律の最適化。単純パーセプトロンで分類のプログラムのフローを確認。学習が進むと決定境界線がどのように動くか確認。
2024/04/29 19:43
MATLAB,Python,Scilab,Julia比較第4章その67【単純パーセプトロンで分類③】

単純パーセプトロンで分類のプログラムのフローを確認。逆伝播の実験のときと流れは一緒。学習が進むと決定境界線がどのように動くか確認。
2024/04/28 21:15
MATLAB,Python,Scilab,Julia比較第4章その66【単純パーセプトロンで分類②】

重みとバイアスの連鎖律の最適化。共通部分があるので、そこを切り出し。プログラムの場合は、こういう共通部分を変数に格納するなどの最適化が可能。
2024/04/27 21:19
MATLAB,Python,Scilab,Julia比較第4章その65【単純パーセプトロンで分類①】

単純パーセプトロンの構造について復習。今回扱うのは活性化関数をシグモイド関数に差し替えたもの。逆伝播の復習。重みとバイアスの逆伝播は途中まで一緒。よって表現の最適化が可能。
2024/04/26 20:00
【入門】逆伝播(Julia)【数値計算】

MATLAB、Python、Scilab、Julia比較ページはこちらはじめにの、 MATLAB,Python,Scilab,Julia比較第4章その64【逆伝播⑮】を書き直したもの。単純パーセプトロンに対する逆伝播を行う。まず
2024/04/25 20:20
【入門】逆伝播(Scilab)【数値計算】

逆伝播を行った際の重みの動き方を確認するプログラムをScilabで作成。おおよそ狙ったところに収束。
2024/04/24 19:46
【入門】逆伝播(Python)【数値計算】

逆伝播を行った際の重みの動き方を確認するプログラムをPythonで作成。おおよそ狙ったところに収束。
2024/04/23 19:45
【入門】逆伝播(MATLAB)【数値計算】

逆伝播を行った際の重みの動き方を確認するプログラムをMATLABで作成。おおよそ狙ったところに収束。
2024/04/22 19:28
MATLAB,Python,Scilab,Julia比較第4章その64【逆伝播⑮】

逆伝播を行った際の重みの動き方を確認するプログラムをJuiaで作成。おおよそ狙ったところに収束。
2024/04/21 18:10
MATLAB,Python,Scilab,Julia比較第4章その63【逆伝播⑭】

逆伝播を行った際の重みの動き方を確認するプログラムをScilabで作成。おおよそ狙ったところに収束。
2024/04/20 19:43
MATLAB,Python,Scilab,Julia比較第4章その62【逆伝播⑬】

逆伝播を行った際の重みの動き方を確認するプログラムをPythonで作成。おおよそ狙ったところに収束。
2024/04/19 19:38
MATLAB,Python,Scilab,Julia比較第4章その61【逆伝播⑫】

逆伝播を行った際の重みの動き方を確認するプログラムをMATLABで作成。おおよそ狙ったところに収束。
2024/04/18 21:51
【入門】逆伝播③【数値計算】

全体の位置づけと各偏導関数を確認。入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。逆伝播の確認用プログラムのフローを記載。
2024/04/17 20:19
【入門】逆伝播②【数値計算】

連鎖律に於ける誤差関数の位置づけと偏導関数を確認。活性関数(シグモイド関数)のブロック図と連鎖律上の位置づけと偏導関数を確認。入力層のブロック図と連鎖律上の位置づけと偏導関数を確認。バイアスのブロック図と連鎖律上の位置づけと偏導関数を確認。
2024/04/16 19:48
【入門】逆伝播①【数値計算】

誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。逆伝播を行う単純パーセプトロンの構成を確認。一連の合成関数について書き出し。合成関数を構成する各数式を書き出し。合成関数の微分こと連鎖律について説明。学習データを加味した場合の多変量関数の連鎖律について簡単に説明。
2024/04/15 21:40
MATLAB,Python,Scilab,Julia比較第4章その60【逆伝播⑪】

逆伝播の確認用プログラムのフローを記載。逆伝播の挙動を確認するため、重みの開始位置とバイアスは固定。ベクトル、行列演算をプログラム都合に合わせて表現しなおし。
2024/04/14 20:55
MATLAB,Python,Scilab,Julia比較第4章その59【逆伝播⑩】

入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。誤差関数は二乗和誤差関数であり、本来であればΣが含まれる。よって、連鎖律にもΣが含まれる形を取ると前回と同一の数式が得られる。
2024/04/13 22:50
MATLAB,Python,Scilab,Julia比較第4章その58【逆伝播⑨】

入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。上記の図示と数式を説明。
2024/04/12 23:02
MATLAB,Python,Scilab,Julia比較第4章その57【逆伝播⑧】

全体の位置づけ確認。各偏導関数を再掲。各偏導関数を連鎖律に則して結合。
2024/04/11 22:41
MATLAB,Python,Scilab,Julia比較第4章その56【逆伝播⑦】

バイアスのブロック図と連鎖律上の位置づけを確認。バイアスの偏導関数を確認。もとの式がシンプルな上、1次で係数もないので1になる。
2024/04/10 22:26
MATLAB,Python,Scilab,Julia比較第4章その55【逆伝播⑥】

入力層のブロック図と連鎖律上の位置づけを確認。入力層の偏導関数を確認。もとの式がシンプルなので偏導関数もシンプル。
2024/04/09 19:29
MATLAB,Python,Scilab,Julia比較第4章その54【逆伝播⑤】

活性化関数の微分について説明。活性関数のブロック図と連鎖律上の位置づけを確認。シグモイド関数の導関数を復習。シグモイド関数の偏導関数を確認。
2024/04/08 19:54
MATLAB,Python,Scilab,Julia比較第4章その53【逆伝播④】

連鎖律に於ける誤差関数の位置づけを確認。ブロック図的には一番後ろだが、連鎖律としては先頭。誤差関数の確認。誤差関数の偏導関数の確認。
2024/04/07 19:41
MATLAB,Python,Scilab,Julia比較第4章その52【逆伝播③】

合成関数の微分こと連鎖律について説明。学習データを加味した場合の多変量関数の連鎖律について簡単に説明。詳細は後日。
2024/04/06 19:52
MATLAB,Python,Scilab,Julia比較第4章その51【逆伝播②】

一連の合成関数について書き出し。合成関数を構成する各数式を書き出し。誤差関数、活性化関数、入力と重みの内積。
2024/04/05 22:23
MATLAB,Python,Scilab,Julia比較第4章その50【逆伝播①】

誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。様々な都合で、単純パーセプトロンに対する誤差逆伝播法を「逆伝播」と呼称することに。逆伝播を行う単純パーセプトロンの構成を確認。誤差関数は二乗和誤差関数を1/2にしたもの。 1/2により微分後の数式がシンプルになる。
2024/04/04 19:31
【入門】勾配降下法(Julia)【数値計算】

勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/04/03 19:25
【入門】勾配降下法(Scilab)【数値計算】

勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/04/02 20:18
【入門】勾配降下法(Python)【数値計算】

勾配降下法の実験をPythonで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/04/01 20:10
【入門】勾配降下法(MATLAB)【数値計算】

勾配降下法の実験をMATLABで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/03/31 19:23
MATLAB,Python,Scilab,Julia比較第4章その49【勾配降下法⑦】

勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/03/30 19:23
MATLAB,Python,Scilab,Julia比較第4章その48【勾配降下法⑥】

勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/03/29 19:25
MATLAB,Python,Scilab,Julia比較第4章その47【勾配降下法⑤】

勾配降下法の実験をPythonで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/03/28 23:30
MATLAB,Python,Scilab,Julia比較第4章その46【勾配降下法④】

勾配降下法の実験をMATLABで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
2024/03/27 19:37
【入門】勾配降下法【数値計算】

勾配降下法に概念レベルの説明。勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。勾配降下法プログラムのフローで分かりにくいところを説明。
2024/03/26 19:32
MATLAB,Python,Scilab,Julia比較第4章その45【勾配降下法③】

勾配降下法プログラムのフローで分かりにくいところを説明。入力初期値は学習のスタート地点。ハイパーパラメータは学習アルゴリズムの設定値。グラフへのプロットは履歴付きで。プログラムの振る舞いをアニメーションgifで確認。
2024/03/25 19:32
MATLAB,Python,Scilab,Julia比較第4章その44【勾配降下法②】

勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。三角関数と二次関数を合成したもので試す。プログラムのフローを記載。
2024/03/24 21:58
MATLAB,Python,Scilab,Julia比較第4章その43【勾配降下法①】

勾配降下法に概念レベルの説明。連鎖律含めた一連の流れを誤差逆伝播法と言う。ただし、単純パーセプトロンの段階では逆伝播という言葉にしておく。まずは勾配降下法のみの実験をやってみる。
2024/03/23 20:19

「ブログリーダー」を活用して、KEIさんをフォローしませんか？

ハンドル名: KEIさん

ブログタイトル: シミュレーションの世界に引きこもる部屋

フォロー

ユーザの記事画像

続きを見る

ユーザの新着記事

G検定対策究極カンペをつくろう#1(G検定は意味がない？)
究極カンペの作り方についての問い合わせが増えている。G検定の評判を確認し、ネガティブな意見を問題提起として捉える。勉強のステージを定義し、語彙力と因果関係の把握が重要であることを説明。
G検定対策究極カンペをつくろうバックナンバー
はじめに結構昔にG検定向けの動画で、「JDLAジェネラリスト検定(G検定)さっくり対策(究極カンペの作り方)カンペを見なくても問題が解ける自分の作り方。」というのを公開しているのだが、これに対しての問い合わせがちょくちょく来ている。というわ...
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成バックナンバー(立ち絵やら動画やらアイキャッチ画像やら)
動画作成関連のバックナンバー用ページ。立ち絵を作ったり、動画作ったり、アイキャッチ画像作ったりなどを掲載していく。
MATLAB,Python,Scilab,Julia比較第5章その106【フーリエ変換②】
フーリエ変換には角周波数を扱うものと周波数を扱うものがある。角周波数と周波数の間には角度と1回転という差があるのみ。よって、周波数に2πをかければ角周波数となる。
MATLAB,Python,Scilab,Julia比較第5章【バックナンバー】
MATLAB,Python,Scilab,Julia比較するシリーズの第4章。第4章では分類問題で最終的にはニューラルネットワークや最適化アルゴリズムの話だった。第5章はフーリエ解析学から高速フーリエの話がメインとなる。
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成#6(立ち絵配置編)
立ち絵の配置: PSDファイルをAviUtlに配置し、画面サイズやフレームレートを設定。のっぺらぼう化: 目と口を消して、アニメーション効果を追加。アニメーション効果: 目パチと口パクの設定を行い、リップシンクを調整。
MATLAB,Python,Scilab,Julia比較第5章その105【フーリエ変換①】
フーリエ変換を定義。フーリエの積分公式の一部を抜き出す。逆フーリエ変換を定義。フーリエの積分公式にフーリエ変換を代入するだけ。
【入門】フーリエの積分公式②【数値計算】
Δωで刻みにしたので、極限を利用して連続系へ。数式上は連続ではあるが、一般的な表現ではない。区分求積法とリーマン積分について。フーリエの積分公式を導出した。
【PSDファイル】AivisSpeech Anneliの立ち絵を作ってみた(アイコン画像をStable Diffusionで拡張その2)
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成バックナンバーはじめに以前、AivisSpeechのAnneliというキャラの立ち絵を作成した。さらにそこに加えて、AivisSpeechのアイコン画像を...
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成#5(立ち絵準備編)
PSDToolKitプラグインの導入の仕方を説明。PSDファイルを探してGIMPで内容を確認。GIMPで瞬き用、口パク用のレイヤー編集。
【入門】フーリエの積分公式①【数値計算】
フーリエに積分公式は複素フーリエ級数と複素フーリエ係数から導出する。周期2Lの波の数を示すnを周期2πに於ける波の数である角周波数ωに変換。角周波数ωの刻みであるΔωについて説明。Δωを定義することで、離散的な係数算出が連続的な角周波数算出に近づけていっている。
MATLAB,Python,Scilab,Julia比較第5章その104【フーリエの積分公式⑤】
区分求積法とリーマン積分について。離散と連続の分け目。フーリエの積分公式を導出した。演算したはずなのに変化しない。つまり変換、逆変換が成立することを示している。
MATLAB,Python,Scilab,Julia比較第5章その103【フーリエの積分公式④】
Δωで刻みにしたので、極限を利用して連続系へ。数式上は連続ではあるが、一般的な表現ではない。よって、一般的な表現に書き換える必要がある。
MATLAB,Python,Scilab,Julia比較第5章その102【フーリエの積分公式③】
角周波数ωの刻みであるΔωについて説明。Δωを定義することで、離散的な係数算出が連続的な角周波数算出に近づけていっている。
MATLAB,Python,Scilab,Julia比較第5章その101【フーリエの積分公式②】
周期2Lの波の数を示すnを周期2πに於ける波の数である角周波数ωに変換。ω=nπ/Lを使用して変換するだけ。これにより少し数式がシンプルになった。
【PSDファイル】AivisSpeech Anneliの立ち絵を作ってみた(アイコン画像をStable Diffusionで拡張)
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成バックナンバーはじめに以前、AivisSpeechのAnneliというキャラの立ち絵を作成した。ほぼ独自に作成したが、Anneliの画像自体はAivisS...
MATLAB,Python,Scilab,Julia比較第5章その100【フーリエの積分公式①】
フーリエに積分公式は複素フーリエ級数と複素フーリエ係数から導出する。変換を想定した式に変換。複素指数関数との積と積分、総和を経由すると元に関数に戻るというイメージが重要。
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成#4(AviUtlセットアップ編)
AviUtlのセットアップと拡張編集Pluginの導入を行った。mp4ファイルの入力と出力の方法を説明。アニメーションgifの対応方法を説明。
親子で発見！学びの楽しさ#2(分数、一次関数、微分)
分数は割り算の別表現として理解しやすく、逆数を掛けることで計算が簡単になる。これにより、小数の掛け算や割り算の理解が深まる。一次関数の数式をグラフにすることや、グラフから数式を導くことは、データのトレンド分析や物理現象の理解に役立つ。微分は関数の変化率を求める手法であり、数値微分を使って近似的に求めることができる。これにより、物理学や経済学など多くの分野で応用可能。
VOICEV(四国めたん,ずんだもん,春日部つむぎ),AivisSpeech(Anneli)関連ギャラリー
Youtube動画やブログ記事のアイキャッチ用に作成した、VOCEIVX(四国めたん、ずんだもん、春日部つむぎ)、AivisSpeech(Anneli)の画像たち。Stable Diffusionで生成＆少しペン入れ＆GIMPによる補正したものになります。

続きを見る

watch_later ユーザの過去記事

【入門】モーメンタム(Scilab)【数値計算】
最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
【入門】モーメンタム(Python)【数値計算】
最適化アルゴリズムモーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
【入門】モーメンタム(MATLAB)【数値計算】
最適化アルゴリズムモーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
MATLAB,Python,Scilab,Julia比較第4章その101【モーメンタム⑪】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。
MATLAB,Python,Scilab,Julia比較第4章その100【モーメンタム⑩】
最適化アルゴリズムモーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
MATLAB,Python,Scilab,Julia比較第4章その99【モーメンタム⑨】
最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
MATLAB,Python,Scilab,Julia比較第4章その99【モーメンタム⑨】
最適化アルゴリズムモーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
MATLAB,Python,Scilab,Julia比較第4章その98【モーメンタム⑧】
最適化アルゴリズムモーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
MATLAB,Python,Scilab,Julia比較第4章その97【モーメンタム⑦】
最適化アルゴリズムモーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
【入門】モーメンタム④【数値計算】
モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。
【入門】モーメンタム③【数値計算】
モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。モーメンタムの動作イメージについて確認。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。
【入門】モーメンタム②【数値計算】
勾配降下法の更新式を確認。勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
【入門】モーメンタム①【数値計算】
最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしていく。最初は復習を兼ねて勾配降下法についても確認する。
MATLAB,Python,Scilab,Julia比較第4章その96【モーメンタム⑥】
モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。
MATLAB,Python,Scilab,Julia比較第4章その95【モーメンタム⑤】
モーメンタムの動作イメージについて確認。動作イメージの表現は難しい。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。
MATLAB,Python,Scilab,Julia比較第4章その94【モーメンタム④】
モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。実際の指数移動平均とは異なっているので、その点は注意。
MATLAB,Python,Scilab,Julia比較第4章その93【モーメンタム③】
勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
MATLAB,Python,Scilab,Julia比較第4章その92【モーメンタム②】
今回改めてまじめに更新式を確認。勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。
MATLAB,Python,Scilab,Julia比較第4章その91【モーメンタム①】
最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしてい最初は復習を兼ねて勾配降下法についても確認する。
【入門】ユニット数増加(Julia)【数値計算】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。大きく2パターンの分類パターンがある。やや複雑な分類パターンが4ユニットにすることで出てきたもの。