最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説&実験をしていく。 最初は復習を兼ねて勾配降下法についても確認する。
シミュレーションで実物を扱わなくても仕事ができる環境を目指す。つまり家に引きこもって外に出なくてもOKな世界。
非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
MATLAB,Python,Scilab,Julia比較 第4章 その85【非線形分類の問題点②】
非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】
非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その83【誤差逆伝播法⑩】
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その82【誤差逆伝播法⑨】
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
MATLAB,Python,Scilab,Julia比較 第4章 その81【誤差逆伝播法⑧】
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その80【誤差逆伝播法⑦】
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。
GUGA 生成AIパスポート試験対策道場(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
GUGA 生成AIパスポート試験問題集(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
MATLAB,Python,Scilab,Julia比較 第4章 その79【誤差逆伝播法⑥】
連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。
MATLAB,Python,Scilab,Julia比較 第4章 その78【誤差逆伝播法⑤】
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。
MATLAB,Python,Scilab,Julia比較 第4章 その77【誤差逆伝播法④】
隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。
MATLAB,Python,Scilab,Julia比較 第4章 その76【誤差逆伝播法③】
出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。
MATLAB,Python,Scilab,Julia比較 第4章 その75【誤差逆伝播法②】
誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。
MATLAB,Python,Scilab,Julia比較 第4章 その74【誤差逆伝播法①】
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため、少しメンドウクサイ。 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。
JDLA Generative AI Test 対策問題集(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
JDLA Generative AI Testの問題集を設置。 現状は40問ほど放り込んでいる。問題は随時追加予定。(問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) 動画とか そのうち作ります。 学習書籍
単純パーセプトロンでは分類できないものがある。 決定境界直線を求めるというより決定領域を特定するというイメージになる。 非線形分類するにはパーセプトロンを複数使う。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
MATLAB,Python,Scilab,Julia比較 第4章 その73【非線形分類②】
非線形分類するにはパーセプトロンを複数使う。 つまり多層パーセプトロンにする。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
MATLAB,Python,Scilab,Julia比較 第4章 その72【非線形分類①】
単純パーセプトロンでは分類できないものがある。 XORなどの非線形分類を求められるものなどが代表的。 決定境界直線を求めるというより決定領域を特定するというイメージになる。
単純パーセプトロンの分類をJuliaで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(Scilab)【数値計算】
単純パーセプトロンの分類をScilabで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(Python)【数値計算】
単純パーセプトロンの分類をPythonで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(MATLAB)【数値計算】
単純パーセプトロンの分類をMATLABで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その71【単純パーセプトロンで分類⑦】
単純パーセプトロンの分類をJuliaで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その70【単純パーセプトロンで分類⑥】
単純パーセプトロンの分類をScilabで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その69【単純パーセプトロンで分類⑤】
単純パーセプトロンの分類をPythonで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
「ブログリーダー」を活用して、KEIさんをフォローしませんか?
最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説&実験をしていく。 最初は復習を兼ねて勾配降下法についても確認する。
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
モーメンタムを確認するプログラムの方針を確認。 以前の勾配降下法のプログラムをベースにする。 隠れ層のユニット数は4。 プログラムのフローを確認。 モーメンタム項とパラメータ更新が基本的な差分となる。
モーメンタムの動作イメージについて確認。 動作イメージの表現は難しい。 最初は大きく更新して、最適解が近いと小さく更新。 勾配降下法で言うところの学習率が可変と同義な動きになる。
モーメンタムの更新式について確認。 指数移動平均を利用して直近の値を重視する。 実際の指数移動平均とは異なっているので、その点は注意。
勾配降下法の動作イメージを確認。 学習率が大きい場合と小さい場合で挙動が変わる。 ちょうど良い学習率を人間の手で探す。 これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
今回改めてまじめに更新式を確認。 勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。
最適化アルゴリズムを取り扱う。 今回のネットワークだとさほど恩恵はないが知っていて損はない。 まずはモーメンタムから解説&実験をしてい 最初は復習を兼ねて勾配降下法についても確認する。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パタ やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターン やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたScilabコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたPythonコードで分類を実施。 大きく2パターンの分類パターンがある。 やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
正規方程式を使って多変量多項式回帰分析を行う。 多変量多項式回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多項式に±1 特定の多変量多項式と近い係数が求まればOK。
正規方程式による多項式回帰分析をJuliaで実施。 誤差はあるものの目的の係数の算出はできている。 コード自体はMATLABコードのほぼコピペ。 等差数列、plotのオプション周りの合わせこみはした。
正規方程式による多項式回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 コード自体はMATLABコードのコピペで行けてしまった。 plot部分の微調整が無かったんで。
正規方程式による多項式回帰分析をPython(NumPy)で実施。 誤差はあるものの目的の係数の算出はできている。
正規方程式による多項式回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。
正規方程式による多項式回帰分析をJuliaで実施。 誤差はあるものの目的の係数の算出はできている。 コード自体はMATLABコードのほぼ 等差数列、plotのオプション周りの合わせこみはした。
正規方程式による多項式回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 コード自体はMATLABコード plot部分の微調整が無かったんで。
正規方程式による多項式回帰分析をPython(NumPy)で実施。 誤差はあるものの目的の係数の算出はできている。
正規方程式による多項式回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。
正規方程式を使って多項式回帰分析を行う。 多項式回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。 特定の多項式と近い係数が求まればOK。
正規方程式を使って多項式回帰分析を行う。 多項式回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。 特定の多項式と近い係数が求まればOK。
正規方程式による重回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3d。 3D散布図はVersionによっては表現できなかったら関数名が違ったりするので注意が必要。
正規方程式による重回帰分析をPython(NumPy)で実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3D、平面関数はplot_wireframeを使用して表現する。 projection='3d'のオプションを忘れずに。
正規方程式による重回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3、メッシュ状の平面関数はmeshを使用して表現する。
正規方程式による重回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 3DグラフはPython寄りの仕様。 PyPlotがmatplotlibのラッパーであるため。
正規方程式による重回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3d。 3D散布図はVersionによっては表現できなかったら関数名が違ったりするので注意が必要。
正規方程式による重回帰分析をPython(NumPy)で実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3D、平面関数はplot_wireframeを使用して表現する。 projection='3d'のオプションを忘れずに。
正規方程式による重回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3、メッシュ状の平面関数はmeshを使用して表現する。
正規方程式を使って重回帰分析を行う。 重回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。 特定の多項式と近い係数が求まればOK。