多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。
シミュレーションで実物を扱わなくても仕事ができる環境を目指す。つまり家に引きこもって外に出なくてもOKな世界。
MATLAB,Python,Scilab,Julia比較 第4章 その87【ユニット数増加②】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
MATLAB,Python,Scilab,Julia比較 第4章 その86【ユニット数増加①】
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
MATLAB,Python,Scilab,Julia比較 第4章 その85【非線形分類の問題点②】
非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】
非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その83【誤差逆伝播法⑩】
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その82【誤差逆伝播法⑨】
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
MATLAB,Python,Scilab,Julia比較 第4章 その81【誤差逆伝播法⑧】
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
MATLAB,Python,Scilab,Julia比較 第4章 その80【誤差逆伝播法⑦】
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。
GUGA 生成AIパスポート試験対策道場(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
GUGA 生成AIパスポート試験問題集(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
MATLAB,Python,Scilab,Julia比較 第4章 その79【誤差逆伝播法⑥】
連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。
MATLAB,Python,Scilab,Julia比較 第4章 その78【誤差逆伝播法⑤】
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。
MATLAB,Python,Scilab,Julia比較 第4章 その77【誤差逆伝播法④】
隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。
MATLAB,Python,Scilab,Julia比較 第4章 その76【誤差逆伝播法③】
出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。
MATLAB,Python,Scilab,Julia比較 第4章 その75【誤差逆伝播法②】
誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。
MATLAB,Python,Scilab,Julia比較 第4章 その74【誤差逆伝播法①】
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため、少しメンドウクサイ。 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。
JDLA Generative AI Test 対策問題集(ひたすら過去問ふぅ問題集で鍛錬する所 一問一答 仮)
JDLA Generative AI Testの問題集を設置。 現状は40問ほど放り込んでいる。問題は随時追加予定。(問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) 動画とか そのうち作ります。 学習書籍
単純パーセプトロンでは分類できないものがある。 決定境界直線を求めるというより決定領域を特定するというイメージになる。 非線形分類するにはパーセプトロンを複数使う。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
MATLAB,Python,Scilab,Julia比較 第4章 その73【非線形分類②】
非線形分類するにはパーセプトロンを複数使う。 つまり多層パーセプトロンにする。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
MATLAB,Python,Scilab,Julia比較 第4章 その72【非線形分類①】
単純パーセプトロンでは分類できないものがある。 XORなどの非線形分類を求められるものなどが代表的。 決定境界直線を求めるというより決定領域を特定するというイメージになる。
単純パーセプトロンの分類をJuliaで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(Scilab)【数値計算】
単純パーセプトロンの分類をScilabで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(Python)【数値計算】
単純パーセプトロンの分類をPythonで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
【入門】単純パーセプトロンで分類(MATLAB)【数値計算】
単純パーセプトロンの分類をMATLABで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その71【単純パーセプトロンで分類⑦】
単純パーセプトロンの分類をJuliaで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その70【単純パーセプトロンで分類⑥】
単純パーセプトロンの分類をScilabで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その69【単純パーセプトロンで分類⑤】
単純パーセプトロンの分類をPythonで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
MATLAB,Python,Scilab,Julia比較 第4章 その68【単純パーセプトロンで分類④】
単純パーセプトロンの分類をMATLABで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
単純パーセプトロンの構造について復習。 逆伝播の復習。 重みとバイアスの連鎖律の最適化。 単純パーセプトロンで分類のプログラムのフローを確認。 学習が進むと決定境界線がどのように動くか確認。
MATLAB,Python,Scilab,Julia比較 第4章 その67【単純パーセプトロンで分類③】
単純パーセプトロンで分類のプログラムのフローを確認。 逆伝播の実験のときと流れは一緒。 学習が進むと決定境界線がどのように動くか確認。
MATLAB,Python,Scilab,Julia比較 第4章 その66【単純パーセプトロンで分類②】
重みとバイアスの連鎖律の最適化。 共通部分があるので、そこを切り出し。 プログラムの場合は、こういう共通部分を変数に格納するなどの最適化が可能。
MATLAB,Python,Scilab,Julia比較 第4章 その65【単純パーセプトロンで分類①】
単純パーセプトロンの構造について復習。 今回扱うのは活性化関数をシグモイド関数に差し替えたもの。 逆伝播の復習。 重みとバイアスの逆伝播は途中まで一緒。 よって表現の最適化が可能。
MATLAB、Python、Scilab、Julia比較ページはこちら はじめに の、 MATLAB,Python,Scilab,Julia比較 第4章 その64【逆伝播⑮】 を書き直したもの。 単純パーセプトロンに対する逆伝播を行う。まず
逆伝播を行った際の重みの動き方を確認するプログラムをScilabで作成。 おおよそ狙ったところに収束。
逆伝播を行った際の重みの動き方を確認するプログラムをPythonで作成。 おおよそ狙ったところに収束。
逆伝播を行った際の重みの動き方を確認するプログラムをMATLABで作成。 おおよそ狙ったところに収束。
MATLAB,Python,Scilab,Julia比較 第4章 その64【逆伝播⑮】
逆伝播を行った際の重みの動き方を確認するプログラムをJuiaで作成。 おおよそ狙ったところに収束。
MATLAB,Python,Scilab,Julia比較 第4章 その63【逆伝播⑭】
逆伝播を行った際の重みの動き方を確認するプログラムをScilabで作成。 おおよそ狙ったところに収束。
MATLAB,Python,Scilab,Julia比較 第4章 その62【逆伝播⑬】
逆伝播を行った際の重みの動き方を確認するプログラムをPythonで作成。 おおよそ狙ったところに収束。
MATLAB,Python,Scilab,Julia比較 第4章 その61【逆伝播⑫】
逆伝播を行った際の重みの動き方を確認するプログラムをMATLABで作成。 おおよそ狙ったところに収束。
全体の位置づけと各偏導関数を確認。 入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。 入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。 逆伝播の確認用プログラムのフローを記載。
連鎖律に於ける誤差関数の位置づけと偏導関数を確認。 活性関数(シグモイド関数)のブロック図と連鎖律上の位置づけと偏導関数を確認。 入力層のブロック図と連鎖律上の位置づけと偏導関数を確認。 バイアスのブロック図と連鎖律上の位置づけと偏導関数を確認。
誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。 逆伝播を行う単純パーセプトロンの構成を確認。 一連の合成関数について書き出し。 合成関数を構成する各数式を書き出し。 合成関数の微分こと連鎖律について説明。 学習データを加味した場合の多変量関数の連鎖律について簡単に説明。
MATLAB,Python,Scilab,Julia比較 第4章 その60【逆伝播⑪】
逆伝播の確認用プログラムのフローを記載。 逆伝播の挙動を確認するため、重みの開始位置とバイアスは固定。 ベクトル、行列演算をプログラム都合に合わせて表現しなおし。
MATLAB,Python,Scilab,Julia比較 第4章 その59【逆伝播⑩】
入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。 誤差関数は二乗和誤差関数であり、本来であればΣが含まれる。 よって、連鎖律にもΣが含まれる形を取ると前回と同一の数式が得られる。
MATLAB,Python,Scilab,Julia比較 第4章 その58【逆伝播⑨】
入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。 上記の図示と数式を説明。
MATLAB,Python,Scilab,Julia比較 第4章 その57【逆伝播⑧】
全体の位置づけ確認。 各偏導関数を再掲。 各偏導関数を連鎖律に則して結合。
MATLAB,Python,Scilab,Julia比較 第4章 その56【逆伝播⑦】
バイアスのブロック図と連鎖律上の位置づけを確認。 バイアスの偏導関数を確認。 もとの式がシンプルな上、1次で係数もないので1になる。
MATLAB,Python,Scilab,Julia比較 第4章 その55【逆伝播⑥】
入力層のブロック図と連鎖律上の位置づけを確認。 入力層の偏導関数を確認。 もとの式がシンプルなので偏導関数もシンプル。
MATLAB,Python,Scilab,Julia比較 第4章 その54【逆伝播⑤】
活性化関数の微分について説明。 活性関数のブロック図と連鎖律上の位置づけを確認。 シグモイド関数の導関数を復習。 シグモイド関数の偏導関数を確認。
MATLAB,Python,Scilab,Julia比較 第4章 その53【逆伝播④】
連鎖律に於ける誤差関数の位置づけを確認。 ブロック図的には一番後ろだが、連鎖律としては先頭。 誤差関数の確認。 誤差関数の偏導関数の確認。
MATLAB,Python,Scilab,Julia比較 第4章 その52【逆伝播③】
合成関数の微分こと連鎖律について説明。 学習データを加味した場合の多変量関数の連鎖律について簡単に説明。 詳細は後日。
MATLAB,Python,Scilab,Julia比較 第4章 その51【逆伝播②】
一連の合成関数について書き出し。 合成関数を構成する各数式を書き出し。 誤差関数、活性化関数、入力と重みの内積。
MATLAB,Python,Scilab,Julia比較 第4章 その50【逆伝播①】
誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。 様々な都合で、単純パーセプトロンに対する誤差逆伝播法を「逆伝播」と呼称することに。 逆伝播を行う単純パーセプトロンの構成を確認。 誤差関数は二乗和誤差関数を1/2にしたもの。 1/2により微分後の数式がシンプルになる。
勾配降下法の実験をScilabで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
勾配降下法の実験をScilabで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
勾配降下法の実験をPythonで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
勾配降下法の実験をMATLABで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
MATLAB,Python,Scilab,Julia比較 第4章 その49【勾配降下法⑦】
勾配降下法の実験をScilabで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
MATLAB,Python,Scilab,Julia比較 第4章 その48【勾配降下法⑥】
勾配降下法の実験をScilabで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
MATLAB,Python,Scilab,Julia比較 第4章 その47【勾配降下法⑤】
勾配降下法の実験をPythonで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】
勾配降下法の実験をMATLABで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
勾配降下法に概念レベルの説明。 勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。 勾配降下法プログラムのフローで分かりにくいところを説明。
MATLAB,Python,Scilab,Julia比較 第4章 その45【勾配降下法③】
勾配降下法プログラムのフローで分かりにくいところを説明。 入力初期値は学習のスタート地点。 ハイパーパラメータは学習アルゴリズムの設定値。 グラフへのプロットは履歴付きで。 プログラムの振る舞いをアニメーションgifで確認。
MATLAB,Python,Scilab,Julia比較 第4章 その44【勾配降下法②】
勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。 三角関数と二次関数を合成したもので試す。 プログラムのフローを記載。
MATLAB,Python,Scilab,Julia比較 第4章 その43【勾配降下法①】
勾配降下法に概念レベルの説明。 連鎖律含めた一連の流れを誤差逆伝播法と言う。 ただし、単純パーセプトロンの段階では逆伝播という言葉にしておく。 まずは勾配降下法のみの実験をやってみる。
多変数関数の連鎖律について説明。 ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。 ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。
多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。 合成関数について説明。 合計関数の微分(連鎖律)について説明。 合成関数の微分(連鎖律)の証明を実施。
MATLAB,Python,Scilab,Julia比較 第4章 その42【多変量関数の連鎖律⑥】
ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。 イメージ的に1層増える感じになる。 これはバッチ学習、ミニバッチ学習時の起きる現象。 と言っても、微分すると重みが消えるので足し算に化ける。
MATLAB,Python,Scilab,Julia比較 第4章 その41【多変量関数の連鎖律⑤】
ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。 入力から見た際の関数の伝達ルートが複数になる。 変化させたいのは入力ではなく重み。
MATLAB,Python,Scilab,Julia比較 第4章 その40【多変量関数の連鎖律④】
多変数関数の連鎖律について説明。 数が増えるだけで普通の連鎖律と変わらない。 図示&数式があると分かり易い。
MATLAB,Python,Scilab,Julia比較 第4章 その39【多変量関数の連鎖律③】
合成関数の微分(連鎖律)の証明を実施。 途中、いろいろトリッキーなことをする。 結果としては、中間変数を微分、中間変数での微分の組み合わせで表現しなおせるというもの。
MATLAB,Python,Scilab,Julia比較 第4章 その38【多変量関数の連鎖律②】
合計関数の微分(連鎖律)について説明。 まずは1入力1出力な合成関数。 合計関数の微分をするための公式はあるが、一応証明もしてみる予定。
MATLAB,Python,Scilab,Julia比較 第4章 その37【多変量関数の連鎖律①】
多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。 合成関数につい説明。 単純パーセプトロンも入力層の内積、活性化関数、誤差関数の組み合わせが合成関数と言える。
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をJuliaで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をScilabで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をPythonで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をMATLABで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
MATLAB,Python,Scilab,Julia比較 第4章 その36【連鎖律の前準備⑩】
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をJuliaで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
MATLAB,Python,Scilab,Julia比較 第4章 その35【連鎖律の前準備⑨】
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をScilabで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
MATLAB,Python,Scilab,Julia比較 第4章 その34【連鎖律の前準備⑧】
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をPythonで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
MATLAB,Python,Scilab,Julia比較 第4章 その33【連鎖律の前準備⑦】
シグモイド関数、シグモイド関数の導関数、シグモイド関数のオイラー法での微分をMATLABで算出。 グラフで比較し、導出した導関数は正しいと言える結果となった。
商の微分方式の話。 逆数の微分公式と積の微分公式の合わせ技で導出。 いままでの公式達を再掲。 商の微分公式を使ってシグモイド関数の導関数を求めた。 シグモイド関数、シグモイド関数の導関数の再掲と、シグモイド関数のオイラー法による微分の数式を確認する予定。
最適化アルゴリズムを使用するには連鎖律が必要。 連鎖律を把握するための知識を列挙。 まずは逆数の微分公式。 積の微分公式を導出。
MATLAB,Python,Scilab,Julia比較 第4章 その32【連鎖律の前準備⑥】
シグモイド関数、シグモイド関数の導関数の再掲と、シグモイド関数のオイラー法による微分の数式を確認。 上記を実現するプログラムを作成して、似た波形になればOKと見なす。 シグモイド関数の導関数は有名なので間違っていることは無いはず。
世の中にAI実装検定A級の問題集が存在しないようなので、サクッと作ってみた。 とりあえず63問ほど放り込んでる。 (問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) AI実装検定A級のまとめ記事はこちら 解
世の中にAI実装検定A級の問題集が存在しないようなので、サクッと作ってみた。 とりあえず63問ほど放り込んでる。 (問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) AI実装検定A級のまとめ記事はこちら 解
AI実装検定A級に合格しました。 合格率、テキスト、勉強時間、試験日について解説。 なぜか問題集も作った。 公式テキスト範囲外もあらかじめ認識しておけば怖く無い。
MATLAB,Python,Scilab,Julia比較 第4章 その31【連鎖律の前準備⑤】
いままでの公式達を再掲。 商の微分公式を使ってシグモイド関数の導関数を求めた。 本当に導関数になっているか、オイラー法で求めたシグモイド関数の微分のプロットと比較してみる。
MATLAB,Python,Scilab,Julia比較 第4章 その30【連鎖律の前準備④】
商の微分方式の話。 逆数の微分公式と積の微分公式の合わせ技で導出。 商の微分方式はシグモイド関数の導関数導出で生きてくる。
MATLAB,Python,Scilab,Julia比較 第4章 その29【連鎖律の前準備③】
積の微分公式を導出。 少しトリッキーなことをする。 f(x)の極限と、g(x)の極限に分けられるような細工。
「ブログリーダー」を活用して、KEIさんをフォローしませんか?
多層パーセプトロンの隠れ層のユニット数を2から4に変えたMATLABコードで分類を実施。 大きく2パターンの分類パターンがある やや複雑な分類パターンが4ユニットにすることで出てきたもの。
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
多層パーセプトロンの隠れ層のユニット数を増やす。 表現力が上がるはず。 局所最適解にハマらないというより大域最適解に近い局所最適解が増えるというイメージ。 プログラム上の修正点確認。 ベクトル、行列演算ができるため修正範囲は極小。
非線形分類をしたが実は問題が発生している。 非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
非線形分類が失敗する原因を特定するため決定境界線と誤差関数の推移をモニタ。 案の定、局所最適解にハマってる。 つまりエポック数を増やしても対策にはならない。 隠れ層のユニット数を増やす、最適化アルゴリズムを使用するのが対策案。
非線形分類をしたが実は問題が発生している。 20%くらいの確率で分類ができない。 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をJuliaで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。
正規方程式による重回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3、メッシュ状の平面関数はmeshを使用して表現する。
正規方程式による重回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 3DグラフはPython寄りの仕様。 PyPlotがmatplotlibのラッパーであるため。
正規方程式による重回帰分析をScilabで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3d。 3D散布図はVersionによっては表現できなかったら関数名が違ったりするので注意が必要。
正規方程式による重回帰分析をPython(NumPy)で実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3D、平面関数はplot_wireframeを使用して表現する。 projection='3d'のオプションを忘れずに。
正規方程式による重回帰分析をMATLABで実施。 誤差はあるものの目的の係数の算出はできている。 3Dグラフの散布図はscatter3、メッシュ状の平面関数はmeshを使用して表現する。
正規方程式を使って重回帰分析を行う。 重回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。 特定の多項式と近い係数が求まればOK。
正規方程式を使って重回帰分析を行う。 重回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 サンプリングデータは特定の多 特定の多項式と近い係数が求まればOK。
正規方程式による単回帰分析をJuliaで実施。 MATLABと同じ結果が得られた。 演算部分はMTALABと同一。 ベクトル化演算子であるdot演算子を利用する局面はある。
正規方程式による単回帰分析をScilabで実施。 MATLABの演算と同じ結果が得られた。 計算部分は全く一緒。 グラフ表示部の微調整の仕方が違う。
正規方程式による単回帰分析をPython(NumPy)で実施。 MATLABと同じ結果が得られた。 ベクトル、行列の内積は「@」。 「*」にしてしまうとアダマール積になってしまうので注意。
正規方程式による単回帰分析をMATLABで実施。 以前の最小二乗法と同じ結果が得られた。 数式で定義した通りの演算をするのみ。
正規方程式による単回帰分析をJuliaで実施。 MATLABと同じ結果が得られた。 演算部分はMTALABと同一。 ベクトル化演算子であるdot演算子を利用する局面はある。
正規方程式による単回帰分析をScilabで実施。 MATLABの演算と同じ結果が得られた。 計算部分は全く一緒。 グラフ表示部の微調整の仕方が違う。
正規方程式による単回帰分析をPython(NumPy)で実施。 MATLABと同じ結果が得られた。 ベクトル、行列の内積の演算子は「@」。 「*」にしてしまうとアダマール積になってしまうので注意。
正規方程式による単回帰分析をMATLABで実施。 以前の最小二乗法と同じ結果が得られた。 数式で定義した通りの演算をするのみ。
正規方程式を使って単回帰分析を行う。 単回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 上記を元に各ツール、各言語で演算を実施すればOK。
正規方程式を使って単回帰分析を行う。 単回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 上記を元に各ツール、各言語で演算を実施すればOK。
いままでの知識の総動員すべく数式列挙。 二乗和誤差の偏導関数を元に最小化問題へ。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。
二乗和誤差の偏導関数を元に最小化問題へ。 上記式を元に極小値を求める式へ。 これをxを求める式に変形したものが正規方程式。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。
グラム行列が対称行列であることを利用して、二次形式であることを保証してしまう。 二次形式を保証した上で、それの偏導関数を利用する。