はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
シミュレーションで実物を扱わなくても仕事ができる環境を目指す。つまり家に引きこもって外に出なくてもOKな世界。
「ブログリーダー」を活用して、KEIさんをフォローしませんか?
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
多層パーセプトロンによる分類をScilabで実施。 一応ちゃんと分類できた。 等高線による分類表記がうまく行かなかったため、境界線をplotしている。
多層パーセプトロンによる分類をPythonで実施。 一応ちゃんと分類できた。
多層パーセプトロンによる分類をMATLABで実施。 一応ちゃんと分類できた。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
GUGA 生成AIパスポート試験の問題集を設置。 現状は121問ほど放り込んでいる。問題のカテゴリは現状以下の範囲 第4章 情報リテラシー・基本理念とAI社会原則 第5章 テキスト生成AIのプロンプト制作と実例 問題は随時追加予定。(すべて
連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。
連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。
隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。
出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。
誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。
多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため、少しメンドウクサイ。 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。
JDLA Generative AI Testの問題集を設置。 現状は40問ほど放り込んでいる。問題は随時追加予定。(問題を解いてこのページに飛んできた場合、解答はこのページの下部に表示されてます。) 動画とか そのうち作ります。 学習書籍
単純パーセプトロンでは分類できないものがある。 決定境界直線を求めるというより決定領域を特定するというイメージになる。 非線形分類するにはパーセプトロンを複数使う。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
非線形分類するにはパーセプトロンを複数使う。 つまり多層パーセプトロンにする。 単純パーセプトロン、多層パーセプトロンの構造と数式を説明。
単純パーセプトロンでは分類できないものがある。 XORなどの非線形分類を求められるものなどが代表的。 決定境界直線を求めるというより決定領域を特定するというイメージになる。
単純パーセプトロンの分類をJuliaで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
単純パーセプトロンの分類をScilabで実施。 想定通り分類可能。 おおよそ200エポックあれば分類可能。
正規方程式による単回帰分析をScilabで実施。 MATLABの演算と同じ結果が得られた。 計算部分は全く一緒。 グラフ表示部の微調整の仕方が違う。
正規方程式による単回帰分析をPython(NumPy)で実施。 MATLABと同じ結果が得られた。 ベクトル、行列の内積の演算子は「@」。 「*」にしてしまうとアダマール積になってしまうので注意。
正規方程式による単回帰分析をMATLABで実施。 以前の最小二乗法と同じ結果が得られた。 数式で定義した通りの演算をするのみ。
正規方程式を使って単回帰分析を行う。 単回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 上記を元に各ツール、各言語で演算を実施すればOK。
正規方程式を使って単回帰分析を行う。 単回帰分析の二乗和誤差関数の定義。 正規方程式の各成分の定義。 上記を元に各ツール、各言語で演算を実施すればOK。
いままでの知識の総動員すべく数式列挙。 二乗和誤差の偏導関数を元に最小化問題へ。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。
二乗和誤差の偏導関数を元に最小化問題へ。 上記式を元に極小値を求める式へ。 これをxを求める式に変形したものが正規方程式。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。
グラム行列が対称行列であることを利用して、二次形式であることを保証してしまう。 二次形式を保証した上で、それの偏導関数を利用する。
一般化した二乗和誤差の数式の変形を実施。 上記の途中で行列の積に対 (Ax)^T=x^T A^T。 計算すると分かるが普通に等しい結果になる。
二次形式の行列表現。 二次形式の微分。 グラム行列。 二乗和誤差の一般化。
二乗和誤差に関しては、以前の最小二乗法の誤差関数で扱ってはいる。 「正しいを思われる線との誤差を2乗にしたもの」という意味自体は変わらない。 二乗和誤差を多変量で表現。 ベクトル、行列で表現する。 一般化した後に具体化して確認。
多変量について説明。 いっぱい変数あるってこと。 二乗和誤差を多変量で表現。 ベクトル、行列で表現するってこと。 一般化した後に具体化して確認。
二乗和誤差に関しては、以前の最小二乗法の誤差関数で扱ってはいる。 「正しいを思われる線との誤差を2乗にしたもの」という意味自体は変わらない。 しかし、今回はこれを多変量として一般化しようという話になる。
グラム行列の定義について説明。 グラム行列の性質について説明。 対称行列になる。 グラム行列が対称行列になることの証明。
グラム行列が対称行列になることを証明。 m×nの行列を行ベクトルに分解してからグラム行列の演算をさせる。 演算結果の対称部をピックアップして等しいことを証明する。
グラム行列の説明。 グラム行列は対称行列になる。 試しにグラム行列の演算をして対象行列になるか確認。
二次形式の多項式としての偏導関数、行列形式による偏導関数を元にJuliaで算出及びプロット。 ともに同一の算出結果とプロットが得られた。 コードの差は演算部分はmeshgridを自作、グラフ表示がPyPlot経由Matplotlibの仕様になってる程度。
二次形式の多項式としての偏導関数、行列形式による偏導関数を元にScilabで算出及びプロット。 ともに同一の算出結果とプロットが得られた。 コードの差はreshapeがmatrixになった程度。
二次形式の多項式としての偏導関数、行列形式による偏導関数を元にPython(NumPy)で算出及びプロット。 ともに同一の算出結果とプロットが得られた。
二次形式の多項式としての偏導関数、行列形式による偏導関数を元にMATLABで算出及びプロット。 ともに同一の算出結果とプロットが得られた。