筆者の立ち位置と本稿の目的筆者は自動車業界でエンジニアとして働いており、日々の業務ではセンサーデータや物理モデルの解析に携わっている。特に、多項式回帰やフーリエ変換を用いた関数近似や信号処理は、実務で頻繁に活用している技術である。一方で、関...
シミュレーションで実物を扱わなくても仕事ができる環境を目指す。つまり家に引きこもって外に出なくてもOKな世界。
MATLAB,Python,Scilab,Julia比較 第4章 その30【連鎖律の前準備④】
商の微分方式の話。 逆数の微分公式と積の微分公式の合わせ技で導出。 商の微分方式はシグモイド関数の導関数導出で生きてくる。
MATLAB,Python,Scilab,Julia比較 第4章 その29【連鎖律の前準備③】
積の微分公式を導出。 少しトリッキーなことをする。 f(x)の極限と、g(x)の極限に分けられるような細工。
MATLAB,Python,Scilab,Julia比較 第4章 その28【連鎖律の前準備②】
連鎖律を把握するための知識を列挙。 恐らく数式ラッシュになる。 まずは逆数の微分公式。 途中、式を分解してそれぞれの導関数を求めてから代入で導出できる。
MATLAB,Python,Scilab,Julia比較 第4章 その27【連鎖律の前準備①】
総当たり法では非効率なので最適化アルゴリズムを使用する。 最適化アルゴリズムを使用するには連鎖律が必要。 連鎖律を利用するには損失、活性化関数、各層の入力の導関数を求める必要がある。
【入門】シグモイドによる決定境界安定化(Julia)【数値計算】
活性化関数をシグモイド関数にした形式ニューロンをJuliaで実現。 結果はカスタムヘヴィサイドの時と一緒。
【入門】シグモイドによる決定境界安定化(Scilab)【数値計算】
活性化関数をシグモイド関数にした形式ニューロンをScilabで実現。 結果はカスタムヘヴィサイドの時と一緒。
【入門】シグモイドによる決定境界安定化(Python)【数値計算】
活性化関数をシグモイド関数にした形式ニューロンをPython(NumPy)で実現。 結果はカスタムヘヴィサイドの時と一緒。
【入門】シグモイドによる決定境界安定化(MATLAB)【数値計算】
活性化関数をシグモイド関数にした形式ニューロンをMATLABで実現。 結果はカスタムヘヴィサイドの時と一緒。
MATLAB,Python,Scilab,Julia比較 第4章 その26【シグモイドによる決定境界安定化⑥】
活性化関数をシグモイド関数にした形式ニューロンをJuliaで実現。 結果はカスタムヘヴィサイドの時と一緒。
MATLAB,Python,Scilab,Julia比較 第4章 その25【シグモイドによる決定境界安定化⑤】
活性化関数をシグモイド関数にした形式ニューロンをScilabで実現。 結果はカスタムヘヴィサイドの時と一緒。
MATLAB,Python,Scilab,Julia比較 第4章 その24【シグモイドによる決定境界安定化④】
活性化関数をシグモイド関数にした形式ニューロンをPython(NumPy)で実現。 結果はカスタムヘヴィサイドの時と一緒。
MATLAB,Python,Scilab,Julia比較 第4章 その23【シグモイドによる決定境界安定化③】
活性化関数をシグモイド関数にした形式ニューロンをMATLABで実現。 結果はカスタムヘヴィサイドの時と一緒。
決定境界直線の一般的な安定化方法がある。 シグモイド関数を使用する方法。 シグモイド関数の定義について説明。 カスタムヘヴィサイドとシグモイドの比較。 総当たり法では効能の差は出ないが、誤差逆伝播法を使い始めるとシグモイドじゃないと都合が悪い。
MATLAB,Python,Scilab,Julia比較 第4章 その22【シグモイドによる決定境界安定化②】
シグモイド関数の定義について説明。 特に理屈はなく、そういうものが存在するって程度。 カスタムヘヴィサイドとシグモイドの比較。 総当たり法では効能の差は出ないが、誤差逆伝播法を使い始めるとシグモイドじゃないと都合が悪い。
MATLAB,Python,Scilab,Julia比較 第4章 その21【シグモイドによる決定境界安定化①】
決定境界直線の一般的な安定化方法がある。 シグモイド関数を使用する方法。 ヘヴィサイド関数のように0,1を表現することを目的とした関数だが、シグモイド関数は全域で勾配がある。
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをJuliaで作成。 例に漏れずMATLABコードのコピペがベース。
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをScilabで作成。 おおよそMATLABと同じコード。 毎度おなじみのグラフ表示部分に差が出る。
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをPython(NumPy)で作成。 おおよそMATLABと同じ結果に。 毎度おなじみの表示上の誤差は出る。
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをMATLABで作成。 狙い通りの位置に決定境界直線が移動。 コードはヘヴィサイド関数をカスタムヘヴィサイド関数に変えただけ。
MATLAB,Python,Scilab,Julia比較 第4章 その20【決定境界直線の安定化⑦】
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをJuliaで作成。 例に漏れずMATLABコードのコピペがベース。
MATLAB,Python,Scilab,Julia比較 第4章 その19【決定境界直線の安定化⑥】
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをScilabで作成。 おおよそMATLABと同じコード。 毎度おなじみのグラフ表示部分に差が出る。
MATLAB,Python,Scilab,Julia比較 第4章 その18【決定境界直線の安定化⑤】
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをPython(NumPy)で作成。 おおよそMATLABと同じ結果に。 毎度おなじみの表示上の誤差は出る。
MATLAB,Python,Scilab,Julia比較 第4章 その17【決定境界直線の安定化④】
形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをMATLABで作成。 狙い通りの位置に決定境界直線が移動。 コードはヘヴィサイド関数をカスタムヘヴィサイド関数に変えただけ。
形式ニューロンのプログラムでは決定境界直線がギリギリのラインに来ていたで、どうあるべきか。について説明。 決定境界直線をいい感じのところに持っていくにはヘヴィサイド関数を差し替える必要がある。 ヘヴィサイド関数の原点近辺に傾斜を付けたカスタムヘヴィサイド関数(造語)が良さげ。
MATLAB,Python,Scilab,Julia比較 第4章 その16【決定境界直線の安定化③】
決定境界直線をいい感じのところに持っていくにはヘヴィサイド関数を差し替える必要がある。 ヘヴィサイド関数の原点近辺に傾斜を付けたカスタムヘヴィサイド関数(造語)が良さげ。
MATLAB,Python,Scilab,Julia比較 第4章 その15【決定境界直線の安定化②】
決定境界直線がギリギリなる理由。 ヘヴィサイド関数の性質に原因がある。 ヘヴィサイド関数の性質は入力0を境に出力0,1が切り替わるのみで勾配が無い。 これにより程度の表現ができず、境界直線も適正位置が探せない。
MATLAB,Python,Scilab,Julia比較 第4章 その14【決定境界直線の安定化①】
形式ニューロンのプログラムでは決定境界直線がギリギリのラインに来ていた。 上記を解消するため、どうあるべきか。について説明。 この後に、なぜこうなったか、どうすればかいしょうできるかの話が続く予定。
形式ニューロンをJuliaで実現。 ANDの真理値表と同じ結果が得らえれた。 コードレベルでMATLABと近似。
形式ニューロンをScilabで実現。 ANDの真理値表と同じ結果が得らえれた。 そして、決定境界線はギリギリな感じはMATLABのときと一緒。
「ブログリーダー」を活用して、KEIさんをフォローしませんか？
筆者の立ち位置と本稿の目的筆者は自動車業界でエンジニアとして働いており、日々の業務ではセンサーデータや物理モデルの解析に携わっている。特に、多項式回帰やフーリエ変換を用いた関数近似や信号処理は、実務で頻繁に活用している技術である。一方で、関...
ソフトウェア設計における因果関係の明確化。条件分岐や状態遷移の数理的な記述。並列処理やバッチ処理の自然な導入。AIモデルとの構造的な共通性の理解。
exoファイルを使えば、立ち絵の設定をテンプレ化して何度でも使い回せる。キャラごと・表情ごとのexoパターンを作っておけば、配置も口パクも一瞬。拡張編集にドラッグ＆ドロップするだけで、作業時間が爆速短縮。
G検定まとめ記事はこちらはじめに結構昔にG検定向けの動画で、「JDLAジェネラリスト検定(G検定)さっくり対策(究極カンペの作り方)カンペを見なくても問題が解ける自分の作り方。」というのを公開しているのだが、これに対しての問い合わせがちょく...
動画作成関連のバックナンバー用ページ。立ち絵を作ったり、動画作ったり、アイキャッチ画像作ったりなどを掲載していく。
画像認識の全体像を因果関係図で整理し、AlexNetを起点に各モデルの進化をたどる。一般物体認識から物体検出・セグメンテーション・姿勢推定まで、各カテゴリの代表モデルと技術を解説。モデル同士の構造的なつながりや技術的背景を踏まえ、因果関係をもとに体系的に理解を深めていく。
究極カンペの作り方についての問い合わせが増えている。G検定の評判を確認し、ネガティブな意見を問題提起として捉える。勉強のステージを定義し、語彙力と因果関係の把握が重要であることを説明。
フーリエ変換には角周波数を扱うものと周波数を扱うものがある。角周波数と周波数の間には角度と1回転という差があるのみ。よって、周波数に2πをかければ角周波数となる。
MATLAB,Python,Scilab,Julia比較するシリーズの第4章。第4章では分類問題で最終的にはニューラルネットワークや最適化アルゴリズムの話だった。第5章はフーリエ解析学から高速フーリエの話がメインとなる。
立ち絵の配置: PSDファイルをAviUtlに配置し、画面サイズやフレームレートを設定。のっぺらぼう化: 目と口を消して、アニメーション効果を追加。アニメーション効果: 目パチと口パクの設定を行い、リップシンクを調整。
フーリエ変換を定義。フーリエの積分公式の一部を抜き出す。逆フーリエ変換を定義。フーリエの積分公式にフーリエ変換を代入するだけ。
Δωで刻みにしたので、極限を利用して連続系へ。数式上は連続ではあるが、一般的な表現ではない。区分求積法とリーマン積分について。フーリエの積分公式を導出した。
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成 バックナンバーはじめに以前、AivisSpeechのAnneliというキャラの立ち絵を作成した。さらにそこに加えて、AivisSpeechのアイコン画像を...
PSDToolKitプラグインの導入の仕方を説明。PSDファイルを探してGIMPで内容を確認。GIMPで瞬き用、口パク用のレイヤー編集。
フーリエに積分公式は複素フーリエ級数と複素フーリエ係数から導出する。周期2Lの波の数を示すnを周期2πに於ける波の数である角周波数ωに変換。角周波数ωの刻みであるΔωについて説明。Δωを定義することで、離散的な係数算出が連続的な角周波数算出に近づけていっている。
区分求積法とリーマン積分について。離散と連続の分け目。フーリエの積分公式を導出した。演算したはずなのに変化しない。つまり変換、逆変換が成立することを示している。
Δωで刻みにしたので、極限を利用して連続系へ。数式上は連続ではあるが、一般的な表現ではない。よって、一般的な表現に書き換える必要がある。
角周波数ωの刻みであるΔωについて説明。Δωを定義することで、離散的な係数算出が連続的な角周波数算出に近づけていっている。
周期2Lの波の数を示すnを周期2πに於ける波の数である角周波数ωに変換。ω=nπ/Lを使用して変換するだけ。これにより少し数式がシンプルになった。
VOICEVOXとAivisSpeechキャラと一緒に！AviUtlを使った動画作成 バックナンバーはじめに以前、AivisSpeechのAnneliというキャラの立ち絵を作成した。ほぼ独自に作成したが、Anneliの画像自体はAivisS...
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安
分類問題を扱って第4章終了。 最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。 次の章はこれから考える。
Adamだけで出てくる分類結果を確認。 四角形で分類する理想的な形状。 この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。 これにより大域最適解を引き当てやすくなる。
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。 学習率を0.001にしている都合、収束までは時間がかかる。 勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamの更新式を実現するためのプログラムフローを記載。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。
AdaDeltaについて説明。 RMSpropの拡張版に当たる。 最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。
もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。 AdaGradについて説明。 更新式をモーメンタムと比較。 RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。
Adamの更新式を実現するためのプログラムフローを記載。 モーメンタムの部分をAdamに差し替えただけ。 学習率は0.001とかなり小さめの値に設定。 これにより収束は遅くなる。 かわりに特殊な最適解が得られるのでそれを確認する。
各最適化アルゴリズムの依存関係を記載。 1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。 Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。
最適化アルゴリズムAdamについて説明。 モーメンタムとRMSpropの合わせ技。 1次の勾配と、2次の勾配の指数移動平均を使用する。
AdaDeltaについて説明。 RMSpropの拡張版に当たる。 学習率というハイパーパラメータ無しで動作する。 最終的な学習率は1近傍になるため振動しやすいらしい。
RMSpropについて説明。 AdaGradの完了版であるため、AdaGradと更新式を比較。 AdaGradでは2次の勾配の累積だったものが、2次の勾配の指数移動平均に。 これにより、極小値近辺やプラトーになっても更新を続けられる。
AdaGradについて説明。 更新式をモーメンタムと比較。 更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。
