ホップフィールド先生とヒントン先生がノーベル物理学賞を受賞されました。ホップフィールドネットワークの研究者としては感慨深いです。今回は伝統的な物理学賞の傾向からかなり外れたものになりました。選考委員会の基準は分かりませんが、人によって感想は
ホップフィールド先生とヒントン先生がノーベル物理学賞を受賞されました。ホップフィールドネットワークの研究者としては感慨深いです。今回は伝統的な物理学賞の傾向からかなり外れたものになりました。選考委員会の基準は分かりませんが、人によって感想は
【論文掲載】Group Ring-Valued Hopfield Network (NOLTA)
NOLTA に論文が掲載されましたので、簡単に紹介します。オープンアクセスですので誰でもご覧になれます。論文には次のリンクからアクセスしてください。 Group ring-valued Hopfield networks 必要な知識はホップ
プロジェクションルール 前回、双曲連想記憶の安定性条件 \( w_{ab}=w_{ba},\, u_{aa} \geq v_{aa} \) を与えました。実数や複素数の場合と同じように進めますが、安定性条件が異なるので若干の注意が必
はじめに 前回は連想記憶の双曲数化の試みについて解説しました。今回は連想記憶として実用的なモデルを解説します。原型は で発表しました。このままではプロジェクションルールを適用するために不十分で、若干の拡張を で行いました。 が話題の中心にな
はじめに 複素連想記憶モデルの発展させるために、複素数を他の代数系で置き換えることは自然な発想です。四元数も最初に思いつくでしょう。実数、複素数、四元数の流れから次に何が来るでしょうか。この系列が Cayley–Dickson 代数の一部と
はじめに 前回の記事 ニューラルネットワークの四元数化 では四元数の MLP を構成しました。MLP を高次元化することは比較的容易で、連想記憶を高次元化する場合は難易度が上がります。それは安定性を保証する必要があるからです。実数の場合では
はじめに ニューラルネットワークの複素数値化は一応成功したと言えるでしょう。さらに拡張するというのは自然な研究の流れでしょう。多くの人が思いつくのは四元数です。さらに多様な代数系を求めて、クリフォード代数などが試みられています。今回はモデル
はじめに 連想記憶とは学習パターンを記憶する学習モデルです。記憶するとは学習パターンを安定状態に持つということ、エネルギーの言葉で表せば、学習パターンをエネルギーの極小にすることになります。実数型の Hopfield 連想記憶では、パターン
はじめに 複素連想記憶に関しては Hopfield Network 複素数値化の例 をご覧ください。オープンアクセスの文献も紹介してあります。 反転不変性 Hopfield 連想記憶では、パターンベクトル \( \vec{x} \) のエネ
Hopfield 連想記憶 Projection Rule (2)
今回はprojectionruleの理論的な補足をします。記憶容量学習ベクトルを並べた行列\(X=\left(\,\vec{x}^1\,\cdots\,\vec{x}^P\,\right)\)に対して\(U=X\left(X^{\mathr
Hopfield 連想記憶 Projection Rule (1)
学習アルゴリズムの種類これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が pro
偽記憶Hopfield 連想記憶は幾つかの学習パターンを記憶し、ノイズを乗せた学習パターンを与えてノイズを回復する形で利用されます。したがって、記憶容量とともにノイズ除去性能が求められます。ノイズ除去性能に深く関わってくるのが偽記憶という現
前回の学習パターンは1つでした。今回は複数パターンを学習するヘブ則を扱います。複数パターンのヘブ則学習パターンを \( \{ \vec{a}^p = (a_1^p, \cdots, a_N^p)^{\mathrm{T}} \, \, p=1
Hopfield Network の構造を与え、収束することまで証明しました。今回は Hopfield Network の応用として、連想記憶を解説します。Hopfield Network を使った連想記憶を Hopfield Associ
今回はかなり一般的な枠組みの高次元化を例にあげます。入力和の見直し入力和に注目して Hopfield Network を見直します。入力和 \( \displaystyle S_j = \sum_k w_{jk} z_k \) は荷重和と見
前回は Hopfield Network を高次元化に向けての視点を交えながら構成しました。今回は具体例として複素数値化を見ていきます。複素 Hopfield Network の文献参考として複素 Hopfield Network に関する
私の研究は連想記憶の高次元化が中心で、Hopfield Network またはその亜種を高次元化して使います。Hopfield Network の主な用途は最適化問題と連想記憶です。Hopfield Network の高次元化は連想記憶では
複素連想記憶の原型となる Hopfield Network は 1980年代初めに提案されました。ニューラルネットワークによる連想記憶の多くは Hopfield Network またはその亜種を使っています。Hopfield Network
今回は黎明期の複素ニューラルネットワーク、特に MLP などに適用される活性化関数が中心です。実は私の研究分野は連想記憶に偏っているため、複素ニューラルネットワーク全般の歴史は詳しくありません。複素ニューラルネットワーク(廣瀬明 著，サイエ
このサイトは私の研究してきた分野である高次元ニューラルネットワークを普及する目的で運営しています。特に、学生や若い研究者に参入してもらいたいと考えています。ここでいう「高次元」とは、実数で構成されていたニューラルネットワークを「複素数」など
大学を退職してから1年が経過しました。研究の解説ページを開設しようと思いながらもこんなに時間が経過してしまいました。最初にやるべきことは、ソースコードと業績の公開です。ようやくソースコードと業績の公開ページができました。ブログの体裁は追々整
「ブログリーダー」を活用して、hdnnlabさんをフォローしませんか？
指定した記事をブログ村の中で非表示にしたり、削除したりできます。非表示の場合は、再度表示に戻せます。
画像が取得されていないときは、ブログ側にOGP(メタタグ)の設置が必要になる場合があります。
ホップフィールド先生とヒントン先生がノーベル物理学賞を受賞されました。ホップフィールドネットワークの研究者としては感慨深いです。今回は伝統的な物理学賞の傾向からかなり外れたものになりました。選考委員会の基準は分かりませんが、人によって感想は
NOLTA に論文が掲載されましたので、簡単に紹介します。オープンアクセスですので誰でもご覧になれます。論文には次のリンクからアクセスしてください。 Group ring-valued Hopfield networks 必要な知識はホップ
プロジェクションルール 前回、双曲連想記憶の安定性条件 \( w_{ab}=w_{ba},\, u_{aa} \geq v_{aa} \) を与えました。実数や複素数の場合と同じように進めますが、安定性条件が異なるので若干の注意が必
はじめに 前回は連想記憶の双曲数化の試みについて解説しました。今回は連想記憶として実用的なモデルを解説します。原型は で発表しました。このままではプロジェクションルールを適用するために不十分で、若干の拡張を で行いました。 が話題の中心にな
はじめに 複素連想記憶モデルの発展させるために、複素数を他の代数系で置き換えることは自然な発想です。四元数も最初に思いつくでしょう。実数、複素数、四元数の流れから次に何が来るでしょうか。この系列が Cayley–Dickson 代数の一部と
はじめに 前回の記事 ニューラルネットワークの四元数化 では四元数の MLP を構成しました。MLP を高次元化することは比較的容易で、連想記憶を高次元化する場合は難易度が上がります。それは安定性を保証する必要があるからです。実数の場合では
はじめに ニューラルネットワークの複素数値化は一応成功したと言えるでしょう。さらに拡張するというのは自然な研究の流れでしょう。多くの人が思いつくのは四元数です。さらに多様な代数系を求めて、クリフォード代数などが試みられています。今回はモデル
はじめに 連想記憶とは学習パターンを記憶する学習モデルです。記憶するとは学習パターンを安定状態に持つということ、エネルギーの言葉で表せば、学習パターンをエネルギーの極小にすることになります。実数型の Hopfield 連想記憶では、パターン
はじめに 複素連想記憶に関しては Hopfield Network 複素数値化の例 をご覧ください。オープンアクセスの文献も紹介してあります。 反転不変性 Hopfield 連想記憶では、パターンベクトル \( \vec{x} \) のエネ
今回はprojectionruleの理論的な補足をします。記憶容量学習ベクトルを並べた行列\(X=\left(\,\vec{x}^1\,\cdots\,\vec{x}^P\,\right)\)に対して\(U=X\left(X^{\mathr
学習アルゴリズムの種類これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が pro
偽記憶Hopfield 連想記憶は幾つかの学習パターンを記憶し、ノイズを乗せた学習パターンを与えてノイズを回復する形で利用されます。したがって、記憶容量とともにノイズ除去性能が求められます。ノイズ除去性能に深く関わってくるのが偽記憶という現
前回の学習パターンは1つでした。今回は複数パターンを学習するヘブ則を扱います。複数パターンのヘブ則学習パターンを \( \{ \vec{a}^p = (a_1^p, \cdots, a_N^p)^{\mathrm{T}} \, \, p=1
Hopfield Network の構造を与え、収束することまで証明しました。今回は Hopfield Network の応用として、連想記憶を解説します。Hopfield Network を使った連想記憶を Hopfield Associ
今回はかなり一般的な枠組みの高次元化を例にあげます。入力和の見直し入力和に注目して Hopfield Network を見直します。入力和 \( \displaystyle S_j = \sum_k w_{jk} z_k \) は荷重和と見
前回は Hopfield Network を高次元化に向けての視点を交えながら構成しました。今回は具体例として複素数値化を見ていきます。複素 Hopfield Network の文献参考として複素 Hopfield Network に関する
私の研究は連想記憶の高次元化が中心で、Hopfield Network またはその亜種を高次元化して使います。Hopfield Network の主な用途は最適化問題と連想記憶です。Hopfield Network の高次元化は連想記憶では
複素連想記憶の原型となる Hopfield Network は 1980年代初めに提案されました。ニューラルネットワークによる連想記憶の多くは Hopfield Network またはその亜種を使っています。Hopfield Network
今回は黎明期の複素ニューラルネットワーク、特に MLP などに適用される活性化関数が中心です。実は私の研究分野は連想記憶に偏っているため、複素ニューラルネットワーク全般の歴史は詳しくありません。複素ニューラルネットワーク(廣瀬明 著，サイエ
このサイトは私の研究してきた分野である高次元ニューラルネットワークを普及する目的で運営しています。特に、学生や若い研究者に参入してもらいたいと考えています。ここでいう「高次元」とは、実数で構成されていたニューラルネットワークを「複素数」など
はじめに ニューラルネットワークの複素数値化は一応成功したと言えるでしょう。さらに拡張するというのは自然な研究の流れでしょう。多くの人が思いつくのは四元数です。さらに多様な代数系を求めて、クリフォード代数などが試みられています。今回はモデル
はじめに 連想記憶とは学習パターンを記憶する学習モデルです。記憶するとは学習パターンを安定状態に持つということ、エネルギーの言葉で表せば、学習パターンをエネルギーの極小にすることになります。実数型の Hopfield 連想記憶では、パターン
はじめに 複素連想記憶に関しては Hopfield Network 複素数値化の例 をご覧ください。オープンアクセスの文献も紹介してあります。 反転不変性 Hopfield 連想記憶では、パターンベクトル \( \vec{x} \) のエネ
今回はprojectionruleの理論的な補足をします。記憶容量学習ベクトルを並べた行列\(X=\left(\,\vec{x}^1\,\cdots\,\vec{x}^P\,\right)\)に対して\(U=X\left(X^{\mathr
学習アルゴリズムの種類これまでに学習則としてヘブ則を解説しました。ヘブ則は記憶容量が非常に小さいために、学習データが極めて少ない場合にのみ使用されます。データが増えた場合に学習できる学習アルゴリズムが幾つか提案されています。代表例が pro
偽記憶Hopfield 連想記憶は幾つかの学習パターンを記憶し、ノイズを乗せた学習パターンを与えてノイズを回復する形で利用されます。したがって、記憶容量とともにノイズ除去性能が求められます。ノイズ除去性能に深く関わってくるのが偽記憶という現
前回の学習パターンは1つでした。今回は複数パターンを学習するヘブ則を扱います。複数パターンのヘブ則学習パターンを \( \{ \vec{a}^p = (a_1^p, \cdots, a_N^p)^{\mathrm{T}} \, \, p=1
Hopfield Network の構造を与え、収束することまで証明しました。今回は Hopfield Network の応用として、連想記憶を解説します。Hopfield Network を使った連想記憶を Hopfield Associ
