選択的状態空間を使用した線形時間系列モデリングSSM
MambaはS4に入力を選択的に記憶/忘却をできるよう重み、間隔幅を入力に応じて変える仕組み(S6)を導入。高速メモリ内で内部状態を展開し、Parallel Scanを利用。SSMは性能がTransformerに匹敵しつつあり効率的なため今後多くの問題でTransformerに置き換わる可能性が高い ht
2024/02/29 06:22
2024年2月 (1件〜100件)
「ブログリーダー」を活用して、TAKさんをフォローしませんか?