Managed-Retention Memory: A New Class of Memory for the AI EraSergey Legtchenko et. al.,Microsoft Research AI推論時代に求められるメモリ要件をMicrosoftの研究者がまとめたもの。AI計算、推論に用いられるHBMは書き込み性能が過剰であることに加えてメモリ密度、読み込み帯域幅が不足、電力効率も悪いことが課題。AI推論ではデータのアクセスパターンの大部分が「巨大で予測可能な読込み」です。モデルの重みやKVキャッシュをトークン生成ごとに繰り返し順次読み込むため、読込みと書込みの比率(Read:Write ratios)は1000対1でありながら読みだしてくることから長期保存は不要とのことでDRAM⇔Storage階層でのメモリが必要との結論。いままでも繰り返されてきたStorageClassMemoryの必要性を認識させるものですがAI推論の波に乗ることができれば日の目を見ることができるのかもしれません。このStorageClassに位置されるものはすでにMRAM,ReRAMなど実現されているものはありますがフラッシュとDRAMに肩を並べるような状況にはありません。消費電力も考えるとやはり電流ではなく電界駆動が良くまだまだ群雄割拠の状況。フラッシュメモリの高速化とDRAMのリークを抑える方向で間を埋めるという考え方もあり、AI推論の需要で新たな市場が開いていくのか注目されるポイント。将来的に速度と消費電力のトレードオフを回避するには材料革新、原理としてはケタで世界が変えられそうな光の力が必要になるのではというのが自論です。いずれにせよメモリ単体でなくコントローラとシステムの総合的な解決が必要となりそうです。 ↓論文の要旨 1. 背景と課題:現在のHBM(高帯域幅メモリー)の限界 AI workloadsにおける不適合性: 現在、大規模言語モデル(LLM)などの基盤モデルの推論や学習にはHBMが不可欠ですが、AIワークロードに対して最適とは言えません。 過剰と不足: HBMは書込み性能が過剰(オーバプロビジョニング)である一方、記憶密度(容量)や読込み帯域幅が不足しています。また、1ビットあたりのエネルギー消費が大きく、製造の複雑さからDRAMよりも歩留まり(イールド)が悪く高価で