研究開発

大規模言語モデルに困難な推論を克服する償却ベイズ推論

LLMでChain-of-Thoughtは潜在トークン列を事後分布列から生成するタスクとみなせる。LLMのファインチューニング時にGFlowNetsを使って潜在変数を順に生成するように学習。推論の途中経過を潜在変数とみなすアプローチは興味深い（以前もRAGであった https://t.co/3pf3gA4eDO

2024/05/24 11:50

大規模言語モデルの実力を再評価 学習データに潜む過剰適合

実は最近のLLMは,学習中に評価用のベンチマークと酷似したデータを(意図的にせよ非意図的にせよ)カンニング/暗記しており,それで評価スコアが高くなっていたのではないか問題https://t.co/r70kcwMv6q完全新規ベンチマーク(GSM1k)を作り評価すると,見事にほとんどのLLMの性能

2024/05/21 21:00

大規模言語モデルが持ち得る創発能力の幻想

『最新の研究により、大規模言語モデル（LLM）の性能が突然飛躍することは驚きでも予測不能でもなく、実際には人工知能（AI）の性能を測る方法に関係していることが示された。』AIの「創発性」は幻影に過ぎない ── 大規模言語モデルの新たな測定で判明https://t.co/5uxLcwA

2024/05/14 08:46

楽曲再生回数と歌詞の因子分析による影響力の分析

データは 最近の人気曲で歌詞の分析と比較 と同じで、2016/1 ～ 2024/4 辺りの647曲です。再生回数と、歌詞に含まれる単語を取得し、平均値を算出します。再生回数の全体平均が 69585.55631 なので、単語が人気に影響を与えるかどうかは、平均値に対しての上下です。.

2024/05/07 18:55

100kドルでLlama2より高精度を達成:JetMoE

「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場https://t.co/rn3VjsWaB8— GIGAZINE(ギガジン) (@gigazine) April 5, 2024 なぜ学習コストを減らす事が出来るのか、どのようにしたのかに、興味持つ人が全然いな

2024/05/05 18:40

LLMの流暢な作り話を人間が信用する理由

2017年頃に応用数理学会で「AIの説明可能性はAIじゃなくて人間側の問題」って趣旨のコメントをした記憶があるんだけど，ChatGPTで一段社会のステージが変わった（AIの説明を人間が受け入れるようになった）ように思う．顧客が本当に必要だったのは精度（説明）じゃなくて流暢

2024/05/02 17:50

言語モデルをggufファイルに変換してllamafileに読み込ませる

大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化https://t.co/OL16t4BwHa— GIGAZINE(ギガジン) (@gigazine) April 2, 2024 https://github.com/Mozilla-Ocho/llamafileUnfortunately, Windows users cannot make

2024/05/01 18:09