ハイスペックでなくても省資源でAIを動かすことができるのか？

ネットを漁っていたら、きしだのHatenaサイトにて「「CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする」」という記事を見かけました。関連して「rinnaのYouri 7Bで8GB GPUでもLLM翻訳ができるかも」などの記事もありましたが、AIの進歩は凄いですね。...

• #AI
• #Rinnai
• #rinna
• #LLM
• #8GB

• #CTranslate2

• #Youri 7B