メインカテゴリーを選択しなおす
ハイスペックでなくても省資源でAIを動かすことができるのか?
ネットを漁っていたら、きしだのHatenaサイトにて「「CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする」」という記事を見かけました。関連して「rinnaのYouri 7Bで8GB GPUでもLLM翻訳ができるかも」などの記事もありましたが、AIの進歩は凄いですね。...
「ジャンクノートパソコンにPythonと日本語LLMのRinnaを入れてメモリ16GBとSwapフルでローカル質問してみた。メモリ足りなくてもSwap積めばなんとかなる。ローカルLLM最高」との記事を見かけました。これなら手元機材を元に、メモリを追加すればなんとかなるかな?...
Meta【Llama2】の使い方(WindowsCPUで7Bを動かす簡単手順)
更新日:2023年7月24日 概要 「13B」も動きました! Metaがオープンソースとして7月18日に公開した大規模言語モデル(LLM)【Llama-2】をCPUだけで動かす手順を簡単にまとめました。 ※CPUメモリ10GB以上が推奨。13Bは16GB以上推奨。 ※Macbook Airメモリ8GB(i5 1.6GHz)で起動、生成確認できました。ただし20分かかりました!笑 10GB以上ないと厳しいようです。 手順通り進めば簡単にChatGPTのような生成AIをローカル環境で利用できます!! そして・・・ 商用利用可能!! なんと太っ腹 応用すれば個人開発して様々なアプリに搭載して遊んだり…
【超長文】GPT-4の100倍!?LLMモデルの実証実験の開始!
AI領域を専門的に扱う企業の注目度が増している。生成AIプラットフォームMetareal AIにGPT-4の100倍のデータを投入できるLLMモデルの実証実験を開始と株式会社メタリアルの子会社株式会社ロゼッタが発表した。
CyberAgentのLLMをローカル(Windows)で動かしてみた
更新日:2023年5月17日 概要 環境 手順 1.ライブラリのインストール 2.動作確認「open-calm-small」 3.本命「open-clam-3b」 概要 昨日5月16日に記事で紹介したCyberAgentさんのLLM 予定通り本日huggingfaceで公開されましたね!! ai-wonderland.com さっそく動かしてみました! huggingface.co Modelは6つ用意されていて 一番大きい「open-clam-7b」はVRAM15GBほど必要なようです。 なんたって68億パラメータですからね。 私の環境では無理なので、その下の「open-clam-3b」を動…
更新日:2023年5月17日 概要 公開予定の日本語特化型言語モデル 1.サイバーエージェント 2.Stability AI 3.ソフトバンク・LINEの和製GPT 参考 概要 今やAIの中心話題となっている生成AI 特にChatGPT公開により一躍有名となった 大規模言語モデル(LLM)ですが いよいよオープンソース公開が増えてきましたね!! 各社がどのように展開し、評価されていくのか どこが中心的な存在になるのか、、ここからの変遷が楽しみです。 そうした中で日本語特化モデル公開を予定している有名どころは今のところ3つですかね。 公開予定の日本語特化型言語モデル 1.サイバーエージェント w…