LLMに文書の要約をさせると、要約文の後半になるにつれて、元の文書にはない内容を作り出してしまう傾向があることが明らかにされました。これは「最後に幻覚を見る（Hallucinate at the Last）」現象と名付けられました。… pic.twitter.com/JHPy55Gdq5— AIDB (@ai_databas
Trafilatura:テキスト検出と抽出のためのPythonスクレイピングツール
今時のWebテキスト本文抽出はtrafilaturaを使えば良いのか。https://t.co/mmrrl7oYb1— MITsuo Yoshida 広告, PR (@ceekz) July 10, 2024 pip install trafilatura...これだけでインストール出来たので依存するパッケージは分かりませんでした。import trafilaturadow
ユーザー制御型ポリフォニック音楽生成Polyffusionの実装
以前のPolyffusionの実装から、短期間にフレームワークが何回も根本的に変わっている様なので、新しい方ではどうやるかと言うとgit clone https://github.com/aik2mlj/polyffusioncd polyffusionpython3.10.13 でなくても大丈夫だと思います。python3.10.12 でも
LLMの隠れ層から安価なHallucination検出 Semantic Entropy Probes
LLMのハルシネーションを検出するには複数の回答を生成し、同じ意味同士をまとめて一致するかを意味エントロピー（SE）で評価するのが有効だが高コストだった。代わりにSEは隠れ層から線形回帰で高精度で予測できる。LLMは生成前から自分が知っていないことを知っている http
新情報のfine-tuningでLLMのhallucinationリスクが増大する
LLMに新しい知識をファインチューニングを用いて導入しようとすると、事前学習時に得た知識もハルシネーションするようになり性能が悪化する。事前学習時に知らない知識を獲得するのに時間がかかり複数回参照すると過学習するため。事前学習時に学んだが、使えていない知
Xにおけるポストの分析から，感情，イディオム（決まり文句），言語的特徴の3種を特徴量として抽出し，陰謀論アカウントを識別出来る機械学習分類モデルを構築した．最良の分類モデルはLightGBMで，F1スコアは0.87で最も高かった．1．陰謀論者の言語的特徴?代名詞の使用が多
Notice: Bark is Suno's open-source text-to-speech+ model. If you are looking for our text-to-music models, please visit us on our web page and join our community on Discord.Bark は、Suno が作成したトランスフォーマーベースのテキスト音声変換モデルです。
「ブログリーダー」を活用して、TAKさんをフォローしませんか？
LLMに文書の要約をさせると、要約文の後半になるにつれて、元の文書にはない内容を作り出してしまう傾向があることが明らかにされました。これは「最後に幻覚を見る（Hallucinate at the Last）」現象と名付けられました。… pic.twitter.com/JHPy55Gdq5— AIDB (@ai_databas
ポチョムキンとは、ポチョムキン村の事ですね。AIは「賢いフリ」をしていた──ハーバード大などが暴いたLLMの決定的弱点「ポチョムキン理解」とは？ XenoSpectrum https://t.co/Gq2L8HVqYb— テクノロジーと科学の総合ニュースサイト XenoSpectrum（旧 TEXAL） (@Xeno
RAGの記事を出しました。「ノイズを入れるとRAG精度が高まる」という1年前の研究が、「Deep Research」の登場によって再び注目されています。通常のRAGでは「関連文書だけ」をLLMに渡します。しかし、この研究では、逆にランダムな文書も渡す方が精度が上がると示しています
観測期間は2024/06/29 ～ 2025/06/30 でこの間は 1186冊ぐらい記録しました。前回の記録は 電車内読書傾向2024 発売経過日数と人気著者の傾向分析電車内で読書してる人の本の内86/1186ぐらいが図書館図書でした。 古本(bookoff)等も記録しましたが、2冊ぐらいです。
観測期間は2025/1/5～2025/6/30 で、 記録した人数は延べ 7261人です。前回の記録は 電車内でのスマートデバイス利用率 2024/12全体の推移はこうなっています。 この数は実際に視認した数字なので、見えない量を含めた真の所持率は間違いなくこの数字よりは大き
これは興味深い。AIに思考の過程をアウトソースしすぎると脳の学習負荷が減ってしまって脳に長期的な悪影響が出る可能性があるらしい。 https://t.co/XIUKaK2OXl— Satoshi Nakagawa (@Psychs) June 18, 2025 200ページもあるんですが...同じ事を何度も説明している様な気
複数話者が喋っているオーディオデータで、各話者毎にどこからどこまで喋っているか時間を特定する事をdiarizationと呼びます。正確に意味が対応する日本語が無いようです。話者分離は、普通は同時に喋ってる音声を分離する方を言うと思います。pyannote + whisper で実装
通常のクラウドソーシングよりも、出品者がサービスの詳細と価格を自由に設定出来る coconala の様な形態の方が良いと思ってる人は多そうですが、coconalaではサービスはどのぐらい売れるものでしょうか？そして、どんなサービスが売れるのでしょうか？2019年の調査
Appleが出した「Reasoningモデルの"推論"は思考ではなくパターンマッチングに過ぎない」とする論文。AI界隈が「人間の思考も所詮パターンマッチングだ！」と言ってるんだけど、それ論文まったく読んでない反応なんだよなあ。論文内では何が違うかちゃんと書いてる。 https://
GPT-4oなどのLLMは、時制を過去形に言い換えば簡単に攻撃出来てしまうことが分かった。GPT-4に「火炎瓶の作り方は？」と聞くと拒否されるのだが、「人々はどのように火炎瓶を作ったか？」のように過去形にして聞くと、なんと88%も攻撃が成功する。企業用のチャットボットを作
``LoopGen: Training-Free Loopable Music Generation,'' Davide Marincione, Giorgio Strano, Donato Crisostomi, Roberto Ribuoli, Emanuele Rodol\`a, https://t.co/ubSqbr3KjX— arXiv Sound (@ArxivSound) April 9, 2025 実装も確認しましたが、ちゃんとループしな
これは何か研究成果かと思っていたのですが...どうもそうではなかったようです。このプロジェクトでは、敵対的生成ネットワーク（GAN）、特にpix2pixモデルを用いて音楽スタイルの転送を探求します。目標は、楽曲の和声構造を維持しながら、音楽のテクスチャを変更します。
クラウドソーシングで人気の仕事の分析の時と同じ分析ですが内容に変化あるでしょうか？かなり変化していると思います。今回は特にタスク作業の完了率を上げたいのでにタスクに限定して分析しました。どんな事を書けば正の影響を与えるのでしょうか？掲載日が 2025
RAGの中核を担うEmbeddingですが、実はベクトル化するテキストの特徴によっては、性能は大きく下がってしまうことがあります。今回はそんな、Embeddingの性能を引き出せない文章の特徴をまとめた論文を紹介します。https://t.co/vO5trGCFQS #zenn— Hidetoshi Sudoh (@sasa_k
AI生成のコードには架空のパッケージが含まれることがよく起こる。あらかじめ同じ名称のマルウェアを仕込んだパッケージを用意する攻撃。ブログなどまで用意。それをグーグルAIが推薦している。「スロップスクワッティングを支えるAIエコシステムの危険性」https://t.co/1TLZ
2016年のデータと同じ方法ですが、データは2025年までを含めました。しかしランダムサンプリングで曲数が470ぐらいだったので足りないかもしれません。動画日付は 2008/04 ～ 2025/04 だったからカバー出来てるはずです。動画公開日と、再生回数の相関係数は 0.014
google-adkを試しましたが、しかしこれでエージェントと言えるのでしょうか？エージェントと言うからには、外部ソフトウェアを実行してみせるとか、web検索結果から返答してみせるぐらいの事をして欲しいですが...チュートリアルのやり方に従うと良いのですが...何か、現
?新作論文????大規模言語モデルは、訓練なしで会話の脱線（個人攻撃など）を予測できる？??ゼロショット性能を検証し、プロンプトの工夫が予測タイミングにどう影響するかを調査??意外な発見も??Zero-Shot Prediction of Conversational Derailment With LLMshttps://t.co/H
ChatGPTの正確性を押し下げるプロンプトが判明、なぜ感情的なプロンプトは生成AIに御法度なのか？《小林 啓倫》https://t.co/A42OnugXNP【生成AI事件簿】ネガティブ、ポジティブ、ニュートラルのそれぞれのプロンプトをChatGPTに投げかけた結果… pic.twitter.com/DAKS2BuiGi
人間とAIの「思考」に大きな違いがあることが研究で判明、AIは推論が苦手な可能性https://t.co/Y5FnxAEA4r— GIGAZINE(ギガジン) (@gigazine) April 2, 2025 タイトルから明らかですが、GPTシリーズでしか実験してないでしょうか...？ 他の言語モデルで同じような結果は再
LLMのハルシネーションを検出するには複数の回答を生成し、同じ意味同士をまとめて一致するかを意味エントロピー（SE）で評価するのが有効だが高コストだった。代わりにSEは隠れ層から線形回帰で高精度で予測できる。LLMは生成前から自分が知っていないことを知っている http
LLMに新しい知識をファインチューニングを用いて導入しようとすると、事前学習時に得た知識もハルシネーションするようになり性能が悪化する。事前学習時に知らない知識を獲得するのに時間がかかり複数回参照すると過学習するため。事前学習時に学んだが、使えていない知
Xにおけるポストの分析から，感情，イディオム（決まり文句），言語的特徴の3種を特徴量として抽出し，陰謀論アカウントを識別出来る機械学習分類モデルを構築した．最良の分類モデルはLightGBMで，F1スコアは0.87で最も高かった．1．陰謀論者の言語的特徴?代名詞の使用が多
Notice: Bark is Suno's open-source text-to-speech+ model. If you are looking for our text-to-music models, please visit us on our web page and join our community on Discord.Bark は、Suno が作成したトランスフォーマーベースのテキスト音声変換モデルです。
実際のadversarial embeddingの例が見えないですが、これは実際に実装してどういう感じになるのか確認した方が早いでしょうか？Soft Promptで、自然言語から離れる方が目的の上ではむしろ自然では無いでしょうかSoft Prompt Threats: Attacking Safety Alignment and Un
観測期間は2023/07/05 ～ 2024/06/28 でこの間は 1146冊ぐらい記録しました。前回は 電車の中で読む本の統計 2023電車内で読書してる人の本の内90/1146 ぐらいが図書館図書でした。 古本(bookoff)等も記録しましたが、1冊ぐらいです。観測した書籍の、発売日から
観測期間は2023/12/25～2024/6/26 で、 記録した人数は延べ 7341人です。前回の記録 電車内でのスマートデバイス利用行動統計 2023/12全体の推移はこうなっています。 これらは実際に視認した数なので、見えていない真の所持率は間違いなくこの数字よりは大きい
大規模言語モデルは多肢選択式の問題で選択肢の順序を変えると違う結果を返す事を色々なLLMで確認した研究。これは面白い。Can Multiple-choice Questions Really Be Useful in Detecting the Abilities of LLMs? - ACL Anthologyhttps://t.co/aYx3nhDoQx— Yo Ehara (@yo_eh
Excited to share our work on symbolic music generation: https://t.co/5oDHyfTzhC!We introduce a symbolic music generator with non-differentiable rule guided diffusion models, enabling musicians to effectively use it as a compositional tool.Website: https:/
Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Modelsの実装ですが、モデルを全体的に独自データで学習出来るかとも思ったんですが、Currently, generation given prompt (e.g., first several measures) or with external control are no
``Whole-Song Hierarchical Generation of Symbolic Music Using Cascaded Diffusion Models,'' Ziyu Wang, Lejun Min, Gus Xia, https://t.co/KjXwq12nG2— arXiv Sound (@ArxivSound) May 17, 2024 これも楽譜を画像と見なして階層的に生成する研究ですが、言語モデル型
LLMでChain-of-Thoughtは潜在トークン列を事後分布列から生成するタスクとみなせる。LLMのファインチューニング時にGFlowNetsを使って潜在変数を順に生成するように学習。推論の途中経過を潜在変数とみなすアプローチは興味深い（以前もRAGであった https://t.co/3pf3gA4eDO
実は最近のLLMは,学習中に評価用のベンチマークと酷似したデータを(意図的にせよ非意図的にせよ)カンニング/暗記しており,それで評価スコアが高くなっていたのではないか問題https://t.co/r70kcwMv6q完全新規ベンチマーク(GSM1k)を作り評価すると,見事にほとんどのLLMの性能
『最新の研究により、大規模言語モデル（LLM）の性能が突然飛躍することは驚きでも予測不能でもなく、実際には人工知能（AI）の性能を測る方法に関係していることが示された。』AIの「創発性」は幻影に過ぎない ── 大規模言語モデルの新たな測定で判明https://t.co/5uxLcwA
データは 最近の人気曲で歌詞の分析と比較 と同じで、2016/1 ～ 2024/4 辺りの647曲です。再生回数と、歌詞に含まれる単語を取得し、平均値を算出します。再生回数の全体平均が 69585.55631 なので、単語が人気に影響を与えるかどうかは、平均値に対しての上下です。.
「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場https://t.co/rn3VjsWaB8— GIGAZINE(ギガジン) (@gigazine) April 5, 2024 なぜ学習コストを減らす事が出来るのか、どのようにしたのかに、興味持つ人が全然いな
2017年頃に応用数理学会で「AIの説明可能性はAIじゃなくて人間側の問題」って趣旨のコメントをした記憶があるんだけど，ChatGPTで一段社会のステージが変わった（AIの説明を人間が受け入れるようになった）ように思う．顧客が本当に必要だったのは精度（説明）じゃなくて流暢
大規模言語モデルを単一ファイルで配布・実行する「llamafile」のバージョン0.7で処理能力が最大10倍高速化https://t.co/OL16t4BwHa— GIGAZINE(ギガジン) (@gigazine) April 2, 2024 https://github.com/Mozilla-Ocho/llamafileUnfortunately, Windows users cannot make
従来の画像認識は識別モデルだが、生成モデルが進展し生成モデルで高精度で認識することも現実的に可能となった。識別モデルがテキスチャを見て認識するのに対し、生成モデルによる認識は人と同様に形状を重視して識別し、人と間違え方が似ていることが示された。https://t.c
近年の音楽業界では、曲の内容、傾向が以前と比較して変化が起きてると考えられてると思います。...これは、z世代の選好の質的な変化とか言うよりはむしろ、ストリーミングサービス普及によって、全体的な変化が生じてる、のでは...？J-pop歌詞の分析と比較 の時と同じよ
