研究開発

Trafilatura:テキスト検出と抽出のためのPythonスクレイピングツール

今時のWebテキスト本文抽出はtrafilaturaを使えば良いのか。https://t.co/mmrrl7oYb1— MITsuo Yoshida 広告, PR (@ceekz) July 10, 2024 pip install trafilatura...これだけでインストール出来たので依存するパッケージは分かりませんでした。import trafilaturadow

2024/07/26 06:37

ユーザー制御型ポリフォニック音楽生成Polyffusionの実装

以前のPolyffusionの実装から、短期間にフレームワークが何回も根本的に変わっている様なので、新しい方ではどうやるかと言うとgit clone https://github.com/aik2mlj/polyffusioncd polyffusionpython3.10.13 でなくても大丈夫だと思います。python3.10.12 でも

2024/07/25 08:37

LLMの隠れ層から安価なHallucination検出 Semantic Entropy Probes

LLMのハルシネーションを検出するには複数の回答を生成し、同じ意味同士をまとめて一致するかを意味エントロピー（SE）で評価するのが有効だが高コストだった。代わりにSEは隠れ層から線形回帰で高精度で予測できる。LLMは生成前から自分が知っていないことを知っている http

2024/07/18 06:43

新情報のfine-tuningでLLMのhallucinationリスクが増大する

LLMに新しい知識をファインチューニングを用いて導入しようとすると、事前学習時に得た知識もハルシネーションするようになり性能が悪化する。事前学習時に知らない知識を獲得するのに時間がかかり複数回参照すると過学習するため。事前学習時に学んだが、使えていない知

2024/07/11 07:25

オンライン陰謀論者を言語的特徴のみで識別する

Xにおけるポストの分析から，感情，イディオム（決まり文句），言語的特徴の3種を特徴量として抽出し，陰謀論アカウントを識別出来る機械学習分類モデルを構築した．最良の分類モデルはLightGBMで，F1スコアは0.87で最も高かった．1．陰謀論者の言語的特徴?代名詞の使用が多

2024/07/04 06:35

barkの実装実行方法

Notice: Bark is Suno's open-source text-to-speech+ model. If you are looking for our text-to-music models, please visit us on our web page and join our community on Discord.Bark は、Suno が作成したトランスフォーマーベースのテキスト音声変換モデルです。

2024/07/02 15:46