Python：Spleeter にNumpy配列を与え、ボーカル・ベース・調波楽器を抽出してクロマベクトルを算出する

https://github.com/deezer/spleeter より 前回の記事では、Python向け楽器分離ライブラリ Spleeter の使い方を紹介しました。 具体的には、2-mixの楽曲ファイルを、ボーカルやベース、ドラムといったオーディオファイルに分離する方法を紹介しました。 Pythonでボーカル・ドラム・ベース・伴奏を抽出できる楽器分離ライブラリ Spleeter の使い方・デモ - Wizard Notes 今回は、和音・リズムの分析のような音楽信号分析処理での利用を想定したサンプルコードを紹介します。 1. Numpy配列の信号をSpleeterで処理 2. 分離信号を…

Pythonでボーカル・ドラム・ベース・伴奏を抽出できる楽器分離ライブラリ Spleeter の使い方・デモ

https://github.com/deezer/spleeter より 楽曲のメロディ・和音・リズムといった音楽的分析を行うには、個々の構成楽器ごとの分析が重要です。 楽譜・MIDIファイルは情報が各トラックごとに分かれているため メロディ・和音・リズムといった音楽的要素・文脈の分析に取り組みやすいです。 一方で、楽曲ファイル（音響信号）を入力とする音楽分析では全てのトラックがミックスされているという点が音楽的分析の障壁となります。 ミックスダウンされたファイルから複数の楽器のメロディ・和音・リズム分析処理は実装が難しく、また、計算コストや精度、汎用性が十分でないことが長年の課題でした。 …

楽曲構造をタグ付けする自作WebアプリSongTagの機能追加・修正1

楽曲構成タグ付けWebアプリ - SongTag SongTagを開く 以前、楽曲構造の分析を行う支援ツールとして楽曲構成タグ付けWebアプリを実装しました。 www.wizard-notes.com www.wizard-notes.com さっそくアプリを使って自身で楽曲構造タグ付けの作業をするうちに、分析の効率化のために機能を追加したくなりました。 3か所ほど機能を追加・修正したので、追加・修正内容を紹介します。 修正点 jsonフォーマットの変更 json アップロード 楽曲構成の候補の追加 まとめ 修正点 jsonフォーマットの変更 以前は楽曲構成情報オブジェクトの配列データとしてい…

LibROSAの音響特徴量を使って楽曲のサビを自動で検出する (librosa.feature.rms, librosa.feature.spectral_centroid)

ポピュラー音楽では、楽曲の聞かせどころであるサビは楽曲の最も盛り上がる部分であり、その楽曲の印象に深くかかわります。 サビ検出には様々な手法がありますが、今回は実装が簡単な手法として音響特徴量を使ったサビ検出手法を実装・検証してみました。 サビ検出アルゴリズムの方針・実装 検証準備 動作検証結果 まとめ サビ検出アルゴリズムの方針・実装 邦楽におけるサビは、楽曲で最も盛り上がる区間です。 また、1番、2番というように曲の中で何度も繰り返されます。 従って、以下のような仮説を立てることができます。 曲の冒頭や最後に存在する可能性が高い 音の短時間エネルギーが最も高い値となる 音色が煌びやかになる…

LibROSA付属の音声・オーディオデータ一覧と使い方 (librosa.ex, librosa.example) [v0.9.1]

https://librosa.org/doc/latest/recordings.html より Pythonの音楽分析用モジュール LibROSA には、いくつかのサンプルデータが付属しています。 そのため、オーディオデータを自分で用意しなくても音楽データ分析をすぐに試すことができます。 そこで、この記事ではLibROSA付属の音声・オーディオデータ一覧と使い方を説明します。 利用方法・データ一覧 付属オーディオデータについて 音声 "libri1", "libri2", "libri3" 音楽 "brahms" - Brahms - Hungarian Dance #5 ”nutcrac…

scipy.signal.oaconvolve：FIRフィルタの畳み込み演算を効率的に行うオーバーラップ加算法の使い方と計算速度について

はじめに 音信号処理では音を加工する1つの方法としてFIRフィルタがよく使われます。 具体的な計算としては、元の信号とFIRフィルタ信号の畳み込み演算を行います。 この畳み込み演算を時間領域で素直に行うと、元の信号長×FIRフィルタ長の計算が必要です。 従って、例えばコンボリューションリバーブのようなFIRフィルタ長が比較的大きい場合では、計算量が多くなってしまう問題があります。 そこで、この畳み込みを効率的に行う方法としてオーバーラップ加算法（オーバーラップアド、重畳加算法）が知られています。 この手法は SciPyで scipy.signal.oaconvolve として実装されているため…