音楽の特徴分析について、当ブログでは音響信号からテンポや音色のような音楽的特徴を分析する手法を紹介してきました。 一方で、音楽は音響的な要素だけでないので映像や自然言語（歌詞）からのアプローチや、ソーシャルデータを用いた手法も数多くあります。 そこで今回は、昨今流行っている ChatGPT4を歌詞から感情特徴へのエンコーダとみなし、ChatGPT で J-POP 楽曲の歌詞の感情分析を試してみました。 プロンプト 例 Ado - うっせぇわ 米津玄師 - Lemon supercell feat.初音ミク - メルト 藤井風 - 死ぬのがいいわ 椎名林檎 - 丸の内サディスティック 平沢進 -…

ChatGPT Plus (有料版) を契約したのでいろいろ試しています。 その中でも、ピアノの練習曲の演奏難易度・演奏の注意点に関する回答が興味深かったので紹介したいと思います。 題材 プロンプトのポイント ChatGPT4の場合 ChatGPT3.5の場合 所感 おまけ (GTP4) 関連Webサイト 題材 ピアノの練習曲としてよく利用されているブルグミュラー25の練習曲*1／18の練習曲*2を題材としています。 25の練習曲はバイエル終了程度、18の練習曲は25の練習曲が終了後（ツェルニー30番程度）のレベルであり、メロディや展開が美しい練習曲となっています。 どちらも基本的に後半になる…

前回の記事でWindows11での VST3 開発環境構築が整ったので、試しに簡単なエフェクタを実装してみました。 VST3 SDK 3.7.0 から追加された VST3 Project Generator を使うことでプロジェクトを簡単に作ることができましたので、参考にしたWebページやメモを残したいと思います。 検証環境 開発環境の準備 プロジェクトの準備 パスの設定 プロジェクトの設定入力 簡単なエフェクタの実装 GUIの実装 関連Webページ 検証環境 Windows 11 Pro Microsoft Visual Studio Community 2022 (64 ビット) Visu…

[2023/5/2: Twitterで頂いたすずむし様からのご指摘を元に，VST SDK ver. 3.7.7での動作確認ができたため修正。ご情報ありがとうございました。] 前々からやろうと思っていたWin11，VS2022，VST3.7 でのVST開発環境の構築にトライしてみたところ、とりあえず VST SDK ver. 3.7.7（もしくは ver. 3.7.3）を導入して VSTe を作成・正常動作するところまで確認できました。 基本的には、うつぼかずら様のWebサイトの記事「VST3プラグイン開発01 – VST3開発環境の準備」の手順に従うことで環境構築できました。 VST3プラグイ…

2台のスピーカを用いたステレオ再生において、左右のスピーカに振幅差をつけて再生することで両耳間位相差と両耳間強度差を実音源に近づくようにする手法を振幅パンニングといいます。 この振幅パンニングの代表的な手法としてサイン則とタンジェント則が知られています。 サイン則は頭を正面位置に固定した場合のパンニング則，タンジェント則は頭を仮想音像の方向に向けた場合のパンニン グ則と言われています*1。 本記事では、それぞれの分配係数（左右のゲイン）のプロットを紹介したいと思います。 プロットの条件 サイン則 振幅和を一定として分配 二乗和を一定として分配 タンジェント則 振幅和を一定として分配 二乗和を一…

音信号処理の代表例として、コンボリューションリバーブ*1のような入力信号にインパルス応答を畳み込む処理が挙げられます。 この畳み込み演算をリアルタイムのブロック処理で実現する*2実用的な方法としては、 Overlap-Add法とOverlap-Save法が有名です。 特に Overlap-Save 法はちゃんと実装したことがなかったため、勉強も兼ねてOverlap-Add法とOverlap-Save法の実装例を紹介します。 Overlap-Add法 Overlap-Save 法 まとめ 参考文献 Overlap-Add法 Overlap-Add法 では、ブロックごとの直線畳み込みを効率的に行う…

需要が高まってきているバイノーラル処理にチャレンジする場合、まずはWeb上のSOFA形式のHRTFデータで試すことが多いかと思います。 Pythonであれば、SOFA形式のデータ読み込んで Numpy配列にさえ変換すればバイノーラル処理やプロットは容易です。 そこで、今回はPythonでSOFA形式のデータを扱う方法をサンプルコードとともに紹介します。 SOFA 形式について SOFAを処理するためのPython用API pysofaconventions を使ってみる インストール方法 利用するデータベース サンプルコードについて 関連リンク SOFA 形式について VRや360°映像におけ…

lofi hiphop 風のビートをさくっと作れるリズムマシンの試作。前半がヨレたビートの生成，後半がランダムパターンのデモ #reactjs #webaudioapi #webapp #lofi #lofibeats #lofihiphophttps://t.co/L7qrtNEEmM pic.twitter.com/h0JvMf654O— Kurene (@_kurene) February 25, 2023 去年から積んでいた Lofi風ドラムマシンの開発をようやく消化できたので紹介を細かい話を書きたいと思います。 モチベーション 機能について 基本機能 Fluctuation mode…

今回は，以下の記事で紹介したオールパスフィルタによる残響生成を用いて、実用的な残響エフェクタとして有名なシュレーダーリバーブをPythonで実装してみました。 www.wizard-notes.com シュレーダーリバーブの概要 フィードバック型コムフィルタの回路について フィルタ応答の観察 直列オールパスフィルタのみ 並列コムフィルタ＋直接音 並列コムフィルタ＋直列オールパスフィルタ＋直接音 シュレーダーリバーブのデモ（ピアノ） Python実装 参考文献 シュレーダーリバーブの概要 シュレーダーリバーブは直列オールパスフィルタによる残響生成に加えて、並列フィードバック型コムフィルタを用いて…

音質と操作性に非常に優れていることから、ピッチ編集ソフトMELODYNE (Celemony Software)を長年愛用しています。 最近、新PCでの作曲環境再構築の際に、Melodyne 4 64-bit 版が起動しないということがありました。 結論としては、Intel CPU の第10・11世代は64-bit版を利用できない可能性が高いようです。 miwele.com https://helpcenter.celemony.com/M5/faqs/?qOpen=299 ということで、私の環境でも Melodyne 4 64-bit 版はダメでしたが、32-bit 版は起動しました。 C:…

「信号処理に欠かせないオールパスフィルタ―」で紹介したオールパスフィルタの利用例として、人工残響フィルタを実装してみました。 設計方法 フィルタ応答の比較 試聴 Python実装 参考文献 設計方法 直列オールパスフィルタによる人工残響生成はシュレーダリバーブ の一部として知られています。 具体的には、多段のオールパスフィルタで構成します． 実装は簡単ですが，オールパスフィルタの性質により振幅は指数関数的に減衰し、出力信号の音色に変な色付けがされない*1となっていることから、残響にとって都合よい特性となっています。 なお、よりよい残響生成のために、各オールパスフィルタの遅延は互いに素で、遅延の…

音の時間波形の包絡線を抽出や振幅変調（AM）の復調などで利用されるヒルベルト変換をPythonで実装し、いくつかの簡単な信号に対して適用してみました。 ヒルベルト変換の概要 ヒルベルト変換の仕組みや実装方法については、以下のWebページがわかりやすいです。 小野測器 基礎からの周波数分析（29）－「ヒルベルト変換と解析信号」 この記事に従い， フーリエ変換を用いて解析信号を算出 解析信号から包絡線，瞬時位相，瞬時周波数を抽出 する処理を実装します． Python実装 入力信号→解析信号の算出 def hilbert_transform(x): n = x.shape[0] x_f = np.f…

音信号向けの簡単かつ実用的なリアルタイム向け雑音抑圧処理として，以下の書籍で適応線スペクトル強調器 (ALE) が紹介されていました． 上記の書籍を参考にしつつ，Pythonでの適応線スペクトル強調器 (ALE)の実装と，様々な信号への適用例を紹介します。 適応線スペクトル強調器 (ALE) の概要 適応線スペクトル強調器 (ALE) は雑音が含まれた観測信号から目的信号を強調／予測する処理です． 目的信号は音声や楽音のような周期性信号であり，周波数が未知でも抽出できることがこの手法の長所です． 以下がブロック図です。 遅延素子数Dは相関分離パラメタ (de-correlation param…

サンプル数が大きい時系列データや周波数応答が格納されたxlsxやcsvファイルをExcelで開くと、かなり動作が重くなることがあります。 そのようファイルでグラフをプロットのような操作をするのは動作が遅いため苦行ですし、Excelが突然落ちるリスクも高くなります。 基本はプログラムやバッチファイルで間引き（デシメーション）するのがよいですが、どうしてもExcelでなんとかしたい場面があります。 そこで、ファイルサイズの大きい xlsxやcsvのデータをExcelで間引く方法を示します。 元データの形式例 例として、時系列データを考えます。 今回は、rawシートにA列に時系列のインデックス，B-…

オーディオテクニカは ATH-EW9 のような耳掛けヘッドホンを販売しています。 www.wizard-notes.com これらの機種の共通の特長として、耳にフィットしやすいイヤハンガーがあります。 この独特なイヤハンガーは、耳への締め付けを向上させるだけでなく、ヘッドホン部の高さを変えることができます。 そのため、結果として密着感を向上させることができているように思います。 左：イヤハンガーを閉じた状態，右：イヤハンガーを開いた状態 左：イヤハンガーの高さ最小，右：イヤハンガーの高さ最大 実は、このイヤハンガー部はオーディオテクニカが特許をとっており、ちょうど今年の9月末に20年経って期限…

不協和度、緊張度に引き続き、“The Psychophysics of Harmony Perception: Harmony is a Three-Tone Phenomenon” より和音の明るさー暗さや嬉しさー悲しさを表すとされる和音のモダリティの算出モデルについて紹介します。 また、モダリティ曲線を算出するPythonのプログラムを紹介します。 www.wizard-notes.com www.wizard-notes.com モダリティの概要 純音のモダリティ曲線 倍音を考慮したモダリティ算出 プロット用コード まとめ 参考文献 モダリティの概要 モダリティは和音の緊張度と密接に結び…

前回に引き続き、“The Psychophysics of Harmony Perception: Harmony is a Three-Tone Phenomenon” より和音の心理数理モデルのPython実装を行います。 今回は、和音の緊張度を分析する数理モデルを扱います。 用途としては、減3和音や増3和音のような緊張感のある和音・ヴォイシングを分析・検出したり、コード進行を分析するのに利用できる可能性があります。 www.wizard-notes.com 和音の緊張度 参考文献では、和音の緊張度を音程の等しさに基づいて算出しています。 緊張度の高い和音としては、減3和音や増3和音などが…

和音の響きはその音楽の雰囲気を分析する重要な要素です。 長／短3和音のような明るい／悲しいといった響きから、ジャジーな和音の複雑で豊かな響きまで様々です。 このような和音の響きを計算機で分析する方法はいくつかあります。 今回は、和音がどのくらい協和的かを示すモデルとして知られている不協和度曲線を紹介します。 2つの純音の不協和度 倍音を考慮した不協和度曲線 3つ以上の音の不協和度の算出 まとめ 参考文献 2つの純音の不協和度 参考文献では、基本周波数がそれぞれ f1, f2 (f1<f2)である2つの純音の不協和度曲線は以下のように定義されています*1。 v12は2つの純音の音量 v1, v2…

IK Multimedia の高品質なオーケストラ音源 Miroslav Philharmonik 2 (CE) は、セール時だとCEで5~6千円、完全版でも1万円台で買えるコスパの良いオーケストラ音源です。 しかし、FL StudioではプラグインがDAWを巻き込んで頻繁にクラッシュするという問題がありました。 今回、その対処方法を実施してからクラッシュしなくなったため、情報を残したいと思います。 症状 Miroslav Philharmonik 2 を使っていると、突然音割れが発生し、その後すぐに情報表示部に「"Philharmonik 2" crashed while processin…

「信号処理に欠かせないオールパスフィルタ―の概要・使い方・利用例」では、オールパスフィルタによって低演算量で様々な周波数特性のフィルタを作成できることを紹介しました。 www.wizard-notes.com この記事では、その具体例として1次IIRオールパスフィルタの並列回路でローパス／ハイパスフィルタを作成します。 1次IIRオールパスフィルタ 1次IIRオールパスフィルタの詳細はこちらの記事を参考にしてください。 今回は位相が90度遅れる周波数 fc を4つ用意し、それぞれのフィルタ係数用パラメタ λを算出しました。 sr = 44100 worN = 4096 # 0.3, 2.8, …