構造正則化② : メジャライザとISTA、FISTA・その2

前回、凸関数 のメジャライザ    を導き、これが  を満たすことを説明しました。ここで は点 における凸関数 f の曲率の上限です。 ところでメジャラ…

構造正則化② : メジャライザとISTA、FISTA・その1

ISTA、FISTAL1正則化問題を解くための解法の一つにISTA、またその高速化バージョンであるFISTAと呼ばれるものがあります。この方法はL1正則化に特…

構造正則化① : Fused LassoとCoordinate Descent

スパース構造正則化最近、スパース正則化に構造的な事前情報を取り入れる事が良く行われています。 例えば、ゲノム解析において類似した性質を持つ遺伝子グループが存在…

陽性率について

以下の記事はあくまでもチラシの裏に書かれた私個人の感想です・・・ 最近、日本のPCR検査の陽性率の高さについて山中先生などから警鐘が発せられています。http…

日本の感染者数データは信頼できる？？

コロナ自粛で精神的にも疲弊しています・・・ 巷では現在の感染状況についての分析、考察の記事がポツポツと（？）発信されています。例えばこんな悲観的なものとかWH…

新型コロナウイルス・シミュレーション結果を再現してみた

現在、全国的な新型コロナウイルスの感染拡大で日本中の人々が先の見通せない不安に包まれています。今以上の感染拡大を防ぐため、政府からは人と人との接触を8割削減す…

NUT(Network UPS Tools)のmaster・slaveモードでの設定

OMRONのUPS、BY50Sを購入しました。これにLinuxマシンを接続し、UPSがバッテリーモードになったら自動的にシャットダウンするようにしたい。さらに…

GitHubが日本法人設立

GitHubが日本法人設立やはり「ギット」だったのか・・・大川総裁の長女が卒論で「無断引用」大川興業総裁かと思ったよ・・・

Coordinate descent for lasso 5. step size

任意の線形オペレータ D による正則化を施した以下の目的関数をCD (Coordinate Descent) で最小化する場合を考えます。λ1 = 0 の場合…

Coordinate descent for lasso 4.centering

LARS、LARS-EN では、目的変数 X に加えデータ y も中心化（X については更に規格化）されている事が要請されました。データ y が中心化、即ち …

Coordinate descent for lasso 3.CovarianceUpdates

Lasso の場合の coordinate descent での解の更新式は、前回載せたようにでした。S の左の項は更に以下の様に書きかえる事が出来ます。つま…

Coordinate descent for lasso 2.soft-thresholding

前回の解の更新式をL1正則化問題に当てはめてみます。目的関数はであるとします。今 β_j 以外を固定した場合これはと、簡単な一変量の関数に書きなおせます。ここ…

Coordinate descent for lasso 1. Gauss-Seidel法

ここまで、lassoを解くためのアルゴリズムとして LARS、LARS-EN を扱ってきましたが、この他に挙げられるlasso解法の代表的なアルゴリズムの一つ…

LassoLars その15 larsen アルゴリズムの詳細（2）

これまでと前回の記事をまとめ、L2正則化項を任意の線形オペレータに置き換えた場合のlasso解を求めるLARS-ENアルゴリズムは以下になります。1） 目的変…

LassoLars その14 larsen アルゴリズムの詳細

Elatsic netではL2正則化項が、単位行列を E としてという形をしていました。この E を任意の線形オペレータ J に置き換えた場合を考えます。従っ…

LassoLars その13 larsen octave スクリプト

Elastic Net が、L2正則化問題をlassoで解く、つまり式（1）subject to を解くと説明しました。Zou and Hasti (2007…