結局ROC AUCはなにものかPython実装して定義への理解を深める

今回はROC AUC (Receiver Operating Characteristic curve Area Under the Curve)についてです。 2値分類の機械学習モデルの予測スコア精度指標としてめちゃめちゃ使われる印象があるROC AUCですが、結構説明は難しいですよね。 説明しようとすると、ROC AUCとはこのカーブの下側の面積です、このカーブがROCカーブといって、TPr、FPrというものをプロットして、、閾値を変えて、、、閾値というのは、、、といったように一筋縄では説明できないな、と思ったことがあります。 ただ、実はROC AUCは、「正例(Pos)のサンプルの予測確…

Pythonによる因果グラフ推定 -causalnexの紹介 その2-

Image by Pixabay 今回の記事は前回記事に引き続き因果探索についてです。 前回紹介できなかったcausalnexの$\ell_1-$制約付きのNOTEARS推定、pytorchによるfrom_pandas実装、sklearnライクにNOTEARSを使うことができるDAGRegressor, DAGClassifierについて紹介していきます。 Causalnexを用いてPythonでサンプルデータ実験 準備 Lassoを用いたNOTEARS Pytorchを用いたNOTEARS Scikit-learnライクなNOTEARS推定インターフェース DAGRegressor DAGC…

PythonでNOTEARS・ベイジアンネットによる因果グラフ推定 -causalnexの紹介-

Image by Pixabay 今回の記事は因果探索についてです。 因果探索は、データを与えることで、そのデータの変数間に潜む因果構造を推定しようという手法です。メジャーな手法としては、離散変数に対してベイジアンネットワークや、非ガウス連続変数に対してのLiNGAMなどの手法があります。 その中でも機械学習系のトップカンファレンスNeurIPSの2018年論文「DAGs with NO TEARS: Continuous Optimization from Structure Learning」で提案されたNOTEARSという手法について紹介したいです！NOTEARSは、実質損失関数を加える…

機械学習の公平性を担保する手法紹介 -Pythonパッケージfairlearnをつかった実装-

Image by Pixabay 今回の記事は、機械学習の公平性 (Fairness)についてです。 機械学習の公平性は、ざっくりいうと、AIによって差別を生まない・助長しないためにAIを公平に作れないかといったことです。例えば、予測結果がセンシティブな変数（状況やタスクによるものだとは思いますが、人種や性別など）に左右されないようにしたいなど。 ただそれらはセンシティブな変数に関するデータを集めない or モデルに入力しないといったことだけでは実現できない場合が多いです。 そもそもの公平性の定義やそれを実現するアルゴリズムとして様々なものがあるのですが、今回はPythonパッケージであるfa…