searchカテゴリー選択
chevron_left

カテゴリーを選択しなおす

カテゴリーのご意見・ご要望はこちら
cancel
プロフィール
PROFILE

OceanOneさんのプロフィール

住所
未設定
出身
未設定

自由文未設定

ブログタイトル
Engineering Skills
ブログURL
https://oceanone.hatenablog.com/
ブログ紹介文
製品開発エンジニアがデータ解析のノウハウを垂れ流します。 統計解析/検定や実験計画、自作ツール。 エンジニアの心構えなど。
更新頻度(1年)

5回 / 38日(平均0.9回/週)

ブログ村参加:2021/05/14

本日のランキング(IN)
フォロー

ブログリーダー」を活用して、OceanOneさんをフォローしませんか?

ハンドル名
OceanOneさん
ブログタイトル
Engineering Skills
更新頻度
5回 / 38日(平均0.9回/週)
フォロー
Engineering Skills

OceanOneさんの新着記事

1件〜30件

  • Doehlert計画

    最適化計画の中で、Doehlert計画というものがあります。マイナーです。類似手法の中心複合計画やBox-Benken計画と比較してみます。 Doehlert計画 Doehlert計画はモデル式として多項式二次など曲面性を仮定して最適化を行う実験計画法(Design of Experiment, DOE)の一種です。同様なDOEのうち代表的なものに中心複合計画(CCD)やBox-Benken計画(BBD)などがあります。 3因子実験で中心複合計画, Box-Benken計画, Doehlert計画(DD)を比較したものが下記です。実験回数としては中心複合計画>Box-Benken計画>Doeh…

  • 実験計画法の俯瞰図

    様々な実験計画法の手法を俯瞰してみます。 俯瞰図 実験計画法には様々な手法があり、一見すると関係がよくわかりません。 分類法の一つとして、要因効果のモデルが上げられます。最も単純なものは交互作用がなく単一パラメータの効果の重ね合わせであるもの。次に交互作用を考慮するもの。これらについて影響度の高い因子を抽出する実験計画は、スクリーニング実験に分類されます。さらに非線形な要因効果(例えばモデル式として多項式2次近似)を想定し極値を持つような最適値探索を行う実験を最適化実験と呼びます。作成された予測モデルは応答曲面(response surface)と呼ばれる。 横軸として実験計画法の種類を取りま…

  • (実験計画)相関マップとグラデーション色

    実験計画の相関マップについてこちら で説明しましたが、相関マップのグラデーション色について気になり模様替えしてみました。 相関マップ 実験計画の相関マップは一部の統計ソフトに実装されています。実験水準の各変数間の相関係数を可視化したもので、よく見られる例では下記のようなマップになります。 他の色も試したいわけですが、白色から単色へのグラデーションだと、 白⇒黒はグレイスケールなので、良いですね。 白色からのその他のグラデーションだと、 難しいですね。なんだか、主張が弱いというか、責任感に欠けるというか。 まとめ 実験計画の各因子間の関係などを可視化する相関マップについて模様替えしてみましたが、…

  • 実験計画の相関マップ

    実験計画の各因子間の関係(交絡)を可視化する手法の一つとして相関マップがあります。各実験計画でマップ作成してみます。 相関マップ 実験計画の相関マップは一部の統計ソフトに実装されています。実験水準の各変数間の相関係数相関係数を可視化したものです。よく見られる例では相関係数の絶対値を0~1を青から赤に対応させ、対角線は自分自身との相関(=1)なので赤く、これ以外との相関が低い(青色)と良い計画と判断されます。 効率的な実験計画を追及して実験回数を減らすと、交互作用項に相関を持つ場合があります。L8で一つ目の変数(X1)と、自身以外との変数及び交互作用との相関係数を表示すると下記のようになります。…

  • Plakett-Burman計画

    ちょっと間がありましたが実験計画法です。主効果に寄与する因子スクリーニングのための実験計画であるブラケット・バーマン計画について。パレートの法則について紹介してみます。 ブラケット・バーマン計画 プラケット・バーマン(Plakett-Burman)計画は、1946年にRobin L. PlackettとJ. P. Burman によって提案された2水準の実験計画法です。プラケット・バーマン計画では、主効果は二元交互作用と交絡しているので、交互作用が無視できることが前提です。このため主効果のみを予測する際の実験計画として適しており、最適化実行時の入力パラメータやその範囲を限定するためのスクリーニ…

  • パレートの法則

    経験則の一つですが、パレートの法則について紹介してみます。 パレートの法則 パレートの法則は、イタリアの経済学者ヴィルフレド・パレートが発見した冪乗則です。パレートは所得分布の不均衡を明らかにした際に、「社会全体の8割の富が2割の高額所得者に集中し、残りの2割の富が8割の低所得者に配分される」という法則を発見。8割の結果は2割の要因から生まれることから、80:20の法則と呼ばれることもあります。パレートの名は多目的最適化におけるパレートフロントにも見ることができます。 経済以外にもさまざまな事例に当てはめられますが、法則というよりは経験則です。自然/社会現象は大抵の場合正規分布でなくばらつきや…

  • レーダーチャート(5)ー 背景

    複数項目を一括表示出来るレーダーチャートの背景について。同心円状グラフで白一色の背景もありですが、少し工夫する余地があるので遊んでみましょう。 レーダーチャートの背景 レーダーチャートは複数特性値を持つ系列について各項目を一括で可視化することができます。例えば4系列では下記のように可視化できます。 白一色だとやや無味乾燥ですが、例えば背景をグレイ色とストライプにするとこのような感じなります。グラフデータの場合によっては、目盛り間をハッキリ識別できるストライプの方がデータの視認性が高い場合があります。 ストライプの場合反転バージョンもあります、基本的には上述の通りですが反転した方が視認しやすい場…

  • レーダーチャート(4)ー 進捗の比較

    複数項目を一括表示出来るレーダーチャートですが、複数項目の達成度表示に応用する事も可能です。 レーダーチャートを使った達成度の確認 レーダーチャートは複数特性値を持つ系列について各項目を一括で可視化する手法です。応用例として複数項目の達成度を可視化することも出来ます。 一番単純な方法としては一つのチャート上で時系列の複数系列を描く事です。 このままだと時系列が良くわからないので、同系色でグラデーションすると良いです。 大抵の場合、最も重要な数値は最新の特性値です(本当は未来 or 予測が重要ですが、推定になるため精度の懸念が残る)。このため、最新の特性値を強調する形で、最新値のみfillすると…

  • レーダーチャート(3)ー 複数系列の比較

    今回はレーダーチャートにおける複数系列の比較です。 レーダーチャートにおける複数系列比較 レーダーチャートは複数特性値を持つ系列について各項目を一括で可視化する手法ですが、複数系列について比較をしたい場合があります。 一番単純な方法としては一つのチャート上で複数系列を描く事です。 2系列くらいならなんとかなりますが、系列が増えていくと複数特性値を一括可視化する手法が仇となり、一見して判読するのが難しくなります。3,4系列だとこのような感じです。 系列数が多い場合は、素直に別グラフにした方がスマートかも知れません(エクセルなどでは面倒ですが)。上図の4系列例を別グラフ化したものが下記です。 各グ…

  • レーダーチャート(2)ー 並び順

    今回はレーダーチャートの並び順について考えます。レーダーチャートの並び方を変えると印象がかなり変わります。 レーダーチャートの項目並び順 レーダーチャートの項目については並び順で印象は大きく変わります。下記をモチーフに考えてみます。 まずは、各項目ごとの平均値についての降順で並び変えてみます。 各項目ごとのMedianについて降順に並び変えると下記です。今回の例だと飛び値がないので大きな変化はないです。 各項目ごとのバラツキ(標準偏差)で並べ変えるという手もあります。下記は0時方向から時計回りに昇順に並べています。0時から4時方向くらいまでは変化が乏しいですが、後半に行くに従って特徴的な系列の…

  • レーダーチャート

    今回は、レーダーチャートについて述べます。多次元データの比較に用いられますが、全く異なるデータを0~1や0~100%に規格化して比較することが多いです。 レーダーチャートの基本 各項目の数量を中心点から多角形の頂点までの距離で表し、各頂点を結ぶと項目毎の数量の大小がひと目で比較できるグラフです。各項目は放射状に配置されます。 レーダーチャートは複数項目の特性をもつ対象の性能などを比較するために用います。例えば、他社製品とのベンチマークとか、キャラクターのステータス比較とか、 折れ線の内部を塗りつぶしたものは、その形状から「コウモリの翼」とよばれ、クモの巣グラフとも呼ばれるようです。フローレンス…

  • ステップワイズ法におけるAIC/BIC/Mallows's CPの比較

    重回帰分析の変数選択をステップワイズ法で行った場合、変数選択の基準で結果が変わります。いくつか比較してみます。 変数選択基準の比較 重回帰分析のステップワイズ法などで用いられる変数選択の基準で、AIC/BIC/Mallows's CPを比較します。 下記のような応答変数について、入力変数を[math] \displaystyle 0 < x_i \le 1 [/math]の範囲の一様乱数で変化させ、次式で定義される応答に標準偏差0.8の正規乱数を加えたデータセットを[math] \displaystyle n=1000 [/math]で用意、各データセット毎にいくつの変数が選ばれるかカウントし…

  • ステップワイズ法

    中心複合計画(Central Composite Design, CCD)やBox-Behnken計画(Box-Behnken Design, BBD) などで作成した計画は回帰分析により解析を行います。計画に用いた変数のうち応答に影響を与える変数を逐次求めるステップワイズ法を説明します。 回帰分析における変数選択法 重回帰分析において変数選択を行う古典的な方法としては下記の三つがあります。 (1) 強制投入法(force entry) (2) 総当たり法(all possible subset) (3) ステップワイズ法(step wise) 強制投入法は説明変数の候補を強制的に全て使用しま…

  • 中心複合計画とBox-Behnken計画の比較

    中心複合計画(Central Composite Design, CCD)とBox-Behnken計画(Box-Behnken Design, BBD) の比較をFDS/VDG plotを用いて行ってみます。 中心複合計画とBox-Behnken計画 中心複合計画では実験領域の頂点に置く実験点に加えて、星点(star point)と呼ばれる実験点と中心点により構成されます。star pointは立方体上の実験領域からははみ出した実験点になります。 Box-Behnken計画の場合は実験領域の頂点ではなく辺の中心をとっています。Box-Behnken計画は全ての変数のコーナーをとらないので、中心…

  • Box-Behnken計画

    応答曲面のためのBox-Behnken(ボックスーベーンケン)計画を紹介します。中心複合計画のような2次以上のモデルのための計画ですが、効率的なサンプリングを行う側面があります。 Box-Behnken計画 Box-Behnken計画(Box Behnken, BBD)は1960年にGeorge E. P. BoxとDonald Behnkenに考案されました[1]。Box-Behnken計画は2次以上のモデルを考える応答曲面法を想定しています。 良く比較されるのが中心複合計画(Central Composite Design, CCD)ですが、両者を3因子の実験計画で図示し比較したものが下記…

  • 内挿と外挿

    内挿(interpolation)と外挿(extrapolation)について書きます。エンジニアをやっていると製品性能を推定する場面に出くわすことが多いです。この場合行っている事は、状況証拠を入力変数とし、自身の経験から構築したモデル式にこれを入力することによって予測することです。経験から構築したモデルではなく理論的な解析式だという場合もあると思います。その場合でも理論式を導出する場合に何かしら仮定を置いていたりして、実際は多かれ少なかれ想定外の因子があると思います。そういう意味ではどこまで行っても経験式、或いは経験的なモデル式なのだと思います。 内挿と外挿 内挿はデータ点より内側にある点の…

  • 最適計画 - 各最適基準による計画の比較

    応答曲面のための実験計画としてD最適などに代表される最適基準に基づいた最適計画を紹介しています。今回は、愚直に得られた実験計画を眺めて(比較して)みます。 各最適基準の比較 一例としてモデルは2次項、交互作用ありで、2変数5水準11試行のD,A,I,G最適計画を比較してみます。2変数で行x列の表形式で表してみます。行、列がそれぞれの変数の水準で表中の数字が実験点数です。 以下に述べる計画について、それぞれ最適基準の計算結果は下記です。 D最適計画 D最適の場合、5水準(-1,-0.5,0,0.5,1)の実験にしても(-1,0,1)から計画点を選びます。9点あると計画領域を一様にサンプリングでき…

  • 最適計画 - Variance Dispersion Graph(VDG)及びFraction of Design Space(FDS) plot

    応答曲面のための実験計画としてD最適などに代表される最適基準に基づいた最適計画を紹介しましたが、得られた実験計画を評価する可視化手法があります。Variance dispersion graph(VDG)やFraction of Design Space plot(FDS)などです。 対象モデル 多項式近似する場合の共通モデルですが、一応セクション毎にメモ代わりに記載しておきます。 以下データ数を[math] \displaystyle n [/math]、近似パラメータの数を[math] \displaystyle k [/math]とします。 [math] \displaystyle y …

  • 応答曲面法と最適計画

    応答曲面法のためのサンプリング実験計画として中心複合計画があります。中心複合計画では実験計画範囲のみから実験点が決まりますが、実験計画範囲(計画点)とモデル式から最適基準を設けて、計算機支援で最適な実験計画を組む最適計画について述べます。D最適が有名で、A、I、G最適などがあります。 モデル式 多項式近似のパラメータは最小二乗法で求めることができます。モデルは下記で、以下データの数を[math] \displaystyle n [/math]、近似パラメータの数を[math] \displaystyle k [/math]とします。 [math] \displaystyle y ={\beta…

  • 中心複合計画 - ツール

    中心複合計画を作るツールを作成してみました。紹介します。 中心複合計画 中心複合計画は2次まで考慮した応答曲面法のための計画です。重回帰の予測精度が偏らないように、調整した実験計画が中心複合計画です。 メニューバー"DOE"から"Make Quadratic design file"をクリックすると下記のウィンドウが現れます。 変数範囲を入力して、[make CCD]を押します。 実行ファイルのフォルダに、CCD_日付_時刻.csvが出来ます。これを開くと下記のようになります。 X*カラムが変数、Repeatカラムは繰り返し数でこの場合はゼロです。 各種設定について 中心複合計画のアルファ設定…

  • 中心複合計画で乱数実験(4)- 交互作用について繰り返し数の影響

    中心複合計画で繰り返し数を増やすと、どのように有意差が出やすくなるのかテストする続きです。 今回の対象は、応答が一次項と二乗項、さらに自身以外の変数との積和といった曲面性があるデータに、正規乱数を加えています。中心複合計画の中心点は0、軸点以外の定義域は-1,1です。ノイズは標準偏差1.0の正規分布乱数を加えています。書き下した式を下記に示します。 [math] \displaystyle y_{i} = x_{i} + {x_{i}}^2 + x_{i} x_{j} + N(0,1) [/math] それぞれ1000回試行を行い、下記では一つ目の説明変数[math] \displaystyl…

  • 中心複合計画で乱数実験(3)- 繰り返し数の影響, 曲面性がある場合

    中心複合計画で繰り返し数を増やすと、どのように有意差が出やすくなるのかテストする続きです。 今回の対象は、応答が説明変数の二乗和で曲面性があるデータに、正規乱数を加えています。中心複合計画の中心点は0、軸点以外の定義域は-1,1です。ノイズは標準偏差1.0の正規分布乱数を加えています。 それぞれ1000回試行を行い、下記ではP値の正規確率プロット示しています。 中心点の繰り返し数を増やした場合 まずはモデルにない一次項の様子です、P値が大きい方が正解です。中心点の繰り返し数を2(赤)、3(青)、4(緑)、5(紫)、9(橙)と増やしています。中心点を増やしても変動しません。一次効果のみの場合の場…

  • 中心複合計画で乱数実験(2)ー 繰り返し数の影響, 曲面性がない場合

    中心複合計画で繰り返し数を増やすと、どのように有意差が出やすくなるのかテストしてみます。 対象は、応答が説明変数の線形和で交互作用や曲面性がないデータで、正規乱数を足しています。中心複合計画の中心点は0、軸点以外の定義域は-1,1です。応答Yは説明変数の線形結合で標準偏差1.0の正規分布乱数を加えています。 それぞれ1000回試行を行い、下記ではP値の正規確率プロット示しています。 中心点の繰り返し数を増やした場合 まずは一次項の様子です。中心点の繰り返し数を2(赤)、3(青)、4(緑)、5(紫)、9(橙)と増やしています。中心点を増やす方が実験精度はあがります。ただし影響は小さいです。そもそ…

  • 中心複合計画で乱数実験(1)ー 因子数の影響, 曲面性がない場合

    中心複合計画で変数の数を増やすとどのように有意差が出やすくなるのかテストしてみます。 中心複合計画はロバストな手法ですが、要因数を増やした場合、有意差が出やすくなります。今回は、応答は説明変数の線形和で交互作用や曲面性がないデータに対し、正規乱数を足してロバスト性を確認してみます。中心複合計画の中心点は0、軸点以外の定義域は-1,1です。応答Yは説明変数の線形結合で正規分布乱数を加えています。 要因数を増やした場合の一次項の様子 まずは一次項の様子です。要因数=kを増やすと実験数は下記のように増加するので、一次項の有意差は出やすくなります。 中心複合計画で中心点の繰り返し数を3、要因数を2~4…

  • 中心複合計画と応答曲面法

    中心複合計画は応答曲面法のための実験です。今回は実験結果から応答曲面法のパラメータ計算を追ってみます。 応答曲面法 応答曲面(Response Surface)とは、予測変数(Predictor variables)から応答(Response)yを関係近似したものです。[math] \displaystyle \varepsilon [/math]を誤差とすると下記のように表せます。 [math] \displaystyle y = f( x_1 \cdots x_n ) + \varepsilon [/math] 応答曲面法において関数の形に制限はないのですが、取り扱いが簡単な多項式近似が用…

  • 中心複合計画(Central Composite Design, CCD)

    実験計画法は、どの因子が重要か選別するスクリーニング実験と、選別した因子に対して曲面性も考慮して行う最適化実験の2つに大別することが出来ます。前者は完全実施計画や直交表などが当てはまり、後者の代表的な手法が中心複合計画と呼ばれるものです。 中心複合計画 中心複合計画は応答曲面法のための計画です。応答曲面法というと仰々しいですが、線形(1次)ではなく2次の項まで考慮した重回帰分析です。重回帰の予測精度が偏らないように、調整した実験計画が中心複合計画です。 まず2因子2水準の完全実施計画 (full factorial design)を考えます。 中心複合計画では、曲面モデルを作成するため下図で緑…

  • Distance correlation

    2変数間の関係性の強さを測る指標に相関係数があります。通常の相関係数の他、順位統計に基づいたPeasonやKendallの順位相関係数もあります。残念ながら、これらは単調増加、単調減少の挙動しか捉えることが出来ません。今回は非線形な相関関係を捉えられるdistance correlationについて書きます。 Distance correlation 一般的に相関係数というとピアソンの積率相関係数を指しますが、この相関係数は線形な依存関係に感度があります。非線形な依存関係である場合には、容易に相関係数=ゼロになってしまいます。 Distance correlationはSzékelyらによって…

  • 自己相関関数と周期性解析(2)

    こちらでは自己相関関数について簡単な紹介を書きました。実装してみたのと、スピアマンやケンドールの順位相関係数でも自己相関関数(コレオグラム)ライクな表示をしてみています。 順位相関係数で自己相関 自己相関関数とはこちらに示すように、時系列データに対しLag#分ずらして相関係数を計算するものです。周期性などがわかったりします。 例えば下記のようなデータの自己相関関数をプロットすると 周期4と8の成分がある傾向がわかります。点線は95%の棄却限界です。 通常、相関係数というとピアソンの積率相関係数を指しますが、スピアマンやケンドールの順位相関係数というものもあります。順位に基づいた統計量なので、外…

  • 実験計画法(9)-直交表(3水準系)

    これまでラテン方格やグレコ・ラテン方格について書きましたが、さらに一般化すると直交表実験に行き着きます。今回は水準数3の直交表について述べます。 3水準直交表 実験の因子(パラメータ)のどの2つをとっても、その水準のすべての組み合わせが同数回現れるように作成したものが直交表でした。 [math] \displaystyle n=2 [/math]のラテン方格は下記の通りで、 最小の2水準直交表[math] \displaystyle L4 [/math]と同一です。 実は3水準最小の直交表[math] \displaystyle L9 [/math]は、[math] \displaystyle…

  • 実験計画法(8)-直交表(2水準系)

    これまでラテン方格やグレコ・ラテン方格について書きましたが、さらに一般化すると直交表実験に行き着きます。 直交表の概要 直交表(ちょっこうひょう)とは、実験の因子(パラメータ)のどの2つをとっても、その水準のすべての組み合わせが同数回現れるように出来ています。これを「直交している」と呼びます。 一般的な多元配置の実験(パラメータが沢山ある総当たり実験)では、因子の水準数の積の回数だけ実験数が必要になります。因子数が多くなると実験回数は膨大な数になります。ところが交互作用を考えない(正確には考慮する交互作用が少ない)場合、直交表を用いることによって実験回数を削減することができます。 直交表は沢山…

カテゴリー一覧
商用