一様分布の上限の推定量の比較

一様分布の不偏推定量、最尤推定量の導出を行い、各推定量の比較を行います。

文系の僕が基本情報技術者試験を独学で一発合格するまでの道のり

こんにちは。全然報告していなかったのですが、基本情報技術者試験(2019,秋,選択科目Java)に合格しました！ 今回は情報系分野ほぼ未経験の僕が、どういう手順で勉強して合格したのかを紹介していきたいと思います。 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 結果発表 合格までの道のり 勉強開始時のスペック 午前問題勉強開始 情報系入門 問題演習 午後問題対策 Java対策 SQL対策 アルゴリズムで躓く 他に読書がてら読んだもの 結果発表 まず、お先に結果発表から！午前得点 86.25点 午後得点 80.50点といった…

統計検定1級対策問題集~一様分布編~

さて、意外と鬼門な一様分布に関する想定問題(及び過去問)とその解答例を作成して見ました。目次 離散一様分布の期待値、分散、歪度 連続一様分布の期待値、分散、歪度、積率母関数 変数変換後の分布 max,minの分布 最尤推定量 逆関数法 二番目に小さいものの分布 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 離散一様分布の期待値、分散、歪度 問1 確率変数Xが1,2,...nの値を取る離散一様分布に従うと仮定する。この時期待値、分散、歪度を求めよ期待値について 分散について 歪度について 連続一様分布の期待値、分散、歪度、…

機械学習のバイアスバリアンス分解を古典的な統計学から丁寧に解説する

今日は、バイアスバリアンス分解の話をしようと思います。 目次 はじめに 古典的な統計学におけるMSEの分解 パラメータの推定 MSEの分解 機械学習におけるバイアスバリアンス分解 予測と分類 オーバーフィット バイアスバリアンス分解 まとめ double descent スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); はじめに 「バイアスバリアンス分解」と言う言葉を聞いて、皆さんは何を思い浮かべるでしょうか。恐らく古典的な統計学だけを勉強した人であれば、パラメータの推定量に関するMSEの分解を思い浮かべるかもしれません。一…

python入門 pandasを使ったデータフレームの扱い

pythonには、Seriesというデータ構造とDataFrameというデータ構造があります。データ分析において、これらのデータ構造に関する扱いを理解しておくことは必須ですので、簡単に入門記事を書いておこうと思います。 目次 pandas Seriesの利用 Seriesを扱うメソッド DataFrameの利用 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); pandas pandasはデータ分析に便利なデータ構造と、簡単に分析が行えるツールを備えています。Rユーザーであればデータフレームは馴染み深いとは思いますが、pyt…

python入門 Numpyを使った行列の計算

今日はNumpyパッケージに入っているndarray型変数の扱いについてやっていきます。 目次 Numpy ndarray 色々なarrayの生成 whereによる特殊な行列の生成 計算例 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); Numpy Rと違って、pythonは行列計算の基盤が通常整っていません。 例えば、リストで行列っぽいものを以下のように作ってみたとしても M1 = [[1,2,3],[2,3,4],[5,6,7]] M2 = [[2,3,4],[3,4,5],[6,7,8]] 足し算さえできません。 I…

python入門 リストの処理

pythonには、リストというデータ構造が存在します。今回は、リストの基本的な処理についてまとめていきます。 目次 リスト リストの参照と取り出し リストを扱うメソッド リストの要素の追加 リスト同士の結合 要素の削除 並び替える スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); リスト まず、適当にリストを作ります。 ListSample0 = ["X","Y","Z"] このように大括弧を使うと、リストが出力されます。一応ちゃんとリストになっているか確認 In : type(ListSample0) Out : list…

単純パーセプトロンとマージンに関するまとめ

今日は単純パーセプトロンの話をします。 実際の現場で役に立っているのは多層パーセプトロンや、SVMですが、その基礎となるパーセプトロンについて理解しておくことは重要ですので、とりあえず一通りまとめていきます。 目次 単純パーセプトロンとは何か 数学的な理解 パラメータの探索 パラメータ探索イントロ パラメタ探索の評価 パラメータの探索(確率的勾配法) より効率の良い又は精度の良いアルゴリズム マージンに関する話 関数マージン データ点関数マージン 超平面関数マージン 幾何マージン データ点幾何マージン 超平面の幾何マージン 最大マージン超平面 重要定理について Novikovの定理 Freun…

統計検定1級対策解説~MCMC編1~

統計検定1級の範囲表によると、いつのまにやらMCMCやベイズが追加されていますね。しかし、公式教科書は2013年出版の物しか出ていないため、その辺の範囲には対応していません。そこで、一通り何個かの記事を通して解説を行い、関連問題も上げていこうと思います。 目次 MCMCとは何か マルコフ連鎖 マルコフ連鎖と定常分布 定常分布への収束条件 詳細つり合い条件 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); MCMCとは何か MCMCは、マルコフ連鎖モンテカルロ法(Markov Chain Monte Carlo method)…

統計検定1級対策解説~一様最強力検定編~

今回は、一様最強力検定の話をします。目次 仮説検定 帰無仮説と対立仮説 誤差の確率 一様最強力検定 単純仮説 証明 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 仮説検定 とりあえず、ザックリと仮説検定の話をしていきます。仮説検定とは、「ある仮説を否定(棄却)出来るかどうかを検討したい」だとか、「ある仮説に基づいて、何かしらの意思決定を行いたい(モデル選択等)」といった場合に利用する、判定方法です。基本的な枠組みは次の通り。 帰無仮説と対立仮説 まず、棄却出来るかどうかを考えたい仮説として帰無仮説を考えます。 例えば、あ…

伊藤清三『ルベーグ積分入門』の1節から6節を整理＆概説してみた

テレンス・タオの方が証明で詰まったのもあり、最近は伊藤清三の『ルベーグ積分入門』をやっています。ルベーグ積分入門 今回はその進捗に関する内容のまとめ記事。間違いあったらご指摘お願いします。 今回の記事内容は、本が手元にあるという前提の解説記事です。目次 伊藤清三ルベーグ積分入門とは 1節から6節まで 概観 4節 有限加法的測度 有限加法的測度 5節 外測度 有限加法的測度と外測度の関係 ルベーグ外測度 可測 6節 測度 測度空間と外測度の関係 ルベーグ測度 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 伊藤清三ルベーグ積…

最近、基本情報技術者の勉強をしています

長く更新途絶えていました。申し訳ない。最近、秋(冬？)の基本情報技術者試験を受けようと思い、基本情報技術者試験の勉強をしています。 その辺の話は完全に初心者ですし、中々難航しており、統計・機械学習・経済学回りの話をまとめている時間が取れず、更新が途絶えておりました笑ボチボチ時間のある時に、またブログの更新をしていきたいと思います。 ところで、基本情報技術、どうやって勉強したら良いんでしょうね～、誰かアドバイス頂けると助かります。 とりあえず、現状の勉強状況を書いてきます！目次 現在の勉強進捗 購入した本 勉強期間 進捗 雑感 スポンサーリンク (adsbygoogle = window.ads…

私が敢えて高校の進路調査で文系を選択した理由と文系不要論について

ここ最近、このブログも少しずつ読者を増やしつつあり、多くのお問い合わせ(質問)を受けるようになりました。 その中で結構多い質問が 「何で、文系の大学院所属で、統計学や数学に関心を持ったのですか？」 といった質問です。確かに日本の大学進学の現状を考えると、文系をネガティブな理由で選ぶ人が多いのは経験的に確かだと思いますので、「文系ってことは、恐らく数学好きじゃなかった(もしくは苦手だった)んでしょ？」という前提が含まれるのは仕方のないことかと思います。 でも私の場合、実はそうではないんです。そして、これも文系の研究科に所属してみるとわかることですが、文系をポジティブな理由で選んでいる人というのは…

統計検定1級対策解説~情報量基準編~

今回はAICです。 AIC周りの話は、カルバックライブラー情報量とAICにどういう結びつきがあるのか概要を知っておくことが重要になってきます。 AICとは 何の役に立つんだって話 オーバーフィットとは AICの式の意味 AICを使ってみる 余談(機械学習でよく使われる手法の話) カルバックライブラー情報量 カルバックライブラー情報量とAICの関係性 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); AICとは AICは次のような式で表されます。 まずは、n個のサンプルから得られるパラメータの最尤推定量です。そして、は分布の自…

統計検定1級対策問題集~フィッシャー情報量編~

統計検定1級では、フィッシャー情報量を求める問題が頻出しています。そこで、フィッシャー情報量についてまとめました。目次 フィッシャー情報量とは フィッシャー情報量の第二の導出 フィッシャー情報量（行列）の具体例 ベルヌーイ分布 正規分布 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); フィッシャー情報量とは 尤度関数を考えます。 この時、この尤度関数について対数を取った対数尤度をパラメータ(ベクトル)について1階微分し、二乗して期待値を取ったものをフィッシャー情報量(行列)と呼びます。つまり フィッシャー情報量(行列)は様…

ルベーグ積分入門 テレンス・タオ 演習1.1.18の解答

ルベーグ積分の勉強のために、タオの『ルベーグ積分入門』を読み始めました。 タオの教科書は、内容が非常に明快である一方、重要な部分がほとんど演習問題に任されていて、しかもその演習問題がそこそこ難しいということで*1、自分なりに演習問題を解いてみようと思います。数学科ではないので、証明等は自己流ですので、何か穴、指摘等あればお願いしますm(__)m目次 演習1.1.18までの概要 演習1.1.18 有理数点を除いた正方形 有理数点 演習1.1.18までの概要 ルベーグ測度の話をする前に、古典的な測度をザックリ導入しておこうという話でした。 そこで、前回の記事でも確認したように、基本測度という矩形を…

十分統計量に関する小話

ここ最近、統計検定関連の記事が続いていますね。統計検定の範囲の中に「十分統計量」という単元があります。前に2記事くらい練習問題記事を書きましたが、今回は十分統計量についてツラツラ思っていることを書いていきます。完全に個人の感想です。 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); そもそも統計検定の範囲になっているが 統計検定に関する勉強をしている受験生の方々は、当然今の時代に、統計学を必要としている方々のはずなので、「この十分統計量って何？？？」と立ち止まってしまったり、「わざわざこんなこと考える必要ある？？」なんて感じ…

統計検定1級対策問題集~最尤推定量編~

統計検定1級では、最尤推定量を求める問題が頻出しています。そこで、最尤推定量を求める問題についてまとめました。目次 一様分布 パラメータ1つの場合 パラメータが2つの場合 ベルヌーイ分布 ポアソン分布 正規分布 指数分布 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 一様分布 パラメータ1つの場合 最大値が未知パラメータの次のような一様分布を考えます。この時の、パラメータの最尤推定量を求めます。 n個のサンプルが得られたとして、その同時尤度はこの尤度を最大化する推定量を考えます。 ただし、暗黙の条件に次の条件があることに…

統計検定1級対策問題集~十分統計量編2~

十分統計量に関する問題2記事目です。目次 ラオブラックウェルの定理 ラオブラックウェルの定理とは ラオブラックウェルの定理証明 フィッシャーネイマンの分解定理 負の二項分布 ガンマ分布 一様分布 リンク スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); ラオブラックウェルの定理 ラオブラックウェルの定理とは 初めに完備十分統計量を考える上で重要になってくる「ラオブラックウェルの定理」の証明についてやっておきます。実際の数理統計の本であれば、ラオブラックウェルの定理を示した後、完備性について解説し、完備十分統計量について話が移…

統計検定1級対策問題集~十分統計量編1~

今回は十分統計量に関する問題をまとめていきます。少し量が多いので、2回に分けます。目次 十分統計量とは フィッシャーネイマンの分解定理 フィッシャーネイマンの分解定理 ベルヌーイ分布 ポアソン分布 正規分布 分解定理を使わない例 スポンサーリンク (adsbygoogle = window.adsbygoogle []).push({}); 十分統計量とは 標本とその分布のパラメータを考えます。この時、次の等式が成り立つ統計量を十分統計量と呼びます。これは、どう解釈すれば良いかというと、「パラメータの情報をは十分に持っている」と解釈出来ます。等式を見ていただけるとわかるようにがあろうと無…