算額あれこれ

Julia で統計解析 一応の完

Juliaで統計解析https://r-de-r.github.io/stats/Julia-stats1.htmlhttps://r-de-r.github.io/stats/Julia-stats2.htmlhttps://r-de-r.github.io/stats/Julia-stats3htmlhttps://r-de-r.github.io/stats/Julia-stats4.htmlhttps://r-de-r.github.io/stats/Julia-stats5.htmlhttps://r-de-r.github.io/stats/Julia-stats6.htmlhttps://r-de-r.github.io/stats/Julia-stats7.htmlhttps://r-de-r....Juliaで統計解析一応の完

2022/02/28 17:36

「ナイチンゲールの鶏頭図よりは折れ線グラフ」を Julia で描く

ナイチンゲールの鶏頭図よりは折れ線グラフ...というRのプログラムも，あまり良くない気がして，Juliaで書いて（描いて）みた。Rのexample(Nightingale)の図折れ線に重ねるデータポイントが，文字通り「間が抜けている」Juliaで描いた図。自画自賛。usingRDatasets,DataFramesNightingale=dataset("HistData","Nightingale");usingPlotsfunctionline(x,y,col,legend)plot!(x,y,color=col,label=legend)scatter!(x,y,markersize=3,color=col)endusingDatesfunctionlinechart(df)gr(grid=false,t...「ナイチンゲールの鶏頭図よりは折れ線グラフ」をJuliaで描く

2022/02/24 13:25

ナイチンゲールの鶏頭図--再び

2019/12/10にもナイチンゲールの鶏頭図について描いたが，それはRであった。そのときには，HistDataパッケージのNightingaleは知らなかった。中澤先生がexample(Nightingale)で描けると言及していたので，やってみた。meltがないとか，reshapeがないとか，ggplot2がないとかうるさかった割に，ちょっと残念な出来栄えだった。ので，Juliaで描いたみた。ggplotの呪いがないので，スッキリ書けたと思う。プログラムは下の方に。2枚の図は描画範囲を一致させている。ちょっと，色がどぎつい。usingRDatasets,DataFramesNightingale=dataset("HistData","Nightingale");usingColors,Plots,Date...ナイチンゲールの鶏頭図--再び

2022/02/23 19:17

Julia: sum(), var() に対応する describe()

"""DataFramesのdescribe()は，sum(),var()を計算しない。sum(),var()に対応する関数describe2()を定義しておく。指定できるのは:sum,:mean,:var,:std,:min,:q25,:median,:q75,:max,:nmissingである。すべての統計量を計算するときは，統計量の指定をしないようにするか:allを指定すればよい。なお，DataFrames.describe()と競合してもかまわないならば，関数名をdescribeにしてもよい。この場合，DataFramesのdescribe()を使うときは，DataFrames.describe()とする。"""usingDataFrames,Statisticsfunctiondescribe(df,...Julia:sum(),var()に対応するdescribe()

2022/02/22 11:33

Julia で水平方向のデンドログラムを描く

"""JuliaのClustering.hclust()はデンドログラムを描く機能を持たない。以下のプログラムは，Rのplot()と同じであるが水平方向のデンドログラムを描く。"""usingPlotsfunctionplot_hclust_horizontal(hc)functionget(i,x)x[i]<0&&return(ord[abs(x[i])])get(x[i],x)endn=length(hc.order)apy=collect(n:-1:1).+0.5apx=zeros(n)ord=sortperm(hc.order)plot(yshowaxis=false,yticks=false,tick_direction=:out,grid=false,xlims=(-0.05,maximum(hc....Juliaで水平方向のデンドログラムを描く

2022/02/22 07:40

Julia で統計解析--その8 多変量解析

Juliaで統計解析--その8多変量解析これらの文書群はgithubで管理することとした最新バージョン2022-02-2207:25以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats8.html1.回帰分析1.1.線形最小二乗回帰LinearLeastSquare1.1.1.単回帰分析1.1.2.重回帰分析1.2.リッジ回帰RidgeRegression1.2.1.説明変数が1個の場合1.2.2.説明変数が2個以上の場合1.3.GLMパッケージによる回帰分析1.3.1.重回帰分析OrdinaryLeastSquaresRegression1.3.2.プロビット回帰ProbitRegression1.3.3.ロジット回帰LogitRegression1.4.多項式...Juliaで統計解析--その8多変量解析

2022/02/22 07:40

1 行できれいな散布図描けるのに，なんで ggplot2?

usingPlotsz=randn(1000,100);x=sum(z[:,1:70],dims=2);y=sum(z[:,30:100],dims=2);scatter(x,y,grid=false,#なくてもいいtick_direction=:out,#なくてもいいlabel="",#なくてもいい)1行できれいな散布図描けるのに，なんでggplot2?

2022/02/20 15:54

1  行できれいなヒストグラム描けるのに，なんで ggplot2?

usingPlotsx=randn(10000)histogram(x,grid=false,#なくてもいいtick_direction=:out,#なくてもいいlabel="",#なくてもいい)1 行できれいなヒストグラム描けるのに，なんでggplot2?

2022/02/19 21:58

Julia で統計解析--その3 データフレームの取り扱い

これらの文書群はgithubで管理することとした最新バージョン2022-02-1222:38以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats3.html1.データを使用するための準備1.1.既存のデータを使用する1.2.自前のデータ2.データフレームの概要2.1.データフレームの大きさ2.2.データフレームの変数名2.3.データフレームの表示3.データフレームのコピーはcopy()で4.空データフレーム5.データフレームの列の参照6.データフレームの行の参照7.データフレームの列名の変更8.列の抽出9.指定された列を削除する10.行の抽出11.行の削除12.重複を除き，ユニークな行のみを含むデータフレームを作る13.欠損値を含む行か含まない行か14.欠損値を含...Juliaで統計解析--その3データフレームの取り扱い

2022/02/12 22:35

Julia で統計解析--その7 検定と推定

これらの文書群はgithubで管理することとした最新バージョン2022-02-1222:23以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats7.html1.HypothesisTestsに含まれる検定関数の使用法1.1.検定関数関数の呼び出し方1.2.検定関数関数により得られる結果の利用法2.検定と推定2.1.分布の検定2.1.1.観察度数が一様かどうかの検定2.1.1.1.ピアソンのχ二乗検定2.1.1.2.対数尤度比検定（G2検定）2.1.2.観察度数が理論比に從うかどうかの検定2.1.2.1.ピアソンのχ二乗検定2.1.2.2.対数尤度比検定（G2検定）2.2.独立性の検定2.2.1.ピアソンのχ二乗検定2.2.2.対数尤度比検定（G2検定）2.3.パワ...Juliaで統計解析--その7検定と推定

2022/02/12 21:44

Julia が 1.7.2 にアップデートされた

うれしいなぁhttps://julialang.org/downloads/#current_stable_releaseJuliaが1.7.2にアップデートされた

2022/02/10 13:23

Julia: RCall が Julia 1.7.2 / macOS Monterey / M1 チップで 動くようになった

しばらく前からというのも，Julia1.7.1になったり，macOSMontereyになったり，マシンがM1チップ搭載のMacminiになったりで，わたしの環境でRCallが動かなくなっていた。今日，たまたまなんの気無しにやってみたら，動いた。ばんざい！！julia>usingRCalljulia>R"""x<-matrix(c(3,5,6,8),byrow=TRUE,nc=2)fisher.test(x)"""RObject{VecSxp}Fisher'sExactTestforCountDatadata:xp-value=1alternativehypothesis:trueoddsratioisnotequalto195percentconfidenceinterval:0.088393176.37801...Julia:RCallがJulia1.7.2/macOSMonterey/M1チップで動くようになった

2022/02/10 13:17

Julia: 一般項がn、n²、n³、...、n^10、n^50の数列の和

SymPyでn^10までと，n^50をやってみましたjulia>summation(k^50,(k,1,n)) >factor >printn*(n+1)*(2*n+1)*(429*n^48+10296*n^47+75504*n^46-118404*n^45-3433716*n^44+5209776*n^43+177855964*n^42-269388834*n^41-8790556346*n^40+13320528936*n^39+399690120544*n^38-606195445284*n^37-16528902129916*n^36+25096450917516*n^35+617619215226134*n^34-938977048297959*n^33-20729072134582867*n^32+...Julia:一般項がn、n²、n³、...、n^10、n^50の数列の和

2022/02/08 10:44

Julia: sin7.5°、cos7.5°、tan7.5°はどんな数？

思ったより，簡単で，びっくりした。Julia:sin7.5°、cos7.5°、tan7.5°はどんな数？

2022/02/07 00:35

Julia: HypothesisTests.BinomialTest() の p 値に難あり

HypothesisTestsの二項検定のp値が駄目だ。正確に言うと，母比率≒0.5のときの両側検定の場合に限るのだが。母比率≒0.5のときは，確率分布が歪んでいる。例えば，x=18,n=24,p=0.68だと，以下のようになる。julia>usingPlotsjulia>bar(pdf(obj),xticks=(1:25,0:24),xlimit=(7,26),grid=false,tick_direction=:out,label="")julia>usingDataFramesjulia>obj=Binomial(24,0.68)Binomial{Float64}(n=24,p=0.68)julia>p=[pdf(obj,x)forxin0:24];julia>cum1=cumsum(p);julia>c...Julia:HypothesisTests.BinomialTest()のp値に難あり

2022/02/05 15:32

Julia: HypothesisTests.PowerDivergenceTest() の問題点

JuliaのHypothesisTests.PowerDivergenceTest()は問題がある。対象とする分割表に，度数が0のセルがあると不適切な（役に立たない）結果を返す。julia>x=[4520;0761;1031]3×4Matrix{Int64}:452007611031julia>usingHypothesisTestsjulia>result=PowerDivergenceTest(x,lambda=0.0);julia>println(result.stat)NaNjulia>println(pvalue(result))NaNそこで，以下のような関数を書く。julia>functionPDTsummary(result::PowerDivergenceTest;resid::Bool=fal...Julia:HypothesisTests.PowerDivergenceTest()の問題点

2022/02/04 18:57

Julia: sin22.5°、cos22.5°、tan22.5°はどんな数？

SymPyでやった。簡単だった。Julia:sin22.5°、cos22.5°、tan22.5°はどんな数？

2022/02/03 15:37

Julia: Yates の連続性の補正

またまたHypothesisTests.ChisqTest()の件であるが，JuliaはYatesの連続性の補正は眼中にないらしい。いろいろなページにも一切出てこない。で，以下のように拡張した。usingHypothesisTestsfunctionsummary(result)println("chisq.=$(round(result.stat,digits=5)),df=$(result.df),p.value=$(round(pvalue(result),digits=5))")endfunctionchisq_test(x::AbstractMatrix{T};correct::Bool=false)whereT<:Integernrows,ncols=size(x)ifcorrect&&nrows=...Julia:Yatesの連続性の補正

2022/02/03 15:37

Julia: HypothesisTests.ChisqTest() の問題点

JuliaのHypothesisTests.ChisqTest()は色々問題がある。今までもいくつか指摘したところであるが，今回は独立性の検定（χ二乗検定）に引数として2つのベクトルを与える場合について書く。ChisqTest()の定義で，引数に2変数のベクトルを与える場合は以下の2つの関数が定義されている。https://github.com/JuliaStats/HypothesisTests.jl/blob/413a901612d5ca9551fe3e28a9a0646dd4b3c98d/src/power_divergence.jl#L349-L370<pre>functionChisqTest(x::AbstractVector{T},y::AbstractVector{T},levels::Leve...Julia:HypothesisTests.ChisqTest()の問題点

2022/02/03 11:52

Julia: String3, String7 って，何？

それが起こったのは，たぶん2022年1月末のある日。以前にはなんのエラーもなく実行できていたプログラムでエラーが生じる。FreqTables.freqtable()で作成したクロス集計表の列や行を抽出できなくなっていた。再現すると以下のようである。まず以下のようなデータを読む。io=IOBuffer("""ID,Weight,Height,Age,BloodType,Gender125,44.6,157.6,17,A,Male321,57.3,158.8,26,B,Male437,54.3,162.2,22,AB,Female426,45.4,160.8,31,O,Male243,48.5,174.5,34,B,Female""")CSV.read()の第1引数はIOBuffer()の戻り値をとることができる。...Julia:String3,String7って，何？

2022/02/03 09:18

Julia で統計解析--その6 数値データの可視化

これらの文書群はgithubで管理することとした最新バージョン2022-02-0217:05以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats6.html1.数値データの可視化1.1.ヒストグラム1.1.1.一標本の場合1.3.2.複数標本の場合1.4.ボックスプロット（箱ひげ図）1.5.バイオリンプロット1.6.ドットプロット1.7.カーネル密度推定の描画1.8.Q-Qプロット1.9.散布図1.10.カーネル密度推定1.11.散布図行列Juliaで統計解析--その6数値データの可視化

2022/02/02 17:36

Julia で統計解析--その5 離散データの可視化

これらの文書群はgithubで管理することとした最新バージョン2022-02-0216:54以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats5.html1.離散データの可視化1.1.例示に使用するデータセット1.1.1.カテゴリーデータ1.2.棒グラフ1.2.1.一標本の場合1.2.2.二標本以上の場合1.2.2.1.横に並べる棒グラフ1.2.2.2.積み上げ棒グラフ1.2.3.複数のグラフを行列状にまとめて表示する方法1.3.帯グラフ1.4.モザイクプロット1.5.バルーンプロットJuliaで統計解析--その5離散データの可視化

2022/02/02 17:33

Julia で統計解析--その4 集計

これらの文書群はgithubで管理することとした最新バージョン2022-02-0216:51以下を参照のことhttps://r-de-r.github.io/stats/Julia-stats4.html1.一変量統計1.1.一変数の場合1.1.1.基礎統計量1.1.2.パーセンタイル値1.1.3.度数分布1.2.複数の変数の場合1.2.1.eachcol()を使う1.2.2.describe()を使う1.2.3.combine(),select()/select!(),transform()/transform!()を使う1.3.グループごとの記述統計量1.3.1.describe()を使う1.3.2.変数ごとに統計量を一覧表示2.二変量統計2.1.二重クロス集計表2.2.相関係数，共分散2.2.1.欠損値を...Juliaで統計解析--その4集計

2022/02/02 17:27