Pythonデータ分析入門 『pandasで欠損値を穴埋め 』

こんばんは。まるやくんです。前回に引き続きデータの前処理について紹介します。前回同様にデータが欠損している状態を想定しますが、今回は欠損値を除去するのではなく穴埋めする方法を紹介します。 pandas, numpy, nanのインポート 適当な配列を作成しデータフレームを作成 任意の箇所に欠損値を代入 欠損値を0で穴埋め 列ごとに任意の値を指定して欠損値を穴埋め 平均値で欠損値を穴埋め どのように欠損値を補完するかは分析結果によって使い分けることになると思いますが、自分の望む結果に引っ張られそうですね。それなら削除してしまった方が良いと思うのですが、試行錯誤しながら試していきたいと思います。次…

Pythonデータ分析入門 『pandasで欠損値を除去する 』

こんばんは。まるやくんです。データの集計や分析を行う際にデータの前処理が必要になります。例えば文字列や数値が半角、全角で統一されていなかったり、データが重複していたり、そもそもデータが欠けているなどです。今回はデータが欠損している状態を想定して、欠損値を除去する方法を紹介します。 pandas, numpy, nanのインポート 適当な配列を作成しデータフレームを作成 任意の箇所に欠損値を代入 要約統計量を算出 dropna で欠損値を削除 欠損値を全て除去するのは非常に簡単ですが、データの集計結果や分析結果が変わるという点に注意が必要です。次回は欠損値を生かす為に、欠損値を穴埋めする方法につ…

Pythonデータ分析入門 『pandasでエクセルファイルの読み込みと書き出し 』

こんばんは。まるやくんです。 今日はデータ分析を行う上で最初に必ず行うステップとして、データの読み込みについて紹介します。日々の集計や分析業務で取り扱うデータはエクセルやcsvファイルが多いと思います。もちろん定期的に決まったデータを集計するのであれば、エクセルvbaで十分だと思います。ただ例えば月の業績報告をすると上司や客先からはこの期間で見るとどうか？この項目に絞って見れないか？など様々な指摘をいただきます。そういった時にpandasはその場で様々な集計に対応出来るので非常に便利です。 pandasのインポート エクセルファイルの読み込み 要約統計量の算出 3をエクセルに書き出す .car…

スマホの月額料金を500円以内にする方法

こんばんは。まるやくんです。 わたしのスマホの料金は1ヶ月480円です。DMM モバイルのデータ通信のみの1ギガプランにしています。スマホを使うのは主にLINEとスマートニュースを見るくらいです。メリットはとにかく安いことです。DMM モバイルは業界の中でも最安と言っても良いでしょう。あと高速通信を使い切ってもネットに一瞬だけ高速になるバースト機能があります。 もちろんデメリットもあります。ランチタイムや定時後の夕方なんかはとにかくネットが遅いです。この辺りは値段と比較してどこまで許容するかですね。 わたしは通勤時間が長いので、家のWIFI 環境でdマガジンやアマゾンprimeで雑誌や電子書籍…

アトピーと花粉症がつらい。。

こんばんは。まるやくんです。 かれこれ20年くらいアトピー性皮膚炎に悩まされています。ここ最近は頭のかゆみがひどいです。薬を塗れば一時的にはおさまりますが、次の日にはかゆくなってまたひどくなるの繰り返しです。頭は乾燥して皮がめくれてくるので、はたから見るとふけのように見られがちなのでそれもつらいですね。また最近花粉症と重なって目のかゆみ、鼻水、くしゃみも加わりストレスMAXです。仕事も全くはかどりません。あまりにひどいので、ザイザル錠という飲み薬を処方してもらいました。アレルギー全般に効くようでかゆみも鼻水もだいぶ楽になりました。夜飲む薬ですが、日中も少し眠気が出るので運転する方は注意してくだ…

歯は健康ですか？

こんばんは。まるやくんです。 今日ははてなブログのお題である歯磨きについて書きます。私は朝晩の2回歯を磨いています。歯間ブラシやフロスを使って念入りに行っています。ただそれでも3ヶ月に1度歯医者で検査してもらうと歯石が若干たまっています。朝は5時、夜は仕事が遅いので10時くらいなので間隔が空きすぎると良くないのでお昼も磨いた方が良いのかな？と思っています。でも会社で歯を磨くのはちょっと抵抗がありませんか？私だけかもしれませんが。 今でこそしっかりと歯が磨けるようになったのですが、ここ10年くらいずっと歯医者に何度も治療に通っていました。私の親知らずは横向きに生えていて隣の歯との間に虫歯が出来て…

Pythonデータ分析入門 『pandasで超簡単にデータ集計 2 』

こんばんは。まるやくんです。今回は様々なデータの取り込みを紹介する予定でしたが、データフレームの簡単な集計方法についてもう少し紹介します。前回はデータフレームの列ごとの集計でしたが、今回は groupbyメソッドを使ってみたいと思います。 pandasのインポート データフレームの作成・表示 groupbyメソッドをチーム毎の合計値を算出 groupbyメソッドをチーム毎の平均値を算出 データ分析をする際に社内の業績であればチームや個別に集計する事がよくあると思います。グループバイメソッドを使うと簡単にグルーピングして集計する事が出来るので便利ですよ。次回は様々な形式からデータを取り込みデータ…

Pythonデータ分析入門 『pandasで超簡単にデータ集計 』

こんばんは。まるやくんです。今日はpandasを使ってデータフレームの簡単な集計方法を紹介します。 pandasのインポート データフレームの作成・表示 sumメソッドで列ごとの合計を算出 meanメソッドで列ごとの平均を算出 describeメソッドで様々な統計量を一度に算出 corrメソッドで相関を確認 今回は非常にシンプルなデータフレームで行いましたが、何千行のデータでもすぐにこれらの集計を行う事が出来ます。describeメソッドではちょっと見慣れない単語が並んでいますが、stdは標準偏差、50%はデータの平均値ではなく中央値が示されています。またcorrメソッドでは各データ間の相関係…

ウオシュレット付トイレを修理しようとして家が水浸しになった話

こんばんは。まるやくんです。 最近ウオシュレットの水が出てこないので修理を試みました。取扱説明書を見るとストレーナ（ゴミ取りフィルター）に水アカやごみがつまると洗浄水の出が悪くなるので掃除して下さいと書いてあったので早速掃除しようとしました。 作業の手順は、まず最初に止水栓をドライバーで閉め、サイドカバーを外しストレーナのふたを外します。それからストレーナを水洗いするという流れです。 ここで一番重要な止水栓の締め付けが甘くストレーナを外した瞬間とんでもない勢いで水が溢れだしました。完全にパニック状態になってしまい、ストレーナをなんとか取付て水を止めようとしましたが勢いが強すぎて取り付けらない。…

ウェルスナビをはじめて1年立ちました

こんばんは。まるやくんです。ウェルスナビをはじめて1年が経ちました。10万円からスタートして毎月1万円をおこづかいから積み立てています。下の写真がウェルスナビの資産評価額です。今のところ22万円投資してマイナス1051円です。増えてません。。 ウェルスナビの資産評価額 もちろん長期投資なので短期間で一喜一憂してはいけないのはわかっています。ただAI投資とか聞くとどうしても期待しちゃいます。 日経平均に連動したファンドに投資した事もあり気になってここ1年の日経平均推移を見てみました。こちらもちょうど1年前と比較するとほぼ同じでした。 1年間の日経平均推移 ひとまず損はしていないのでOKとしてこの…