VS CodeでPoetryやuvの仮想環境をアクティベートする

Pythonの仮想環境をVS codeで呼び出してデバッグしようとして色々調べたのでメモをしておきます。 一番簡単と思われる方法 .venvにPythonのインタプリタを追加する PowerShell では以下のように 環境変数を一時的に設定 して uv を実行 $env:VENV_DIR = ".venv" uv venv Python環境の設定 VS Codeを開いて コマンドパレット（Ctrl + Shift + P）を開いて「Python: Select Interpreter」を検索 「Enter interpreter path」 → **「Find…」**を選択 下記の仮想環境の…

Pythonの仮想環境ツールuvの基本的な使い方

ちょっと前から使い始めたuv。 まだまだ使い慣れていなくて、ここいらで基本的な使い方を書いておいて、いつでも参照できるようにしておきたいと思います。qiita.com 新しいプロジェクトの作成 uv init パッケージの追加 uv add プロジェクト直下に .venv/ を作成 （Unix系：Mac/Linux/WLS）： export VENV_DIR=.venv （Windows CMD） set VENV_DIR=.venv （Windows PowerShell） $env:VENV_DIR = ".venv" uv venv VS Code で仮想環境を .venv に固定するに…

配布パッケージの作成

最近パッケージ化をしていてます。パッケージ化の方法をChatGPTなどのLLMなどで調べたので、流れる前にメモしておきます。 qiita.com build は、Python パッケージをビルドするための 高レベルのツール。setup.py に依存せず、pyproject.toml を利用してパッケージをビルド可能との事。 wheel は、Python パッケージの バイナリ配布フォーマット であり、それを作成するためのツール。 buildを使う方法 最近の Python では build モジュールを使うのが推奨されています。 この方法では pyproject.toml に build-sy…

VS CodeでPoetryの仮想環境をアクティベートする

仮想環境のパスをPythonインタープリタとして追加するVS Codeを開いて コマンドパレット（Ctrl + Shift + P）を開いて「Python: Select Interpreter」を検索 「Enter interpreter path」 → **「Find…」**を選択 下記の仮想環境のパスからbin/python（Windowsの場合はScripts/python.exe）を指定（パスの獲得については下記） 仮想環境のパスを取得 次のコマンドで仮想環境のパスを取得 poetry env info --path例: /home/username/.cache/pypoetry/…

AWSのCodeCommitの操作

CodeCommitでPushするまで 変更を全てステージングに追加 git add . 特定のファイルだけステージングに追加 git add example.txt コミット git commit -m "Add example.txt with a simple message" PUSH git pushステージングを解除 git restore --staged example.txt

Poetryのコマンド

Poetyのコマンドは忘れがちなので、メモしておきます。 例えば、Python 3.9.8をインストールする場合。 pyenv install 3.9.8 pyenvを使用して、プロジェクトディレクトリでPython 3.9.8を使用する。 pyenv local 3.9.8 poetryプロジェクトディレクトリで、poetryの仮想環境を再作成。 poetry env use $(pyenv which python)仮想環境が正しくアクティブになっていることを確認。 poetry shell 仮想環境がアクティブな状態で実行。 python XXXX.pyもしくは poetry run p…

pandasインストール時のエラー

表題の通り、Pandasを再インストール指定たら、下記のようなエラーが出ました。 AttributeError: partially initialized module 'pandas' has no attribute '_pandas_parser_CAPI' (most likely due to a circular import)多少難儀したので、解決方法をメモしておきます。 ちなみにエラーが出力されたのはバージョンは2.2.0 解決法 まずpip uninstall pandasでアンインストールしてからpip install pandas==2.1.0で旧バージョンをインストー…

Pythonでよく使うコード：その3 Pandas編

publicjournal.hatenablog.com Pandasの基礎 全般 qiita.com qiita.com qiita.com mryksy.hatenablog.com 抽出 pythondatascience.plavox.info 列の抽出はdf.loc[:,['A','B']]でもいけるし，df[['A','B']]でもいける deepage.net 連結 sinhrks.hatenablog.com イテレータ sinhrks.hatenablog.comblog.mwsoft.jpqiita.com これは割とはまり易いので注意。apply後の連結はSeriesを使…

チートシート集

qiita.com qiita.com

Dockerの基礎

先日、図書館に行ったら良さげな本が置いてあったので借りてきました。最低限の機能を使いこなすために必要な知識を丁寧に解説している良書でした。図解！ Dockerのツボとコツがゼッタイにわかる本作者:角間実秀和システムAmazonそういえば、これまでDockerを自己流で使っていました。必要なものだけを調べるだけで、体系的には勉強していませんでした。折角なので、これを機に勉強してみます。勉強がてらに、この記事に本書の要点をメモしておきます。 本書のメモ 環境を立ち上げる この書籍では、まず環境を立ち上げるコマンドとして、次のものが紹介されています。 docker run --name tutori…

WSL2にDockerをインストールする

去年の夏くらいに条件付きでDocker Desktop有償になりました。誤って有償の条件に当てはまっていたら面倒なので、無償の方法を模索して環境構築をしました。 あの時はネットの記事を調べて断片的に実施していったものの、まとまっている記事がなかった気がします。そのせいか、最近PCを変えてDocker無償環境構築をしようとおもってもどうやったのか忘れました・・・。 なので、Dockerの環境構築の方法をメモしておきます。加えて、最近は良くPythonを使うので、Visual Studio CodeとJupyter Notebook上でPythonを使う方法を書いておきます。 WSL2をインストー…

Pythonライブラリに関するチートシート

以前からプログラミング作業効率化のために、Pythonでよく使うライブラリについてまとめていました。 publicjournal.hatenablog.com publicjournal.hatenablog.com最近、チートシートがTwitterで流れてきたので、リンクを貼っておきます。 チートシートリンク Pandas github.com Matplotlib github.com

DockerにNumPyroをインストールする

先日までCmdStanPyを使っていました。が、事後分布の可視化や後処理が面倒だったり、何よりAnaconda をアンインストールしてPipやconda forgeから再インストールしたら、何故かうまく動作しませんでした。。。やっぱりStan系はインストールが大変です、、。 「諦めてPyStanを使うか、PyCM3に戻ろうかなぁ」なんて思っていた矢先、こういう記事を発見しました。 機械学習で楽しむJAXとNumPyro v0.1.0 http://secondearths.sakura.ne.jp/jax/playjax.pdf NumPyroというパッケージがあって、これがなかなか興味深いで…

CmdStanPyの試運転

先日CmdStanPyをインストールしてみました。（詳細は下記参照） publicjournal.hatenablog.com RのStanやPyStanと結構違うので、どういうものかと一通り使ってみました。ひとまず“Hello, World”を参照にしながら動作確認をしました。 “Hello, World” — CmdStanPy 1.0.1 documentation 同じような例題が書籍「Pythonによるベイズ統計モデリング」のP48～57にあるので、同書と同じことをCmdStanPyを使ってやってみたいと思います。 Pythonによるベイズ統計モデリング ―PyMCでのデータ分析実践…

CmdStanPyのインストール

これまでRのStanを使っていましたが、CmdStanPyを使ってみようと思い立ち、インストールしようとしました。公式ドキュメントに沿ってインストールしたつもりですが、めちゃめちゃ苦戦しました。Stan系はインストールに苦労します。 そういえば、何年か前にMCMCの勉強会がありました。みんなでPyStanを使おうと頑張りましたが、インストールできた人が確か誰もいなかったような。。。結局、PythonユーザはreticulateでRのStanを呼び出していました。 そんなわけで、CmdStanPyのインストールもすんなり行きませんでした。いろいろ試行錯誤した結果よさそうな方法を模索したので、メモ…

Pythonでよく使うコード：その2 描画編

何度も引き直すのでメモ記事を作成しました。下記の続きです。 publicjournal.hatenablog.com 描画系 描画まとめ 時間の表記 斜め表記 テクニック 描画の保存 その他の描画ライブラリ 描画系 基礎 qiita.com 描画まとめ qiita.com own-search-and-study.xyz chayarokurokuro.hatenablog.com qiita.compython.atelierkobato.comqiita.com www.yutaka-note.com qiita.com 時間の表記 teratail.com 斜め表記 www.delfts…

(後日修正)VScodeでSSH接続

qiita.comqiita.com

Gitのアクセストークン

結構面倒で，ちょっとハマってしまいました．．． 【git】パスワードを受け付けなくなりアクセストークンを取得後に行った設定

Google ColaboratoryでNotebookをHTMLに変換する

Google Colaboratoryはどこでも同じ環境で作業ができるので便利ですが，jupyter labにあるようなHTMLダウンロードの機能がないようです． そこで下記を参考にしました． qiita.comただ，ファイルの場所を聞かれたりとそのまま使うことが出来なかったので，すこし書き換えました． 何度も書き換えるのが面倒なので，このブログに書き下して，コピペして使えるようにします． from google.colab import files import re import shutil # そのままHTML化すると上書きされてしまうので，一旦コピーする dir = '/conten…

テクニック色々

qiita.com qiita.comqiita.comqiita.com qiita.comDB qiita.comqiita.com AWSqiita.com その他 qiita.comqiita.comqiita.com

Pythonでよく使うコード

忘れて何度も引き直すのでメモ．都度更新予定． Pythonの基礎的な操作 リスト内包表記 Pandasの基礎 全般 抽出 連結 イテレータ Jsonファイルの取り扱い 時間 描画系 その他テクニック Pythonの基礎的な操作 qiita.com リスト内包表記 qiita.com qiita.com note.nkmk.me note.nkmk.me Pandasの基礎 全般 qiita.com qiita.com qiita.com mryksy.hatenablog.com 抽出 pythondatascience.plavox.info 列の抽出はdf.loc[:,['A','B']]…

PYMC3を実行してみるとエラーが出る

いつもはJupyterからPyMC3を呼び出していましたが，今回はスクリプトを実行してみたところ，次のようなエラーが出たという． In Windows OS, this usually means that the child process raised an exception while it was being spawned, before it was setup to communicate to the main process. The exceptions raised by the child process while spawning cannot be caught…

間違えてフォルダを指定すると『PermissionError: [Errno 13] Permission denied』になる

かなり初歩的ですが，1時間位ハマったのでメモ． teratail.com たとえば、windowsではフォルダをopenしようとするとそのエラーになります。そういったトラブルがあるのかもしれません。 globの癖とかでフォルダを指定しちゃ駄目なんですよねー

ポアソン分布とガンマ分布から事後分布を導出して，事後期待値や予測分布などを求める

この前までとある所で一般化線形モデルから始まるベイズモデリングの勉強に参加していました．一般化線形モデルを通して勉強したのは初めてかもしれません．ということでベイズモデリングについて体系的に勉強するために記事を書いてみようと思います． この記事ではまず手始めとしてある例題をもとに，ベイズの定理を用いて事後分布を導出する過程について述べます． もくじ もくじ こんな例題を考えてみる まず事前分布を決める 観測値から尤度関数を求める 事前分布と尤度関数から事後分布を求める 事後分布から事後期待値，事後分散，予測分布をもとめる ソースコード 参考 こんな例題を考えてみる この記事では割とよくある例題…

PyMC3をインストールする際に起きたトラブル色々（’19年9月秋の陣）

普段はPyMCを使っているんですが，とある勉強会でPyStanを推奨しているのでインストールしようとしたらバージョンの違いか何かでC++のコンパイラが動かず．もう諦めてPyMC3で頑張ろうと思ったら今度はPyMCも謎のエラー．Anacondaを再インストールしてPyMC3を再インストールしようとしたら色々とトラブルが発生しました．これのトラブルシューティングを記録しておきます． 結論を先にいうと，Anacondaと全モジュールのバージョンを上げました． インストールしたバージョンなど まず最初に，こいつらを再インストールしました． Anaconda3-5.2.0-Windows-x86_64 …

エラーメッセージ；visual studio code '$ file ' cannot be resolved. please open an editor

トラブル Visual studio codeでjupyterを動かしたあとDebugを走らせようとすると， visual studio code '$ file ' cannot be resolved. please open an editor というダイアログが立ち上がった． 対処法 ダイアログにある「Opne launch.json」を開けたてから再びDebugしたら，何故か正常に動いた

エラーメッセージ「OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)」の対処

久々の更新matplotlibを使ってみたらこんなメッセージが出た OverflowError: Exceeded cell block limit (set 'agg.path.chunksize' rcparam)該当するところは描画のところ plt.plot([3万行くらいのリスト],[3万行くらいのリスト]) サイズのところが悪さをしていたらしい plt.figure(figsize=(10, 6)) plt.subplot(2, 1, 1) コイツらをコメント化したら治った

標準化と中心化

Pythonで標準化とか中心化はどうやってやるんだろうという話です．結論だけ書きます．（そのうち合間を見て加筆します）このページではこういうデータを使います 標準化 from scipy import stats x = df.iloc[:, 2:6].apply(stats.zscore, axis=0) x.head() 標準化されているかを調べます 平均ほぼ0，分散(標準偏差)ほぼ1 中心化 y = df.iloc[:, 1].apply(lambda v:v-df.iloc[:, 0].mean() ).astype(float) y.head()

バイアス-バリアンス分解の導出を真面目にやる

どうもです．只今，下記の書籍にを用いて勉強中です．応用をめざす 数理統計学 (統計解析スタンダード)作者: 国友直人出版社/メーカー: 朝倉書店発売日: 2015/08/25メディア: 単行本（ソフトカバー）この商品を含むブログを見るP118のあたりに推定の偏りの話や，不偏推定量の事が述べられています．そして推定量の真の母数と推定量の二乗誤差の期待値を計算する所では次の式が書いてありました． さぁ，なんということでしょう～，式の行間が開きすぎてよくわかりません．他の書籍で調べてもこんな感じで端折ってありますし，ネットで調べても「期待値の計算すれば上手いこと消えてほしい項が0になってくれます」み…

Windows環境下でPython版のglmnetを使うとどうなるか？

夏のある日のこと， 私はLasso回帰を用いてあるデータを分析しようとしていた．glmnetを呼び出して実行したところ， x input must be a scipy float64 ndarray とエラーメッセージが帰ってきた．あれ？っと思ったけど，その日に扱っていたのは整数値だったことを思い出した． しゃぁ無いから浮動小数点数にキャストしてみたんだ． これで間違いは無いはず． スクリプトを実行してみると・・・ raise ValueError('loadGlmlib does not currently work for windows') ValueError: loadGlmlib…

StatsModelsとscikit-learnのElastic Net(Lasso回帰)を比較してみた

最近スパース推定の勉強会に参加しております．使っているテキストはこちら．スパース推定法による統計モデリング (統計学One Point)作者: 川野秀一,松井秀俊,廣瀬慧出版社/メーカー: 共立出版発売日: 2018/03/08メディア: 単行本この商品を含むブログを見るこの本の第2章のElastic Netについて勉強がてらにプログラムを書いてみて，振る舞いを観察してみました． 今回使うデータはこちら．リンク先のヘッダの「Earn」が観測日の売上．「MaxTemp」が観測日の最高気温で「MinTemp」が最低気温．「Humi」は観測日の湿度．「Wind」は風の強さ．「Sun」は日照時間です．…

データフレームの各行の差を計算してグラフ化する：Pandas

やりたいことしては，タイトル通り『データフレームの各行の差を計算してグラフ化する』ことです．Pandasのデータフレームを用いて各列の時間差を計算してグラフに出力するということをやります．今回はTimedelta型を使っているのですが，データフレームの差を計算して描画しようとすると「'Timedelta' object has no attribute 'plot'」というエラーメッセージ出てきます．無理やりint型になおして出力するとナノ秒になってしまうので，これを上手く工夫して出力しなくてはなりません． ここからが本題 さて，こんなデータを使います．各駅の名前とそこを通過する時間が記載され…

Pandasデータフレーム内の複数の文字を「.str.split」を使って区切る

Pandas(＠Python)のデータフレーム内のstringを複数の文字で区切りたい場合があります． 「.str.split」を使うのですが少し工夫が必要です． まぁ，簡単に言うと縦棒「 」で区切るわけですよ． import pandas as pd df = pd.DataFrame( {'Time': ['jt=10:00:00:-p', 'jt=10:01:01:-p', 'jt=10:10:02:-p', 'jt=10:50:03:-p', 'jt=11:00:04:-p'], 'Value': [25, 30, 104, 52, 41]}) df_spr = df['Time'].…

ベイズ更新をやってみた！

3月の末にベイズ推定の勉強会に参加してきました！ math-unknown.connpass.com この勉強会では単に講師の話を聞くだけではなく，みんなでワイワイディスカッションしながら進めるような形式で，グループ内の誰かが疑問に思ったことを後で調べることでより理解が深まったように思います． そして講師の方の説明の流暢さに脱帽でした！ その中でもベイズ更新の例としてオオカミ少年の例が興味深いと思いました．勉強会の案内のところに次のリンクが貼ってあったので，共有しておきます． okandayo.hatenablog.com ベイズ更新を使ってオオカミ少年の例をシミュレーションしてみようと思いま…

ATOMをCドライブ以外にインストールする方法

ATOMってエディタがあって，これはでは「こいつはCドライブ以外にインストールできないのか？」と思っていましたが，ひょんなことからDドライブとかにもインストールできました． あるときATOMをインストールし直そうとすると「Installation has failed」と表示されました．なので下記を参考にさせていただきました． takumi9942.netこれによれば AtomSetup.exeあるいはAtomSetup Beta exeを7zipソフトで開く 中のファイルを短いパスのところに展開する（例：C:\Temp） コマンドプロンプトを起動し、展開したフォルダまで移動する。（例：コマン…

PandasとStatsModelsを使って重回帰分析をしてみた

Pythonで重回帰分析をやってみました多変量解析法入門 (ライブラリ新数学大系)作者: 永田靖,棟近雅彦出版社/メーカー: サイエンス社発売日: 2001/04/01メディア: 単行本購入: 2人 クリック: 9回この商品を含むブログ (1件) を見るこの文献のP43～86を参考を参考にしています．マンガでわかる統計学 回帰分析編作者: 高橋信,井上いろは,トレンドプロ出版社/メーカー: オーム社発売日: 2005/09/01メディア: 単行本購入: 42人 クリック: 186回この商品を含むブログ (101件) を見るまた，回帰分析の全体の流れは上の書籍を参考にしています．今回はStats…

PyCharm：interpolaterの設定にまつわるエラー

年末年始にかけてPyCharmをインストールし直したら，エラーが出まくりました・・・ 自分が勉強不足のところもあるわけですが，直すのに時間が掛かりました． 色々試行錯誤したのでメモっておきます． ちなみにインストールしているバージョンは「Anaconda3-5.0.1-Windows-x86_64」「pycharm-community-2017.3.2」です． そもそもRun出来ない場合 症状 解決法 ライブラリが読み込めない，importしない 症状 解決法 結局どうしたかというと・・・ そもそもRun出来ない場合 症状 Runしようとすると Please Select a valid Py…

Pandas：グループ毎に括って最大の値を含む列を抜き出す

PythonのライブラリーであるPandasを使って，「グループ毎に括って最大の値を含む列を抜き出す」方法のメモです．対象とするのはこんなデータ Sensor Time Value 0 T-A 10:00:00 25 1 T-B 10:00:01 30 2 T-C 10:00:02 104 3 T-B 10:00:03 52 4 T-C 10:00:04 41 5 T-A 10:00:05 91 6 T-C 10:00:06 102 7 T-B 10:00:07 40 8 T-B 10:00:08 101 9 T-C 10:00:09 97 3種類のSensorから時間と検知された値(Valu…

Anacondaをインストールしようとすると「Failed to create Anaconda menus」と言われる

Anacondaをアップデートしたらおかしくなったので再インストールした．そしたら「Failed to create Anaconda menus」と言われてインストールできない．shirabeta.netアンインストールしてもフォルダが残っていたので削除したらインストールできたっぽい

Python：秒数が小数点以下のパース

Pandasでデータフレームに格納するときに，時間にナノ秒まで含まれている時のパースのやり方についてのメモ．対象とするのはこんなデータ． //file.csv 17:22:59.703371360,10 17:22:59.788956621,20 17:22:59.790719017,30 17:22:59.813919277,20 17:22:59.891942610,10 17:22:59.898820371,20 17:22:59.919604329,30 こんな感じで，小数点以下がすごい長いデータをパースしたいわけです． 一例としてこんな感じでしょうか． import pandas a…

ランダム関数について

numpyランダム関数を色々使ってみました．まずはインポート In [1]: import numpy as np random()は0から1までの値が得られる In [10]: np.random.random() Out[10]: 0.45226808024834264 引数を入れると，入れた数字分の乱数が得られる In [12]: np.random.random(5) Out[12]: array([ 0.93385679, 0.6383795 , 0.20373784, 0.76812241, 0.42309771]) 範囲指定は出来ないみたいです In [13]: random.u…

Jupyterでmatplotlibのメイリオを使うとしたらエラーが出た

表題のような現象が見られたので，次のように書き換えてみた import matplotlib import matplotlib.pyplot as plt plt.style.use('ggplot') # ggplotを使う matplotlib.rc('font', family='sans-serif')

移動平均を計算しようとすると「FutureWarning: pd.rolling_mean is deprecated for Series and will be removed in a future version, replace with ・・・」と出て来る

FutureWarning: pd.rolling_mean is deprecated for Series and will be removed in a future version, replace with ・・・ stackoverflow.com

特定の行・列を残す：Python，Numpy

Pandasで条件を指定して行・列を抜き出すやつが有ると思います．正式名称は分かりませんが，df[val>0]みたいなやつです．Numpyのarrayでおんなじことが出来るか試したので，メモ書きしておきます．まずはこんな感じで配列を作ります．そして1個飛ばしで列を獲得できるかやってみます． In [31]: import numpy as np In [32]: a = np.array([[ 0, 1, 2, 3], ...: [ 4, 5, 6, 7], ...: [ 8, 9, 10, 11], ...: [12, 13, 14, 15]]) In [33]: label = np.ar…

Pythonでargmaxとかargmin

argmaxとargminについて書いてあるようなタイトルですが，本記事ではargmaxのみです．argminも使い方は同じなので書いてません． まずは配列を用意します． In [8]: import numpy as np In [9]: a = np.array([[1,2,3],[4,5,6],[7,8,9],[2,8,2]]) あとはご覧の通り In [10]: a.argmax(axis=0) Out[10]: array([2, 2, 2], dtype=int64) In [11]: a.argmax(axis=1) Out[11]: array([2, 2, 2, 1], dt…

sum()とsum(1)は何が違うのか？？：Python,NumPy

全部足すか列ごとに足すかの違いでした～ In [46]: import numpy as np In [47]: A=np.array([[ 2,4,6.], ...: [ 4,8,12.], ...: [ 6,12,18.]]) In [48]: A.sum() Out[48]: 72.0 In [49]: A.sum(1) Out[49]: array([ 12., 24., 36.])

カーネル関数の使い方：scikit-learn

Pythonのscikit-learnのカーネル関数を使ってみたので，メモ書きしておきます．いやぁ，今までJavaで一生懸命書いてましたが，やっぱりPythonだと楽でいいですねー． もくじ 最初に注意する点 線形カーネル まずは簡単な例から データが多次元だったら ガウシアンの動径基底関数 最初に注意する点 最初につまずいた所．一次元の配列だとエラーが出るみたいです． import numpy as np from sklearn.metrics import pairwise x = np.array([1, 1]) #([[1, 1]])と書かないとエラーになります print(pair…

PyCharmの64Bitをインストールする

問題点 PyCharmをインストールしようとしたら32Bitのlauncherしか出ない． 解決方法 stackoverflow.com ここにも書いてあるように64BitのJDKをインストールする

Pandasでmatplotlibみたいに描画する

これまでPandasとmatplotlibを一緒に使う機会がなかったんですが，Pandasにも描画機能があります．しかもこれが結構便利！とうことで早速使ってみたので，ログとして残しておきます． import pandas as pd import pylab import matplotlib import matplotlib.pyplot as plt plt.style.use('ggplot') # ggplotを使う font = {'family' : 'meiryo'} # フォントをメイリオにする matplotlib.rc('font', **font) # # データフレー…

データフレームからarrayに変換：pandas numpy

機械学習のライブラリなどを使おうとすると，データフレーム型からnumpyのarray型にしないと引数として渡せない場合があります．このデータフレームからarrayに変換する方法は色々あるんですが，一番簡単なのはas_matrix()を使うことでしょうか． In [102]: import pandas as pd # pandasをインポート In [103]: import numpy as np # numpyをインポート # データフレームを定義する In [104]: df = pd.DataFrame({'Time': ['10:00:00', '10:00:01', '10:00:…

Pathを通した先のファイルの読み書きがおかしくなる

teratailのフォーマットが見やすいので，真似して書いてみます． 前提・実現したいこと Pythonの3系を使っているのですが，どうやら開発環境のワークスペースを変えるとファイルを読むときにはワークスペースからパスを通さなくてはならないらしいです．なのでパス＋ファイル名みたいな書き方をしていたのですが，エラーが出てしまいます． 発生している問題・エラーメッセージ たとえば path = 'ファイルまでのパス' df = pd.read_csv( path + 'ファイル名.csv') と書くと File b'ファイルまでのパス\\ファイル名.csv' does not existという具合…

Jupyter Notebookの設定を色々変えてみる

PythonといえばSpyderを使ったりJupyter Notebookをしてますが，Jupyter Notebookの方はフォントが気に入らなかったりします．そこでnbextensionsをつかって色々いじってみたんですが，忘れそうなのでこのブログにメモしておきます．ちなみにAnacondaはAnaconda 4.3.0 For Windowsを使っています．ダウンロードは下記のサイトからしました． GitHub - ipython-contrib/jupyter_contrib_nbextensions: A collection of various notebook extensio…

CSVファイルが読み込めない

症状 Spyderを使っていてCSVファイルが読み込めなくなる File b'ファイル名.csv' does not exist 原因 Spyderの設定でワークスペースを変えるとこうなる 対処 パスを通せば良い path = '++++\名前\' df = pd.read_csv(path + "dataset.csv",header = None) パスを移動させても良い csv_data = pd.read_csv('./path/dataset.csv')

データの集約とグループ演算をやってみる Pandas

PythonのPandasを使っていると，例えば同じ名前の者同士を一括りにして，平均なり最大値を出したり，という処理を迫られることがあります．私自身，この間それを迫られた訳で，オライリーの本を読んで，どういう挙動を示すか色々試してみました．せっかくなので試した内容を，この記事にメモしておきたいと思います．www.oreilly.co.jp さて，今回のデータフレームは下のものを使います． In [62]: df = pd.DataFrame( ...: {'Time': ['10:00:00', '10:00:01', '10:00:02', '10:00:03', '10:00:04','1…

Jupyter Notebookを立ち上げると，一瞬だけコンソール画面が出てから落ちる

Jupyter Notebookって何かとトラブル気がします． この記事を最初に書いたのは17年の冬ですが，その後違う原因のトラブルに見舞われたので，その時の対処方法をメモしておきます． 1．リンク先に「%HOME%」のような変な値が入る 原因は何か？ 解決方法 Ⅰ変な値を削除 Ⅱコマンドプロンプトから起動 参考 2．ConfigFileが見当たらない 原因は何か？ 対処方法 追記 1．リンク先に「%HOME%」のような変な値が入る Jupyter Notebookが立ち上がらない，起動せずに一瞬だけ下のようなコンソール画面が出てすぐに閉じてしまうという現象がありました．よくみると「No su…

Python,Pandas:データフレーム操作

In [11]: import pandas as pd In [12]: import numpy as np In [13]: df = pd.DataFrame(np.array([[1,1,1,1],[1,'A',1,'B'],[1,'A',1,'B'],[1,1,1,'B']]), columns=['C1','C2','C3','C4']) In [14]: df[df['C2']=='A'][['C2','C4']] Out[14]: C2 C4 1 A B 2 A B