【Python】pandasでCSVファイルをParquetファイルへ変換する
備忘録がてらメモ。 最近ビッグデータを扱うプロジェクトでは「Parquet」という列指向フォーマット（カラムナフォーマット）が好まれるようになってきた。 parquet.apache.org Parquetの利点は、なんといってもデータの読み込みの速さとストレージ容量の節約にあるだろう。 今回はPythonのpandasを利用して、CSV形式のファイルを読みこんでParquet形式のファイルに変換する簡単な方法をメモしておく。 今回は、次のようなCSVファイルを用意した。 例: data.csv "id","name","rating","birthday","registered_at" "…
2023/02/03 16:43
