海外留学から学ぶデータサイエンスの経験について発信しています. 化学系企業R&D所属の社会人大学院生.MSDSを取得するために豪州へ留学. データサイエンスで留学を考えている人達に役立つブログの運営を目指しています.
|
https://twitter.com/wakame_msds |
|---|
大規模データの分析を強力にサポート: Apache Sparkの概要
2023-01-04 Apache Sparkは大規模なデータを扱うためのオープンソースの統合分析エンジンです。 Apache Spark 3.0からはGPUを扱った並列分散処理、3.2ではSpark上でPandas APIの利用が可能となりました。この記事では大規模データを処理するSparkの概要についてまとめます。
「ブログリーダー」を活用して、ワカメ@🇦🇺研究型データサイエンティストさんをフォローしませんか？
