Webサイトからのデータ取得 ①Google系Webサービスのデータ取得(サイト検索・画像検索・Youtube検索)

やりたいこと Google検索(キーワードにヒットした検索結果のタイトル、リンク一覧) Google画像検索 (キーワードにヒットした検索結果の画像ファイル) Youtube動画検索 (キーワードにヒットした検索結果の動画ファイル) 実装済みソースコード 参考サイト やりたいこと pythonで下記のGoogle系Webサービスの結果を自動取得する Gooogle検索 (キーワードにヒットした検索結果のタイトル、リンク一覧) Google画像検索 (キーワードにヒットした検索結果の画像ファイル) Youtube動画検索 (キーワードにヒットした検索結果の動画ファイル) Google検索(キーワ…

データマージ方法① 複数ファイルに記載された集計データに対するマージ

やりたいこと 複数ファイルに記載された集計データのマージ ①複数グループのデータのマージ 実装 ②同一対象を含むデータのマージ 実装① 実装② やりたいこと 複数ファイルに記載された集計データのマージ * 各種の集計結果 (アンケート、帳票など) * 時系列データ (タイムスタンプの処理)については別記事で記載予定 複数ファイルに記載された集計データのマージ 一般的によく使われそうなケースを想定して場合分けして考える ①複数グループのデータのマージ 重複する対象がない複数グループに対して同じ項目の計測をしたデータ (下記では複数のチームに対する身体測定結果の例でイメージを記載) [f:id:s…

画像・動画ファイル読み込み方法 (フォルダ配下の画像/動画/ドキュメントを一括読み込み)

やりたいこと ユーザーが指定したローカルフォルダにある下記ファイルを画像形式で読み込む jpgファイル pngファイル aviファイル mp4ファイル pdf ファイル (各ページを画像として取得) フォルダ・ファイルパスを指定すると拡張子からフォーマットを識別して取得 動画は全フレーム/PDFは全ページを読み込む 読み込み結果はpandas dataframeのリスト(ファイル数分)、ファイル名のリストとして出力する 事前準備 pdfファイルの読み込みにpdf2imageというライブラリを利用する github.com 上記ライブラリはpopperというアプリを動かす必要があるため、下記サイ…

トップページ

このブログのコンセプト カテゴリ pythonによるデータ分析 データ読み込み 前処理 特徴抽出 GUI出力/ユーザー要求処理 電子工作プロトタイピング 前提知識 Web機能 ROS開発 センシング このブログのコンセプト 業務等で活用しやすい『機能単位』でノウハウをまとめる イラスト1つでやりたいことがわかる構成とする 一般的なPCの開発環境(Windows+Anaconda等)ですぐに試せるコードをgithubに残す 詳細な機能の記事(各種ライブラリに関する使い方説明など) は他サイトのリンクにとどめる カテゴリ pythonによるデータ分析 業務等でpythonスクリプトを用いたデータ処…

pandasのデータファイル読み込み方法 (フォルダ配下のファイルを一括読み込み)

やりたいこと 実装 各フォーマットファイルをpandas data frame として読み込む フォルダ内のファイルリストを探索する 参考サイト・書籍 やりたいこと Pandasでユーザーが指定したローカルフォルダにある下記データファイルを読み込む csvファイル tsvファイル xls/xlsxファイル jsonファイル フォルダ・ファイルパスを指定すると拡張子からフォーマットを識別して取得 各データファイルは1行目に項目ラベル、2行目以降にデータが記述されていることが前提 読み込み結果はpandas dataframeのリスト(ファイル数分)、ファイル名のリストとして出力する 実装 実装結…