chevron_left

メインカテゴリーを選択しなおす

cancel
JPP
フォロー
住所
未設定
出身
未設定
ブログ村参加

2021/10/06

arrow_drop_down
  • スクレイピングした株価情報をjson形式で出力しFTPでサーバーにアップロードする

    前回保有している株の株価情報をスクレイピングしてjson形式のファイルに出力することができました。freelancer.hatenablog.jpこのファイルを元に最終的にはスターサーバー上のMySQLに登録したいのでまずはFTPを使ってアップロードできるようにします。 サンプルプログラム import requests import json import time import ftplib from bs4 import BeautifulSoup def getText(el): """指定した要素内の文字列を返す Args: el (bs4.element.ResultSet): 要…

  • スクレイピングした株価情報をjson形式で保存できようにした

    前回保有している株の株価情報をスクレイピングすることができました。freelancer.hatenablog.jp管理・編集しやすいように結果をjson形式のファイルに出力してみました。 サンプルプログラム import requests import json import time import ftplib from bs4 import BeautifulSoup def getText(el): """指定した要素内の文字列を返す Args: el (bs4.element.ResultSet): 要素 Returns: str: 要素内の文字列 """ if el is not N…

  • pythonで株価をスクレイピングする

    前回Webページのスクレイピングまでできたので今回は株価のスクレイピングを試します。freelancer.hatenablog.jp 株価を取得できるサイト スクレイピングが許可されているサイトを調べてみると下記が見つかりました。 Google Finance www.google.com 株探 kabutan.jp みんかぶ minkabu.jpこの中からページのソースを見て解析しやすそうだった株探から株価を取得することにしました。 株探のページ情報 URL https://kabutan.jp/stock/?code=銘柄コード 武田薬品工業の株価情報(2021年10月7日時点) kabu…

  • 保有中の株の株価を自動集計したいのでpythonでスクレイピングする方法を調査

    保有中の株の株価を自動で取得してデータベース化したいのでpythonでスクレイピングする方法を調査しました。 requestsモジュール 最低限必要なのはrequestsモジュールpipコマンドを使ってインストールします。 pip3 install requests スクレイピング対象のページ freelancer.hatenablog.jpこの記事の中で作ったサンプルーページをスクレイピング対象にします。http://sample.kansai-fan.com/py/pymysql.py サンプルプログラム scrape_html.py import requests import json…

  • スターサーバーでpythonからMySQLに接続できた!

    前回はpythonで使えるMySQLライブラリを調べてみました。freelancer.hatenablog.jp結論から言うとmysql-connector-pythonとPyMySQLを使ってMySQLに接続してデータを取得することができました。 ライブラリのダウンロードと設置 mysql-connector-python 下記からmysql-connector-python-8.0.26.tar.gz をダウンロードする。pypi.org解凍してmysqlディレクトリをサーバーにアップロードする。 mysql-connector-python PyMySQL 下記からPyMySQL-1.0…

arrow_drop_down

ブログリーダー」を活用して、JPPさんをフォローしませんか?

ハンドル名
JPPさん
ブログタイトル
AB型技術系 主に備忘録
フォロー
AB型技術系 主に備忘録

にほんブログ村 カテゴリー一覧

商用