とある若手サラリーマンによる、日々得た技術の備忘録。 PythonやJavaScript、PHPのことを書いていきます。 また趣味の野球や食べ歩きのことも書いていきます!!
Twitter Premium Search APIを使ってツイートを集めた
はじめに 大学の研究で機械学習を用いて文章生成を行うために、大量のテキストデータが欲しかったのでそのコーパスとしてツイートを集めました。 Developerアカウントの作成後ツイート取得まで、色々手こずったので備忘録として書いておきます。 Twitter API Twitter APIにはSandbox、Premium、Enterpriseの3種類があり、それぞれ使える機能も異なります。詳細については割愛します。 今回はPremiumのFull-Archiveを利用しました。 Search API Full-Archive Full-Archiveは2004年以降のツイート全てが取得できます。…
今回はPythonのWebスクレイピングモジュール「BeautifulSoup(以下BS)」を使った、Webページのスクレイピングを紹介します! 準備 .py形式のファイルで使用するにはモジュールをインストールする必要があります。 以下のコマンドでインストールすることができます pip install beautifulsoup4またBSのメソッドを使うにはインポートする必要があるので、 pyファイルの先頭で from bs4 import BeautifulSoup と書くのを忘れないように! 使い方 def scraping(){ html = "<html>...</html>" sou…
jQueryで指定要素以外の要素をクリックした時の処理を書く
1. 概要 表示中のプルダウンを、プルダウン以外の場所をクリックしたらプルダウンを非表示にする という処理をご紹介します。文章だけだとイメージしづらいので、Excelを例にすると、 「検索と選択」というメニューを表示中に 別の場所をクリックすると表示していたメニューが消える みたいな処理をjQueryで書いてみました。 2. 処理の流れ コードをご紹介する前に、 先ほどのExcelのプルダウンを例にして、どのような手順で処理をしていくかを説明します。1. 全てのクリックイベントを取得 2-a. クリックした要素がプルダウン以外の時の処理 2-b. クリックした要素がプルダウン内の時の処理これを…
「ブログリーダー」を活用して、もちさんをフォローしませんか?
指定した記事をブログ村の中で非表示にしたり、削除したりできます。非表示の場合は、再度表示に戻せます。
画像が取得されていないときは、ブログ側にOGP(メタタグ)の設置が必要になる場合があります。