Proxy環境下でWebスクレイピング[request][BeautifulSoup]

import urllib from bs4 import BeautifulSoup if __name__ == "__main__": proxy = urllib.request.ProxyHandler({'http': 'http://xx.xx.xx.xx:8080'}) opener = urllib.request.build_opener(proxy) url = "http://xx.xx" urllib.request.install_opener(opener) html = urllib.request.urlopen(url) soup = BeautifulSo…

Juliaでもglobは使える！[Julia]

Pythonでお世話になっているglob．*を使ってパターンマッチングしてくれるから，フォルダ内のファイルを読み込む際にとっても便利だ． そんなglobだが，実はJuliaでも同様のライブラリが存在する！ これは使うしかない．ということでadd Glob（GlobのGは大文字なので注意）でインストールし，使ってみた． using Glob glob("./file/*.txt") >> 3-element Array{String,1}: ".\\file\\text1.txt" ".\\file\\text2.txt" ".\\file\\text3.txt" ワイルドカード*を使って，ファ…

ユーバスロイヤル高井田店の感想

http://yu-bath.com/t-bath/ 天然温泉であるところは良い 庶民的なスーパー銭湯だった 駅から近い 中央線沿線上の高井田駅から徒歩で行ける 客層は近所の地元民 高井田のすぐ近くに繁華街があるわけではないので，うるさい中華系の観光客はいなくて寛げた． だけど地元客が多い分，子供が多くて騒がしいときもあり． あと，平日夜はそれほど混んでないようだ． 風呂場内が狭い それほど規模の大きいスーパー銭湯ではない 電気風呂あり お風呂後に落ち着いて過ごせるスペースが無い 総評 東大阪で宿をとったときには利用してみるといい。 天然温泉なので、出張の疲れがとれて良かった。 しかし、狭く騒…

ベルリンの全裸混浴サウナ「Vabali Spa Berlin」に行ってきた

去年ドイツのサウナが混浴であることを知り，好奇心に駆られて現地まで行って男女混浴を体験してきたので，そのときのレポートを書く． 地元民に人気の「Vabali spa」に行くことにした ドイツに行く前の事前調査としてTrip Advisorでドイツにあるサウナを調べてみた．すると出てくる出てくるサウナの場所．結構多いんだな．調べた結果，地元民に人気らしい「Vabali spa」へ行くことに決めた． 「Vabali spa」は駅から徒歩で行ける混浴サウナ 「Vabali spa」はベルリン中央駅から徒歩14分ほどの場所にある． トラムを使えばベルリン中央駅から9分ほどで行ける．徒歩でも15分くらい…

フォーマット済み文字列リテラルの便利な使い方[Python]

Python3.6から追加されたフォーマット済み文字列リテラルを便利に使ってるなあと思った事例をいくつか紹介． 今後も見つけるたびに追加していこうと思う． Bashのように{hoge}で変数を使う Kaggleで見かけた使い方 あるフォルダのしたのファイルを読み込むときに便利． 例 DATA_FOLDER = '../input' LABELS = f'{DATA_FOLDER}/train_labels.csv' TRAIN_IMAGES_FOLDER = f'{DATA_FOLDER}/train' print文に変数を埋め込んで使う >>> name = 'Fred' >>> age =…

defに付いてる->ってどういう意味？[Python]

Kaggleのコードを読んでいると以下のような記法を見つけた． def greeting(name: str) -> str: return 'Hello ' + name ん？ -> ってなんぞ？ 調べてみると型に関する注釈をつける機能だということが分かった． 上の例だと，name: str で入力がstringであること，-> str. で関数greetingの出力がstringであることを示す． 関数に直接作用する記法ではなく，今のところあくまで可読性を上げるためのもののようだ． しかし，今後のアップデートで型にあっていなかった場合にエラーをだす機能も追加されそうな気もするので，押さえて…

CNNで足裏画像を分類してみた[CNN][Pytorch][自作データ]

はじめに 日常生活でほとんどお目にかかることのない女性の足裏はとてもエロい．そして筆者はそういう画像を沢山収集したい欲があるのだ． だけど，ネットで足裏画像を収集するのは手間がかかる．なぜなら画像をアップするときにいちいち「足裏の画像ですよ」とは普通書かないから． そんな集めるのに手間がかかる足裏画像を自動で分類できれば捗るなあ．そう思って足裏画像の分類器をつくってみた． データの準備 本記事の目標は顔と足裏が映っている画像の識別だ．足裏だけではなく顔も映っている画像が好みなんだ私は． そしてTwitterやGoogleの画像検索を駆使し，足裏画像1,967枚，足裏以外の画像2,432枚をダウ…

CoNLL-2003の横についてる単語ってどういう意味？

NER(固有表現抽出)の評価の際によくでてくるCoNLL-2003. データセットを眺めていると, 単語の横にPRP や B-NP, O などの記号が付いている. これってどういう意味なの? と思ったので調べてみた. まず, CoNLL-2003データセットの構造を下記に載せる. " " O O He PRP B-NP O said VBD B-VP O I PRP B-NP O would MD B-VP O really RB I-VP O enjoy VB I-VP O life NN B-NP O there RB B-ADVP O and CC O O that IN B-SBAR …

汎用言語モデルBERTをつかってNERを動かしてみる

本記事は，2018秋にバズった汎用言語モデルBERTをとりあえずつかってみたときのレポートである． このBERTというモデルをpre-trainingに用いると，様々なNLPタスクで高精度がでるようだ．詳細に関しては以下のリンクを参照． [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 早速手順に入る． 今回はdockerにBERT-NER専用のコンテナを構築するところから始める． まず，BERT-NER専用のコンテナを以下のコマンドで作成. GPUを使うの…

PDFを画像に変換する

ImageMagickのconvertコマンドを使う。 convert -density 150 7181-attention-is-all-you-need.pdf[1] -quality 90 output.png 上を実行するとこんな画像が出力される。 ちなみに[]の中の数字はページ番号を表し、ページ番号の指定により、任意のページを画像に変換することができる。 output.png

コマンドラインでPDFから図を抽出

Popplerの付属コマンド、pdfimagesを使う。 # Popplerが入って無ければ入れる # https://github.com/systemslab/popper/tree/master/cli pip install popper pdfimages -p -png hoge.pdf paper_fig を実行するとpaper_figに抽出された図が溜まる。 例えば、こんなペーパー(https://papers.nips.cc/paper/7181-attention-is-all-you-need.pdf)を入力すると、 こんな画像が抽出される。

Proxy環境下でpip[Python]

pip install hoge --proxy http://your_proxy:8888