searchカテゴリー選択
chevron_left

メインカテゴリーを選択しなおす

カテゴリーのご意見・ご要望はこちら
cancel
プロフィール
PROFILE
ブログタイトル
ITの隊長のブログ
ブログURL
https://www.aipacommander.com/
ブログ紹介文
ITの隊長のブログです。いや、まだ隊長と呼べるほどには至っていないけど、日々がんばります。
ブログ村参加
2012/07/17
本日のランキング(IN)
フォロー

ブログリーダー」を活用して、アイパー隊長さんをフォローしませんか?

ハンドル名
アイパー隊長さん
ブログタイトル
ITの隊長のブログ
フォロー
ITの隊長のブログ

アイパー隊長さんの新着記事

1件〜30件

  • LambdaからSageMakerを叩いたときのスクリプトメモ

    import boto3 import base64 import uuid import json def convert_b64_string_to_bynary(s): """base64をデコードする""" return base64.b64decode(s.split(',')[1].encode("UTF-8")) def query_endpoint(base_64ed_image): img = convert_b64_string_to_bynary(base_64ed_image) print(type(img)) endpoint_name = 'jumpstart-ft…

  • あふたー

    この前こんな記事を書いた。 www.aipacommander.com もうちょいで1ヶ月近く経とうとしているがだいぶ楽なったので久々にブログ書く。 会社に事情を話しして工数を下げることにした ちょうど評価FBタイミングだったので率直に「死にそう」と相談したところ、結果的に工数を抑える方向になった。有り難し。 時期的に忙しくなる期間なので、(毎年死んでいるけど)「今年はガチで死ぬな・・・」とか思っていたんですが、正直に言うと退職を考えるところまでいってて、「給料下げてでもええから1 ~ 2年はフリーランスになってちとこの状況をなんとかするぞー!」と退職3歩手前だった。 でもまぁとりあえず上司や…

  • 子育てが難しい

    子育てそのものも難しいんだけど、どっちかつーと仕事との両立かしら? 最近振り回されている感があってちと辛い。コントロールしたい。 子供二人いますが、長男が嫁とセットで療育に行く間は、次男を僕がみる。その間は仕事できないので、足りない工数は夜間または早起きして対応する。 という生活が続いて3ヶ月たちますが大変である。 まず、これまでの見積もりが全然役に立たくなくて大変。もともと下手くそだったけど余計に予見できない。ひたすら仕事できる時間集中して終わらすというのを繰り返している感じ。また、「これは明日でもいいや」とか判断するのが難しい。子供が風邪引くとかイレギュラーあって、次の日全然作業できない〜…

  • RubyのHashとシンボルにハマるメモ

    qiita.com Pythonと同じことやってたら死んだ(20分とけた) { "test" => "" # hash "test2": "" # symbol } qiita.com

  • [Anaconda] [Angular2] ほげほげ [Ansible] [Python]

    テスト [BigQuery] なんかわからないが、[] で文字囲むとカテゴリとして登録されるっぽい?

  • Anaconda Solving environment: Kille

    Anacondaのコンテナ起動して、python3.6の環境を作ろうって思って実行したところ、よくわかんエラーが。 $ docker run --rm -v $(pwd):/app -w /app -it continuumio/anaconda3 /bin/bash # conda create -n py36 python=3.6 anaconda Collecting package metadata (current_repodata.json): done Solving environment: failed with repodata from current_repodata.…

  • Twitter APIでトレンドを取得するまでに調べたことの雑メモ

    まずここを参考 syncer.jp WOEID なるものがよくわからず、ぐぐるのに苦労したけどこのQiitaの記事に助けられた。 qiita.com また、取得できる値で tweet_volume がnullなケースが多い。なんでだろうと思い、ブラウザで確認できるトレンド情報と比較してみると、どうやら1万件未満のトレンドは0に丸められるっぽい。なんだと・・・

  • Cabochaの構造がよくわからなかった件

    よくみるフォーマットですね。コマンドで実行するとどの単語のまとまり(chunk)に係っているか確認できます。 で、こいつをPythonから使ってみるといまいちクラスのインターフェースがよくわからず四苦八苦していましたが、先に組んでくれた人のコードをみたらだいたい理解できた。 github.com 簡略版でこんな感じ。 import CaboCha from collections import defaultdict option = '-d /usr/lib/mecab/dic/mecab-ipadic-neologd' parser = CaboCha.Parser(option) tre…

  • パワポで覚えたショートカットとかノウハウがたまっていく記事

    Macのパワポです ⌘ + ⌥ + g グループ化 ⌘ + ⌥ + shift + g グループ化解除 単一、複数オブジェクトをactiveにしておく → shift + ctrl コピーしたオブジェクトと水平(?)にコピペができる

  • 「クチコミ分析システムの作り方 実践・自然言語処理シリーズ」を読んでる

    クチコミ分析システムの作り方 (実践・自然言語処理シリーズ)作者:松尾義博,富田準二発売日: 2019/06/29メディア: 単行本 memo 主観表現辞書の作成 ①評価表現 辞書中の語(特に形容詞、形容動詞)を中心に全列挙 評価表現を多数含むテキストに人手でアノテーションする どっちも併用すると良い ②評価極性を付与 きれい:P、臭い:N ホラー映画の怖いはNじゃなくてPかもしれないので場合による注意 評価表現辞書は公開されているぞ https://www.cl.ecei.tohoku.ac.jp/Open_Resources-Japanese_Sentiment_Polarity_Dict…

  • Seleniumを使って、dl > dt, ddのフォーマットでddが複数あるときのスクレイピング

    こういうやつ <dl> <dt></dt> <dd></dd> <dd></dd> <dt></dt> <dd></dd> </dl> dtとddで1対1かしらとか思ってたけど、そうじゃなかったねめんどくさい。 というわけでゴリ押してみた def add_values(values, _values): if len(_values) > 0: values.append(_values) def get_data(driver): ds = driver.find_elements_by_css_selector('dl > *') keys = [] values = [] _values…

  • SageMakerで遊ぶメモ#2

    trainしてs3にアップされたモデルをデプロイするコード from boto3.session import Session class SagemakerClient: def __init__(self): self.client = Session().client("sagemaker", region_name="us-west-2") def create_model(self, model_data_url): model_params = { "ExecutionRoleArn": "hogehoge-fugafuga:role/aipa-sagemaker-train", …

  • SageMakerで遊ぶメモ#1

    qiita.com ↑の記事を参考にして進めた。 諸事情でIAMユーザー発行&アクセスキー等発行できないので、EC2インスタンス上で行った。リージョンはオレゴン IAM roleを作成 aipa-hogehoge-fugafuga-train policy AmazonEC2ContainerRegistryFullAccess AmazonS3FullAccess AmazonSageMakerFullAccess 信頼されたエンティティ ec2.amazonaws.com sagemaker.amazonaws.com S3 s3://aipa-hogehoge-fugafuga-trai…

  • multiprocessingでQueueのputとgetを別プロセスで回しながらやるやつ

    import time import math from multiprocessing import Process, Queue, cpu_count import queue as pyqueue def worker(q): while True: try: # なにか処理 _ = q.get(timeout=15) except pyqueue.Empty: break def main(q): for i in range(1000): q.put(i) if __name__ == "__main__": q = Queue(maxsize=1000) p = Process(t…

  • Windows Server 2019でGitlab Runnerを入れてPython unittestを走らせるメモ

    まだ書いている途中と できました。 雑メモです 環境 AWS(Windows Server 2019) Python 3.6 参考記事 windows server 起動後 qiita.com gitlab runner関連 ちょっと項目違ったりしたけどだいたいあっている qiita.com gitlab runnerのインストール手順は読めばわかるんだけど、僕みたいなせっかちさんに説明すると gitlab runner.exeを落としてくる gitlab runnerで登録する(register) 無事gitlabと通信できたらinstallとstartを実行する docs.gitlab.c…

  • 2020年の振り返り

    もうときはすでに2021年。ちと遅くなったけど振り返る 2020振り返り 会社のLT大会でこんなスライドを用意してたので貼り付ける 時系列データ分析を一通り学べた気がする ただ深惚れてはいないので、なんかサービス作りたい気もするけど今後のやりたいことリストに追加して学んでいきたい 異常検知も一通り学べた気がする 時系列と同様 PySpark難しい でかいデータを処理しても落ちないようにするのが大変 とりあえずjoinは絞り込んでから使うといいぞ! あと組み立て方があんまり好きじゃなかった PHP楽しかった 丁寧なWeb開発を今後心がけたい あとデザインセンスが✕なのでそこも埋めたさ MLOps…

  • 「コンサル一年目が学ぶこと」を読んだ

    メモでもなんでもない記事です www.amazon.co.jp 神サービスってのを最近気づいたのでスマホに落として読んでみた コンサル一年目が学ぶこと作者:大石哲之発売日: 2014/07/31メディア: Kindle版 3年前ぐらいに読みたかった本です。今いる会社で学んできたのがだいたい詰まっている。僕の場合失敗から学ぶことが多かったけどこれ読んで少しでも実践してたらなんか変わっていたのかも(しかし結局失敗しないとわからん!的な体なので変わらなかったかも) 色々参考になるところはあったので思い返して実践やらマインドを変える材料にしたいなーと思いましたまる

  • 子供が生まれた その2

    www.aipacommander.com 二人目誕生です。そのときのログ 当時、嫁と子は1週間ぐらい病院にいるし、このご時世だから中々顔みれなかった。 ログ 深夜0時。破水は突然。あれ?なんかデジャヴ 上の子は爆睡してたけど、置いておくわけにはいかないので抱っこして病院へ 自家用車を会社の駐車場に停めていたことを思い出したのでDiDiでタクシーをよぶ。便利 病院へごー。ついたけど、コロナ対策のため嫁だけデプロイ。旦那と子は帰る 帰宅。とりあえず寝かしつけ。そして僕もねむい( ˘ω˘)スヤァ 目がさめた。3時。まだ生まれていないっぽい。LINEマンガを読む。寝落ち 目がさめた。5時。生まれたっ…

  • Ginzaで固有表現抽出試したけどまだ遊びたりない

    何の記事でもなくただのメモ megagonlabs.github.io 映画名取れるかな。とか思ったので試した。 $ apt update -y && apt install gcc -y $ pip install -U ginza $ ginza ゴジラを視聴しました!! # text = ゴジラを視聴しました!! 1 ゴジラ ゴジラ PROPN 名詞-固有名詞-一般 _ 3 obj _ SpaceAfter=No|BunsetuBILabel=B|BunsetuPositionType=SEM_HEAD|NP_B|Reading=ゴジラ|NE=B-PERSON|ENE=B-Person …

  • Kedroで指定のDataCatalogを保存する

    苦労したわ(探すのに) # catalog.ymlを読み込む >>> import yaml >>> with open(os.path.join('conf', 'base', 'catalog.yml'), 'r') as f: ... config = yaml.load(f, Loader=yaml.FullLoader) # DataCatalogを用意 >>> catalog = DataCatalog.from_config(config) >>> catalog.list() ['hogehoge_txt'] # hogehoge_txtは type: text.TextDat…

  • cv2.VideoCaptureで動画ファイルが開けない

    詳しくはこれ >>> cap = cv2.VideoCapture(file_path) >>> print(cap.isOpened()) # False 色々ググってたけど、よくわからない・・・ stackoverflow.com これみて( ゚д゚)ハッ!ってなった せやった $ pip install opencv-python # 追加 $ pip install opencv-contrib-python こいつがないと動かないんだった www.slideshare.net しかし、非公式やら非商用って書いてあってよくわからん。いつかまとめたい

  • 「subword-nmt」を無理やりPythonから呼んで実行する

    github.com 基本コマンド実行を想定されて組まれていますが、PythonでできているからPythonから叩けるんじゃね?って思ったので試したら結構難しい。。。 とりあえず試行錯誤のすえ、うまくいった感じのログだけ残す qiita.com from subword_nmt.learn_bpe import learn_bpe import sys input_data = """吾輩 わがはい は 猫 で ある 。 名前 は まだ 無い 。 どこ で 生れ た か とんと 見当 けん とう が つか ぬ 。 何 でも 薄暗い じめじめ し た 所 で ニャーニャー 泣い て いた事 だけ…

  • argparseのパラメータの補完をPythonスクリプトから行う

    docs.python.org 便利です。通常こいつを利用する場合はコマンドから引数を指定して値をわたしますが、とある事情からプログラムからも指定したい場合どうやって渡すのかな?と調べてたらありました。 stackoverflow.com へー。試してみる >>> import argparse >>> parser = argparse.ArgumentParser() >>> parser.add_argument('--dataset-dir', help='set dataset directory name', ... type=str, default=None, required…

  • Kedroのチュートリアルが動かない

    Kedro?なにそれ?おいしいの??? 僕もはじめてさわるのでよくわかりません。 kedro.readthedocs.io zenn.dev よくわからないので、ドキュメントやらぐぐってでてきた記事を参考にチュートリアルしてたけど動かない。 $ kedro run 2020-11-24 12:23:27,840 - root - INFO - ** Kedro project get_started Traceback (most recent call last): File "/opt/conda/lib/python3.7/site-packages/kedro/io/core.py",…

  • embulkでs3→mysqlを試したときにlockがかかって死んだときのメモ

    メモリ1GBという制限があり、タイトル通りの構成で転送したところ、ひたすら失敗することを確認したが、mysqlのログを確認してみるとどうやらlockされていたことがわかった。 qiita.com ちなみに中々メモリ1GBで検証するのは大変だと思うので(クラウドならいけると思うけど)、Dockerでやりました。 ichirin2501.hatenablog.com で、個人的にはlockがなんなのかちゃんと理解してないのですが、なんでこうなったのかを色々調べていると、どうやらembulkが複数スレッドを起動して書き込んでいることがわかった。弱小マシンだと複数スレッドで書き込まれると1つのクエリ遅…

  • 状態空間モデル勉強メモ

    同僚からお借りして読んでいます(というか僕も持っていたんだけどどこいった) 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場発売日: 2018/02/14メディア: 単行本 状態空間モデルのイメージ 湖で釣りしている人がいる 毎日釣った魚の数を観測する つれた数で湖の魚の数を推測することができる ただそれだけじゃ難しいよね たまたまエサの食いつきがわるかったとか とても暑い日だったからいつもいるところにいなかったとか こういう観測誤差がある というのを状態空間モデルで解決しましょう 湖の中の魚の数を見えないけども状態として取り扱うことができる 本当に湖の中の魚…

  • いい加減ちゃんと覚えたい統計学 幹葉図

    bellcurve.jp 人生で初めて出会いました(統計学の問題集で) ↑のリンクの通り、概要把握すればそんなに難しくないですが、平均や四分位数を求めるときがとてもめんどくさく、序盤にでてくるくせに電卓うちなれていないと無限に時間を消費してしまう中ボス的な存在です。問題自体は愚直に計算すれば解は求まるので、一旦チェックいれて時間が余れば解く or 点数少しでも稼ぎたいから残り5分になったらチェックした問題に戻って解くでもいいのかなって思いました。 ただ、仕事では使わなそうな雰囲気を感じているのでこいつ得意になったところで「で?」ってなりそうな気はしている。(わからないけどね)

  • いい加減ちゃんと覚えたい統計学 四分位数編

    bellcurve.jp これを読んだあとのちゃんと理解しているか説明を並べる. 四分位数 代表値の一種 データを小さい順から並べて、4つに分割する 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位置 → 中央値 3/4の位置のデータ → 第三四分位数 → 最小値から75%の位置 奇数・偶数で求め方が違う 求め方1つ! 4k + 1のとき 4の倍数+1のとき、各分点に対応する点があるので計算が簡単 データ数が5, 9, 13... データ数が4k + 3のとき 分点が、例えばa地点のデータからa + 1地点のデ…

  • ssh-agentを使ったsshログイン

    macです。簡単です。 $ ssh-add -K ${登録したい鍵ファイルパス} Enter passphrase for ${登録したい鍵ファイルパス}: パスワードを入力してあげます。 その鍵を使ってログインするサーバへログインしてみます。 $ ssh ${configに設定したHOST名} 多段sshとかするときに毎回パスワード入力がだるいのでこれやるとスッキリおすすめ

カテゴリー一覧
商用