searchカテゴリー選択
chevron_left

カテゴリーを選択しなおす

カテゴリーのご意見・ご要望はこちら
cancel
プロフィール
PROFILE
ブログタイトル
ITの隊長のブログ
ブログURL
https://www.aipacommander.com/
ブログ紹介文
ITの隊長のブログです。いや、まだ隊長と呼べるほどには至っていないけど、日々がんばります。
更新頻度(1年)

30回 / 365日(平均0.6回/週)

ブログ村参加:2012/07/17

本日のランキング(IN)
読者になる

新機能の「ブログリーダー」を活用して、アイパー隊長さんの読者になりませんか?

ハンドル名
アイパー隊長さん
ブログタイトル
ITの隊長のブログ
更新頻度
30回 / 365日(平均0.6回/週)
読者になる
ITの隊長のブログ

アイパー隊長さんの新着記事

1件〜30件

  • 「subword-nmt」を無理やりPythonから呼んで実行する

    github.com 基本コマンド実行を想定されて組まれていますが、PythonでできているからPythonから叩けるんじゃね?って思ったので試したら結構難しい。。。 とりあえず試行錯誤のすえ、うまくいった感じのログだけ残す qiita.com from subword_nmt.learn_bpe import learn_bpe import sys input_data = """吾輩 わがはい は 猫 で ある 。 名前 は まだ 無い 。 どこ で 生れ た か とんと 見当 けん とう が つか ぬ 。 何 でも 薄暗い じめじめ し た 所 で ニャーニャー 泣い て いた事 だけ…

  • argparseのパラメータの補完をPythonスクリプトから行う

    docs.python.org 便利です。通常こいつを利用する場合はコマンドから引数を指定して値をわたしますが、とある事情からプログラムからも指定したい場合どうやって渡すのかな?と調べてたらありました。 stackoverflow.com へー。試してみる >>> import argparse >>> parser = argparse.ArgumentParser() >>> parser.add_argument('--dataset-dir', help='set dataset directory name', ... type=str, default=None, required…

  • Kedroのチュートリアルが動かない

    Kedro?なにそれ?おいしいの??? 僕もはじめてさわるのでよくわかりません。 kedro.readthedocs.io zenn.dev よくわからないので、ドキュメントやらぐぐってでてきた記事を参考にチュートリアルしてたけど動かない。 $ kedro run 2020-11-24 12:23:27,840 - root - INFO - ** Kedro project get_started Traceback (most recent call last): File "/opt/conda/lib/python3.7/site-packages/kedro/io/core.py",…

  • embulkでs3→mysqlを試したときにlockがかかって死んだときのメモ

    メモリ1GBという制限があり、タイトル通りの構成で転送したところ、ひたすら失敗することを確認したが、mysqlのログを確認してみるとどうやらlockされていたことがわかった。 qiita.com ちなみに中々メモリ1GBで検証するのは大変だと思うので(クラウドならいけると思うけど)、Dockerでやりました。 ichirin2501.hatenablog.com で、個人的にはlockがなんなのかちゃんと理解してないのですが、なんでこうなったのかを色々調べていると、どうやらembulkが複数スレッドを起動して書き込んでいることがわかった。弱小マシンだと複数スレッドで書き込まれると1つのクエリ遅…

  • 状態空間モデル勉強メモ

    同僚からお借りして読んでいます(というか僕も持っていたんだけどどこいった) 時系列分析と状態空間モデルの基礎: RとStanで学ぶ理論と実装作者:真哉, 馬場発売日: 2018/02/14メディア: 単行本 状態空間モデルのイメージ 湖で釣りしている人がいる 毎日釣った魚の数を観測する つれた数で湖の魚の数を推測することができる ただそれだけじゃ難しいよね たまたまエサの食いつきがわるかったとか とても暑い日だったからいつもいるところにいなかったとか こういう観測誤差がある というのを状態空間モデルで解決しましょう 湖の中の魚の数を見えないけども状態として取り扱うことができる 本当に湖の中の魚…

  • いい加減ちゃんと覚えたい統計学 幹葉図

    bellcurve.jp 人生で初めて出会いました(統計学の問題集で) ↑のリンクの通り、概要把握すればそんなに難しくないですが、平均や四分位数を求めるときがとてもめんどくさく、序盤にでてくるくせに電卓うちなれていないと無限に時間を消費してしまう中ボス的な存在です。問題自体は愚直に計算すれば解は求まるので、一旦チェックいれて時間が余れば解く or 点数少しでも稼ぎたいから残り5分になったらチェックした問題に戻って解くでもいいのかなって思いました。 ただ、仕事では使わなそうな雰囲気を感じているのでこいつ得意になったところで「で?」ってなりそうな気はしている。(わからないけどね)

  • いい加減ちゃんと覚えたい統計学 四分位数編

    bellcurve.jp これを読んだあとのちゃんと理解しているか説明を並べる. 四分位数 代表値の一種 データを小さい順から並べて、4つに分割する 1/4の位置のデータ → 第一四分位数 → 最小値から25%の位置 2/4の位置のデータ → 第二四分位数 → 最小値から50%の位置 → 中央値 3/4の位置のデータ → 第三四分位数 → 最小値から75%の位置 奇数・偶数で求め方が違う 求め方1つ! 4k + 1のとき 4の倍数+1のとき、各分点に対応する点があるので計算が簡単 データ数が5, 9, 13... データ数が4k + 3のとき 分点が、例えばa地点のデータからa + 1地点のデ…

  • ssh-agentを使ったsshログイン

    macです。簡単です。 $ ssh-add -K ${登録したい鍵ファイルパス} Enter passphrase for ${登録したい鍵ファイルパス}: パスワードを入力してあげます。 その鍵を使ってログインするサーバへログインしてみます。 $ ssh ${configに設定したHOST名} 多段sshとかするときに毎回パスワード入力がだるいのでこれやるとスッキリおすすめ

  • 時系列勉強雑メモ

    定常過程が分析しやすいデータである理由 無数に存在する2020年1月1日という気温の特徴を手元にあるたった1つの2020年1月1日のデータで推測しなければならない → これは難しい しかしデータが定常と仮定すると分析が楽 期待値や分散の推定量が時点によって変化しない → 複数時点のデータの平均と分散をとればそのまま推定量として利用できる → これは簡単 対数変換とその解釈 対数変換したものはデータのばらつきがほぼ一定になる ばらつきと指しているのはおそらく上下の振り幅 対数についておさらい log_a ap = p log_2 8 = 3 <-> 23 = 8 log_a M = P <-> …

  • Ubuntuにrpy2を入れたい

    AnacondaがインストールされたUbuntuでrpy2を使いたいのでpipで入れようとした。 $ pip install rpy2 # ... ERROR: Complete output from command python setup.py egg_info: ERROR: cffi mode: CFFI_MODE.ANY Error: rpy2 in API mode cannot be built without R in the PATH or R_HOME defined. Correct this or force ABI mode-only by defining the…

  • paramikoでSFTPサーバのモックを用意する

    さぁーがんばるぞーとぐぐってみたらあった github.com pipでinstallすることができます。 $ pip install sftpserver 鍵ファイルが必須と書いてあるため、とてもめんどくさいと思いました。なので、試行錯誤して鍵が必要なくなるよう設定やらコードをイジイジしてたのですが、、、paramiko全然わからん... あきらめて鍵ファイルを落としてきました。paramikoのデモディレクトリにあります。 github.com $ nohup sftpserver -k ./test_rsa.key -l DEBUG & 起動方法はこんな感じ。 $ sftp -P 337…

  • ぽえむ

    テストしてて結果待ちの間暇なので適当に書く。 3年前となにが変わったか???と自分に問いかけると変わったところもあるけどあんま伸びていないところもあって、そこに対して今結構不安を持っている。 年齢が30の年になるので、ほんまこの調子で大丈夫なんか???って気持ちにもなっている。色々チャレンジしようとしているところなんだけども不安ががががががががががが。 色々浅い知識なのが不安のひとつ。深い知識(それはそれで、それを手に入れたとしても多分まだまだまだとかいって勉強続けそうだけども)がないので、これで食っていける!これなら誰にも負けない!これなら僕は先生になれる!みたいのがなくて不安 テストが終わ…

  • GWその7

    本当ならその7は昨日やるべきだったんだけど、家の手伝いしてたら夜( ˘ω˘)スヤァってなったので今日になった。 今回のGWは後にまとめるとして、とりあえず今日は指数と対数をなんとなく理解できた。 ただ、教科書の正解か不正解かもわからない問題で練習したので本当にちゃんと理解できているかどうかはブログにしたいと思う。 機械学習の数学学びたかっただけなんだけど、7日使ってここまでの進捗とは結構辛い。が、これまでも泣きながらコツコツしてるといつのまにかできている雰囲気なので引き続きがんばります。 はい。夕飯作ります。

  • GW勉強その6

    実家に暇だろ!?来いや!。って言われたのできてみたら土方させられてあんま勉強していないマンです。 帰ってきてこの時間までやってました。 はい。 前日までやっていた本は一旦諦めました。読むのに時間かかっている≒わからないことが多すぎて進まない。が正しいです。 なので、教科書的なことをやろうかなと思い、本を買おうかなと思ったんだけども、弟の部屋(実家)に教科書が残っていたので パクリ 借りてきたのでとりあえず読んでいます。 数Ⅱの指数・対数を読んでいる。そのあとに微分する予定。 とりあえず、定義・定理はまだ区別できていないですが、教科書読みやすいことに感動している。なぜこれが高校でできなかったのか…

  • GWその5

    この本は読み終えた。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 次はこの本を読んでいる。 微分の教科書 (大学数学基礎力養成)作者:丸井 洋子発売日: 2017/10/20メディア: 単行本(ソフトカバー) ちょっと失敗したなって思っているw むずい。 翌々考えたら、中学数学はなめたけど高校数学全部はなめていないので突然大学は厳しい気持ち。 とりあえずわからないところをメモしていく。 広義・狭義の単調増加・減少数列 広義の単調増加〜 → xが増えるとyは減らない 広義の単調減少〜 → xが増え…

  • GW勉強その4

    ドリルの集中力が切れたので、2冊目を読んでいる。 大人のための数学勉強法 ― どんな問題も解ける10のアプローチ作者:永野 裕之発売日: 2012/08/31メディア: 単行本(ソフトカバー) 中学のやつが2巻目らしいので、これはよまなくてもいいかなとか思っていたけど、そうじゃなかった。こっちも面白い。あと難易度上がった気がするので頑張って読んでいるマン。 この本は数学の問題を解くときに解けるようになるためのアプローチを10こ説明してくれる。 次数を下げる 周期性を見つける 対称性を見つける 逆を考える 和よりも積を考える 相対化する 因数分解とかなんでこんなことするんじゃろ?みたいな問に答え…

  • GW勉強その3

    今日は午前中買い物にいってきたのでそんなに勉強できなかった。 塾で教える高校入試 数学 塾技100 新装版 (高校入試 塾技)作者:森 圭示発売日: 2016/07/08メディア: 単行本(ソフトカバー) これ進めているが、わからんところがでてきてなかなか進まない。 やっぱり本を読んだだけじゃ駄目である。 わからんところをメモ。 P.19 の問題(上)の(2)、なぜ斜線の三角形は合同とわかったのか不明。 P.20 の例題。A,Bに線引いて、垂直二等分線を引けばいいのでは???って思ったけど、なんかそういう回答じゃない不明。 って思ったんだけど、そもそもコンパスの大きさ指定できないから無理か。っ…

  • GW勉強その2

    読み終わりました。 大人のための中学数学勉強法作者:永野 裕之発売日: 2013/03/23メディア: 単行本(ソフトカバー) 途中の練習問題が難関高校?の入試問題なので、解けるとテンションが上がって次に行きたくなります。 が、本当に身についているかどうか、ドリルを試そうと思って買ってきました。 塾で教える高校入試 数学 塾技100 新装版 (高校入試 塾技)作者:森 圭示発売日: 2016/07/08メディア: 単行本(ソフトカバー) レシピや道具を教えてもらったので、身につけるために頑張っていっぱい料理するぞって気持ち。 その3に続く.

  • GW勉強その1.1

    酒が入ったので、読書はやめて手を動かすことにした。 github.com 3年ぶりに知らない言語(知っているけど書けない)にチャレンジ。 OpenCVでなんかゴニョゴニョできるようになればいいなを目標にがんばります。

  • GW勉強その1

    今年は1週間休みをとってみた。4/30,5/1休めば来週の木曜日まで休みだ。ただ世間はウィルス騒動なので外に遊びにいけないのでやることは子守以外になんもないけど、一応勉強しておこうと思ってログを残す。 色々やりたいことはあると思うんだけど、あんまり多いと何もできないと思うので下記に絞るつもり 時系列、異常検知 数学 なんか新しい言語チャレンジ 多分数学に手をかけて終わりじゃないかなって気持ちはある。 で、今読んでいる本はこの本。 大人のための中学数学勉強法作者:永野 裕之発売日: 2013/03/23メディア: 単行本(ソフトカバー) 3章までは読んだ。 ↓と含め2冊かったんだけど、↓こっちが…

  • 時系列の勉強雑メモ

    ちゃんと理解したので何度も読み直している。 時系列分析の難しさ 1990年1月1日の気温を予測する場合、無数にある1990年1月1日が母集団。母平均を推定しようとした場合、データは手元に1つ(1990年1月1日は現実に1つしかない)しか無いはずなのでむずい なので、推測統計学の性質(?)を使って、DGP(データ生成過程)をモデリングできるならいけるんじゃないか?ってことを考える 例えばサイコロで考えるとき、{1,2,...,6}は確率変数で{1/6,1/6,...,1/6}は母集団の確率分布 これを時系列に置き換える。1990年1月1日の気温(確率変数)は{1,2,...,6}で、確率分布は{…

  • 時系列の勉強雑メモ

    これまでゴリ推してきた時系列をなんとか数式含め脳内補完できないかなといことで再勉強中です。 早速ですが、ホワイトノイズは自己相関が0らしいので、本当か試してみる。 import numpy as np import pandas as pd import matplotlib.pyplot as plt dlen = 1024 #ノイズデータのデータ長 mean = 0.0 #ノイズの平均値 std = 1.0 #ノイズの分散 y = np.random.normal(mean, std, dlen) _, ax = plt.subplots(figsize=(30, 5)) ax.plot(…

  • seaborn.pairplotで左と下にでてくるlabelのrotationを変更したい

    とてもめんどかった(探索が)。ドキュメントを探してたらmatplotlibのようなクラスを扱えることを知りできた。 _x_columns =['width', 'height'] g = sns.pairplot(df[_x_columns], height=8, corner=True, hue='sex') for ax in g.axes.flat: if ax is None: continue ax.set_xlabel(ax.get_xlabel(), rotation=90) # 下側のラベル ax.set_ylabel(ax.get_ylabel(), rotation=0) …

  • リモートワークしたら体重が-5kg落ちました

    リモートワークが要因じゃないけどきっかけにはなってる。。。どこかのタイミングでまとめます。 しかし運動しててもカロリー制限してても痩せなかったのにこんな簡単に(簡単ではないが

  • fadeInとfadeOutを実装して死んだ

    ウンコード export function fade(node, duration, _type) { // style属性にdisplay: noneが設定されていたとき console.log(node.style.display); if (node.style.display === 'none') { node.style.display = 'none'; } else { node.style.display = 'block'; } node.style.opacity = 0; if (_type === 'out') { node.style.opacity = 1; } …

  • PySparkの雑メモ

    PySparkで使い方に困ったときのメモ 複数カラムで集計 from pyspark.sql import functions as F a1 = df.groupby('column_1', 'column_2').agg(F.count(F.col('column_3')).alias('count'), F.collect_set('column_4').alias('collect_column_4')) 複数カラムでorderby from pyspark.sql import functions as F a1 = df.select('column_1', 'column_2',…

  • BulmaをWebpackで動かすまでをメモ

    Q.Bulmaってなんのブルマですか? → A.DBのブルマだそうです。 bulma.io これです。 webpack全然覚えていないのですが、jsをトランスパイルしたいので、ついでhtmlやcssもwebpackでやろう→cssフレームワーク使いたい。おおええよ!ってなったけど死んだ。 qiita.com 記事が少ないお. gulp使いたい. Bulmaをwebpackから読み出せるようにする $ npm install webpack@^4.16.0 -g $ npm install webpack-cli@^3.0.8 -g $ npm install babel-jest @babel…

  • aws ソリューションアーキテクト アソシエイトに合格しましたログ

    合格した流れのログを残す 試験前の自分のレベル awsは仕事や趣味で使ったことがあるが、ec2、s3、lambda、route53しか使ったことないペーペー インフラの基礎知識はある 3分間ネットワークシリーズを全部読んだ(過去インフラ屋だったとき) それだけじゃないけど、初心者ではないと思う ログ 勉強期間 3週間ぐらい 勉強に使った書籍とかやったこと udemyの模擬試験 https://www.udemy.com/course/aws-knan/ これはよかった。最初の模擬試験正解率40%ぐらいで泣きそうになったけど、不正解だった問題をひたすら理解して問題受けて理解してを繰り返したらだい…

  • cloudformation完全に理解した

    タイトル釣りです。 github.com cloudformation、便利そうだから趣味アプリのデプロイで使うか!って挑戦した結果、やりたいことを実現するのに二週間かかりました。辛い ハマったこと 既存のリソースがすでに存在する場合 → テンプレートからスタック(リソース群)を作成しようとする段階で落ちます。すでにリソースは存在しているんだ!!で怒られて落ちる。lambdaもs3 bucketも基本的には新規作成で作るのがよさそう 作成するリソース関連でiam周りちゃんと設定しないとスタックが作成できないくて落ちる lambdaのdestinationやら、s3やcloudwatchとの連携…

  • The role defined for the function cannot be assumed by Lambda. (Service: AWSLambdaInternal; Status Code: 400; Error Code: InvalidParameterValueException; Request ID: xxx-xxx-xxx-xxx)

    cloudformationで無限にこのエラーにハマってて辛かったが解決したのでメモ stackoverflow.com cloudformationでデプロイするlambdaに紐付けるロール関連でエラーになっていることはわかったけど、ググってもよくわからなかったが↑の記事試したら解消した 具体的にはロール → 信頼関係 → 信頼関係の編集でPrincipalに "Service": "lambda.amazonaws.com" と入力するだけ とりあえず解決はしたけどこれはどういうことなんじゃろ。。。引き続き調べる

カテゴリー一覧
商用