前処理大全で改めて基礎を固める

前処理大全という本で学習している。 既に知っているものも多いのだが、自分でなにも見ずにコードも書けないため、基礎固めに読み写経する。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者: 本橋智光 出版社/メーカー: 技術評論社 発売日: 2018/04/13 メディア: 大型本 この商品を含むブログ (1件) を見る 何気にRやSQLのコードも合わせて書いてくれているのはありがたい。python以外にもプログラミングに手を出そうかな、という気になれるものであった。 あとコードも質が低いもの、洗練されたものと分けて書いてくれるのも参考になる。エラーなく動けばいいという…

Kaggleに参加して他の人のNotebookをまねているものの

Kaggle本も読んで、Kaggleについてあさーい知識を得ることができました。 ということで以下のサイトを参考にしつつ、早速Kaggleに参加し、他の人のNotebookをCopy&Editしています。 qiita.com が、Copy＆Editが難しい…。 書いてあるコードのうち、理解できる箇所が一部分しかない。このため、修正することができない現状です。意味を調べるのでいっぱいいっぱい。 うーん、今回はメダルが獲得できるレベルが高いものでしたが、参加する先を変えた方がよいだろうか、と考えています。さすがに時期尚早だったかな、と。 いったんレベルを下げるか、過去のコンペで解説がついているもの…

Kaggleで勝つデータ分析の技術本を読み終わって感じるところ

Kaggle本を読み終わりました。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司 出版社/メーカー: 技術評論社 発売日: 2019/10/09 メディア: 単行本（ソフトカバー） この商品を含むブログを見る Kaggleについて体系的に学べて非常によかった。このため、400ページくらいのボリュームがあったけれども、2日とかからず読み終えた。無論、意味がわからずすっ飛ばすところが多かったからである。 だが、分析コンペにおけるタスクの種類（回帰タスクや分類タスク）、評価指標の最適化、特徴量とは何か、特徴量の作成（調整）、モデルの作成（GBDTやニューラルネッ…

Kaggleで勝つデータ分析について学習するも難しい

先日、Kaggleに参戦することを誓った私。 trq.hatenablog.com いざ準備をするため、Kaggleに登録し、以下の本を読みました。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司 出版社/メーカー: 技術評論社 発売日: 2019/10/09 メディア: 単行本（ソフトカバー） この商品を含むブログを見る 第１章はわかるのですが、第２章から早速チンプンカンプンになってしまいました…。なんとなく言っていることは分かるのですが、非常にあさーいレベルで理解していることが分かります。まあ初心者向けの本ではないとは分かっているのですが。 とりあえずデ…

未経験からPython学習２ヶ月でKaggleに参戦するための戦略

Python学習を始めて２ヶ月弱。 Jupyter Notebookも多少は分かってきたので、時期尚早と理解しながらもKaggleへの入門をしてみたいと考えています。機械学習の勉強をある程度進めてからでも良いかと思っていましたが、まあ参加する分には問題あるまい。 以下、参考にしたサイトと、そこで学んだことを記していきます。 １ さっさとKaggleに参加するぞ！と思ったサイト drumato.hatenablog.com Kaggleでは以下の流れで進めていくと良いとのこと。 （１）参加するコンペを選ぶ 画像認識系等、マシンパワーが求められるものもあるとのこと。知らんかった。 （２）カーネルを…

「GBDT」は日本語wikipediaの解説ページがなくて理解するのが大変

GBDT。Grandient Boosting Decision Treesの略で、勾配ブースティング木という。 学習データに前処理を行い、学習できる形に変換する、そのためのモデルのようである。分かるような分からんような。Kaggleのテーブルデータ分析では大体使われているようなので、身に付けなければならない。がんばって検索して勉強する。 techblog.nhn-techorus.com まずはこのサイトを見る。謎である。1割も理解できなかった。 続いてこちらのサイトを見る。 copypaste-ds.hatenablog.com あーなんとなくわかってきた。勾配ブースティング木というから混…

Kagglerを目指す私のこれからの機械学習の学習計画

さてKagglerを目指している私ですが、そのためには機械学習の知識も必要な模様。 （↑後から見返すと恥ずかしくなりそうな初心者丸出しの一文である） それに向け、Pythonも触った時間は増えてきたので、次は機械学習の勉強を進めたいと思います。なんだか目的も見失いつつありますが、それでも進めと私のマインドが言うのである。 相変わらずですが、まずは本での学習を考えています。その上で、機械学習についてはオンラインでのコースも受けようかなーと考えています。 読むべき本 （以下のサイトを参考にさせてもらいました。） https://drumato.hatenablog.com/entry/2019/0…

Pythonを使って作業効率化するイメージが湧く「退屈なことはPythonにやらせよう」

Pythonで自動化。仕事がはかどる。 Python関連の書籍を見ると、そういった言葉とセットとなったタイトルの本もよく見る。 というわけで以下の書籍を一冊読んでみました。 退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミング 作者: Al Sweigart,相川愛三 出版社/メーカー: オライリージャパン 発売日: 2017/06/03 メディア: 単行本（ソフトカバー） この商品を含むブログ (6件) を見る ノンプログラマとあるように、初心者にも分かるような内容でありながらも、プロジェクトで具体的なコードを書ける実用的なものとなっている。 この本を読…

45日経って、改めて「みんなのPython」を読む

「みんなのPython」。 Python学習をする上で、たびたび勧められている本である。 みんなのPython 第4版 作者: 柴田淳 出版社/メーカー: SBクリエイティブ 発売日: 2016/12/22 メディア: 単行本 この商品を含むブログ (2件) を見る これを久々に読んでみる。正直言って、相変わらず難しい。言っていることはまあ分かるし、プログラミングもできないことはない。 ただ、なんというか味気ないのだ。理論的というか、辞書的というか。 これを１ページ１ページめくって細かに学習していくことは難しい。学習体力やモチベーションが続かないのである。 私はこの本を、「これからPython…

いよいよPythonを使って会社のデータを分析しようと思えた本

Pythonを学習し、今日も今日とで写経をしています。我ながら勤勉である。 さて現在使っている学習書は合同会社アイキュベータの方が執筆した、以下のものである。 Python実践データ分析100本ノック 作者: 下山輝昌,松田雄馬,三木孝行 出版社/メーカー: 秀和システム 発売日: 2019/09/27 メディア: 単行本 この商品を含むブログを見る 100本の課題を出しつつ、データ加工からデータ分析や予測などを学ぶものである。扱っているケースも実践的なもので、ジム会員の退会予測、物流の最適ルートの発見、消費者行動の予測、潜在顧客の把握などを取り扱っている。 で、この中で事例として扱ったケース…

データサイエンティストになるキャリアパスの一例

Python学習の進め方の参考にさせていただいている中川伸一さんですが、以下の雑誌にデータサイエンティストになる方法、という記事があったのでメモとして残しておきます。 ソフトウェアデザイン 2018年9月号 作者: 中西崇文,中川伸一,橘慎太郎,安部晃生,横山直敬,馬場真哉,藤原秀平,飯塚修平,足立昌彦,藤田稜,やまねひでき,安藤幸央,結城浩,武内覚,宮原徹,北村壮大,平林純,速水祐,樽石将人,清水琢也,山田泰宏,田代勝也,上田隆一,中村壮一,重村浩二,くつなりょうすけ,mattn,小飼弾,すずきひろのぶ,あわしろいくや,中島雅弘,榎真治,法林浩之,関治之,奥村和彦,後藤大地,Software…

Pythonを学びはじめて１か月が経った後の気付き

Python学習をはじめて約１か月が経ちました。 trq.hatenablog.com １か月の間に使った参考書 １か月の間に、以下の本を使って学習しました。全部が全部くまなく見たわけではないですが、どれも一通りは目を通したものです（理解できない箇所も多かったですが…）。 独習Python入門 Pythonエンジニアファーストブック Minecraftで楽しく学べるPythonプログラミング 土日でわかるPythonプログラミング教室 データサイエンス教本 Pythonで学ぶ統計分析 Python Django超入門 １か月経った時点での自分の中の変化 Pyhon関連の本を読んで、「何を言おう…

PatoさんがNoteで述べたライターになる方法は、プログラマーにも当てはまるのでは

データサイエンティストを目指しているこのブログ。 ですが、先日ライターのPatoさんが書いていた「ブログなんか書くな」を読み色々と考えさせられました。 note.mu ようは目的もなく毎日書くだけのブログや、成果物としての土俵にも立てていない記事は、書くだけ無駄、というものである。 いやはや、まったくその通り。 どこかの記事でも、プログラミング学習の履歴なんぞブログで書いても鼻くそほどの価値もない、と書かれていたのを読んだこともある。 いやはや、まったくその通り。 ということで、Python学習の基礎もある程度終わりつつあり、これからの戦略を考えたところ、ブログの更新頻度は一旦落としたい。 こ…

Djangoを使ってデータベースの基礎、そしてミニSNSの作成について理解

Python Django超入門の学習が終わりました。 Python Django 超入門 作者: 掌田津耶乃 出版社/メーカー: 秀和システム 発売日: 2018/06/09 メディア: 単行本 この商品を含むブログを見る これによって、簡単なアプリの作り方の一通りの流れが分かった、と言える（とはいえアプリは実際に作れない）。 アプリを作る上では、「基本的な設計」ができていないといけない。この設計の仕方についてもどこかで学ぶ必要があるのだろうが、良い本等あったら誰か教えてください。 ちなみにアプリの設計はだいたい以下のような感じになるとか。 ・アプリの機能の洗い出し。どんな機能が必要になるか…

「Webを支える技術」を読み理解できなかったので応用情報技術者試験でも受けようか

プログラミングの学習だけでなく、Webサービス全体の事を知らなければならない、ということで以下の本を読みました。 Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESS plus) 作者: 山本陽平 出版社/メーカー: 技術評論社 発売日: 2010/04/08 メディア: 単行本（ソフトカバー） 購入: 143人 クリック: 4,320回 この商品を含むブログ (183件) を見る 結論から言うと、タイトルのとおり2%くらいしか分からなかった。 書き込み可能なWebサービスの設計は、読み取り専用のWebサービスの設計とは違うのだ、ということくらいか。後は…

プログラミングスクールに行くことも考えたが独学で進めることにした

Python学習を進めていますが、ちょっと前にプログラミングスクールがネットで話題になっていた。要はスクール関係者による著作権に関する発言が、物議を醸しだしたのである。 そのような中、プログラミングスクール全体の話にも及び、以下のような記事が投稿された。非常に参考になった。 anond.hatelabo.jp プログラミングの勉強をしていると、スクールに通いたくなることもある。メンターも欲しくなる。これってどうやったら解決できる？とか、この行の意味はなに？とか聞きたくなる。 だが、スクールに通ったからといってその問題がクリアになるわけでもなさそうだ。また問題が生じても、それを自力で解決できる能…

Pythonで統計分析をやる上で重要な心構えと姿勢

Pythonでデータ分析をやるには、少なからず統計分析の知識も必要となる。 ということで以下の本を使って学習も進める。 データサイエンス教本 Pythonで学ぶ統計分析・パターン認識・深層学習・信号処理・時系列データ分析 作者: 橋本洋志,牧野浩二 出版社/メーカー: オーム社 発売日: 2018/12/01 メディア: 単行本（ソフトカバー） この商品を含むブログを見る 補足説明をする以下のサイトもなかなか役立つ。https://sites.google.com/site/datasciencehiro/ 本書籍は、Python（というかJupyter Notebook）を使って統計分析をど…

Pythonを使ってフォームページとか作れるようになりました

秋っぽい日々が続いていますが、飽きもせずPython学習しています。 最近はHTMLやらCSSと組み合わせてWebページを作っています。そこにSpyderを使ってviews.pyやらurls.pyやらを修正し、関数を使ってビューの処理を用意してやっています。あとはtemplatesフォルダを作ってテンプレートを用意したり。 相変わらずクラスがどうとかという概念は難しいものがありますが、教科書通りに動くと安心・嬉しいところはありますね。 Formクラスを定義して、とりあえずCharFieldを使ってのフォームは作れるようになりました。 Python Django 超入門 作者: 掌田津耶乃 出版…

趣味としてのPython学習を、海釣りと比較した場合のメリット・デメリット

私は、趣味を探していた。本当は、釣りをしたかった。 前日の夜は釣りの仕掛けをつくり、当日の朝は早くに出かけ、太陽がギラつく中、屋根の下で波に揺られて魚を釣る。釣った魚を家でさばいて、一杯やる。そういう趣味をしたかった。自然の中過ごす時間はリフレッシュになるし、ご飯はうまいし、お酒も進む。家族も感謝してくれることであろう。 そんな私は、今はPythonの学習をしている。趣味として。 では海釣りと比較した際の、Python学習の趣味のメリット・デメリットは何か。 まず良い所は、場所と時間を選ばないことである。海釣りは土日の休みでなければできない。だが、Pythonであればどこでもできる。会社帰りの…

Python学習から１か月、本格的にDjangoの勉強を始める

Djangの勉強を始める。 Python Django 超入門 作者: 掌田津耶乃 出版社/メーカー: 秀和システム 発売日: 2018/06/09 メディア: 単行本 この商品を含むブログを見る AnacondaをDLし、myspaceを作ってDjangoをDLし、そしてSpyderもDLした。仮想空間の中にpyファイルをいくつか保存し、DjangoのWebサーバーを実行するのはターミナルから（Python manage.py runserver）。その後、http://localhost:8000/helloなどにアクセスする。 しかしPythonを使う環境は、学習本によってそれぞれ異なる…

Pythonでデータ分析する練習として参考にするオープンデータのリスト

これからPythonを使ってデータ分析をドシドシ進めていきます。 その際、以下のサイトが参考にできるかなー、と今は考えています。 archive.ics.uci.edu statsmodels.org scikit-learn.org www.kaggle.com www.e-stat.go.jp www.jma.go.jp

「土日で分かるPythonプログラミング教室」をひととおり読み終えて

何かを完成させる、という事は良いことだ。 達成感もあれば、自分でも「できる」という気にさせてくれる。 ~短期集中講座~ 土日でわかるPythonプログラミング教室 環境づくりからWebアプリが動くまでの2日間コース 作者: フロイデ株式会社吉谷愛 出版社/メーカー: SBクリエイティブ 発売日: 2017/09/16 メディア: 単行本 この商品を含むブログを見る 今週はこれをつかってPython学習した。Dockerを駆使し、Djangoらしきものを扱い、チャットボットを実行できるようになった。 内容は初心者向けというのもあり、決してチャットボットを１から作るものではない。すでにあるデータを…

Python学習で使った参考書と学習履歴（10月20日更新　随時更新）

現在、Pythonを学習中です。使用している書籍と学んだこと、所感を記します。 ■9月下旬 独習Python入門――1日でプログラミングに強くなる! 作者: 湯本堅隆 出版社/メーカー: 技術評論社 発売日: 2016/08/05 メディア: 単行本（ソフトカバー） この商品を含むブログ (1件) を見る Pythonの最低限の使い方について。Pythonそのものをインストールし、Windowsのコマンドプロントで操作しました。テキストエディタはAtomを使用。 ■10月上旬 Pythonエンジニア ファーストブック 作者: 鈴木たかのり,清原弘貴,嶋田健志,池内孝啓,関根裕紀 出版社/メーカ…

■

Djangoがジャンゴと発音することもようやく知りました。Python勉強を始めて約１か月後のことであった。 https://inductor.hatenablog.com/entry/2019/10/15/165014

無料でAIによるデータ分析ができるサービスまとめリンク集

最近はAIによるデータ分析も、無料でできるところも増えています。 備忘録として、以下メモっておきます。 ・Sony Prediction One predictionone.sony.biz ・Magellan Blocks www.magellanic-clouds.com ・Google Data Studio cloud.google.com ・Microsoft Power BI powerbi.microsoft.com こういったサイトも確認しつつ、自分のプログラミングによって生み出す成果物に質も上げていきたいところである。 本物のデータ分析力が身に付く本 (日経BPムック) 作者…

Pythonでネット上のデータばかりに目を向けているのも発展性がない

Pythonを使ってこれからウェブ上の情報をザクザクと集め分析し、新たな気付きや仮説を世に発信したり、定説と言われていることに疑義を呈したりしていきたいと考えています。が、以下の本を読んで、それはそれで視野が狭いな、と感じました。 データ・ドリブン・エコノミー デジタルがすべての企業・産業・社会を変革する 作者: 森川博之 出版社/メーカー: ダイヤモンド社 発売日: 2019/04/04 メディア: 単行本（ソフトカバー） この商品を含むブログを見る 実際の社会はネットばかりではなく、リアルな社会というものもあります。そして、これからはリアルな世界の「リアルデータ」が主役になる、と。データ・…

Pythonエンジニアファーストブックを読んだ結果、1勝1敗1分

Pythonエンジニアファーストブック、手を動かしながらようやく一通り読み終わりました。 Pythonエンジニア ファーストブック 作者: 鈴木たかのり,清原弘貴,嶋田健志,池内孝啓,関根裕紀 出版社/メーカー: 技術評論社 発売日: 2017/09/09 メディア: 単行本（ソフトカバー） この商品を含むブログを見る 結果として、「まずは押さえておきたい技術」として挙げられた３つの内、１つは分かり（〇）、１つはまずまず（△）、１つはほぼ理解できず（×）、というところでしょうか。 〇・・・Jupyter, Pandasで学ぶPyData △・・・Scrapyで学ぶWebスクレイピング ×・・・…

Jupyter Notebookで一通りの作業をこなし、そのポテンシャルに驚愕した

Jupyter Notebookが動かない問題がありましたが、結局解決できませんでした。 動かないまま、一旦は保留。 trq.hatenablog.com 結局その間に別の参考書を使って学習したのですが、そこでAnacondaをDLするとJupyter Notebookとかも入ってるよーと知りました。実際にAnacondaをDLするとJupyter Notebookも使え（しかもUbuntuとか起動させずに）、かなり簡単に操作でき、Pythonエンジニアファーストブックで説明されていることも一通り確認できました。 いや、これはなかなか楽。データ分析する上で、データの整理なんかはちょっと手間かな…

データサイエンティストになるためのハードル

Pythonの学習をはじめて少々経った。 プログラミングの学習そのものは非常に楽しい。うまくいかないこともあるが、あの手この手と工夫して、それを突破できた時はそれはそれで非常に嬉しい。 とはいえ、私の目標であるデータサイエンティストになるために、どういうルートをたどれば良いか最近は悩んでいる。単に統計を勉強していたころに比べると、ルートは大分見えてきたのは確かなのだが。 それは、やはり自分が未経験ということがネックになっている。 以下のサイトを見ても、未経験からITエンジニアへの転職はなかなか厳しそうである。 paiza.hatenablog.com できることとしては、成果物を作ること。そし…

Jupyter NotebookでKernelが接続されなくなった問題

独学プログラミングの難しいところは、躓いた時に人に聞けないということである。 Pythonでデータ分析を学習しようとしているが、今日はJupyter Notebookで躓いてしまった。最初にUbuntuから立ち上げたときは問題なくブラウザで開け、プログラムも実行できたのだが。 １日たって再度Jupyter Notebookを立ち上げようとしているのだが、Kernelに接続されない。 A connection to the notebook server could not be established. The notebook will continue trying to reconnec…