SVMは計算時間がながく、ニューラルネットワークは答えが出ない。。

株の売買モデルを人工知能・機械学習で開発しようとしている。いろいろなデータをいろんな種類の分析ツールにぶっこんで答えを出し、そこから多数決をとるというのが、基本的なアイデアだ。 もし、モデルの出す答えが以下のようになったとしよう ランダムフォレスト：A株とB株がいいよ。 Xgboost：A株とC株だね。 SVM：いやいや、C株かD株でしょ。 ニューラルネットワーク：A株かE株に行っとけって。 そうすると、多数決の結果は以下のようになる。 A株：3（ランダムフォレスト、Xgboost、ニューラルネットワーク） B株：1（ランダムフォレスト） C株：2（Xgboost、SVM） D株：1（SVM）…

AI（人工知能）とは単なる複雑な計算モデルにすぎない。

人工知能ときくと、ロボットが考えて何かの答えを出しえいるような事を想像している人も多いと思いますが、実際は単に複雑な計算処理をコンピューターがしているだけです。 たとえば、身長から体重を推定する事を考えます。そこで"体重=身長-110"というモデルを考えましょう。この場合、身長175cmとしてたら、推定体重は175-110=65kgとなります。 これを「人工知能が答えをだしたぞ！」と言う人がいたら、どうでしょう？いやいや結果はもしかしたら妥当かもしれないけど、単に単純な計算をしただけだから。。となりますよね。 このケースと人工知能のケースはなにかというと、"体重=身長-110"という単純なモデ…

AIトレーディング用にGMOクリック証券の口座を開設した。

モデルの完成は8合目くらいまではきている。ということで、最近、会社から家にかえるのが楽しみで仕方がない。電車の中で、まずはあれを確認して、このプログラミングを作成して、それから・・ということばかり考えている。おそらく9月には運用開始できると思う。 その前に、あらたに証券口座を開設することにした。僕は個人でも、日本株・外国株・投資信託・FXなどの投資経験があり、別の口座でそれらの金融商品は保持しているが、AIトレーディングだけで、どのくらいの収益が出ているのかを簡単に管理したいので、別口座を作ることにしたのだ。 kabukiso.com この証券会社にしたのは、名前も聞いたことがあり、手数料が安…

記事になっているAIプロジェクトのほとんどはうまくいってないと思う

AI（人工知能）に関する記事を見ない日はありません。ただ、それらを読むと、殆どの場合、流行に乗りたい企業を取材した認識不足の記者の記事という気がしてなりません。もちろん、ちゃんとした技術のちゃんとした記事もありますが、残念ながら少数派です。 取材される側の大企業のデータ分析担当者の雰囲気はだいたい察しが付きます。 「なんか、わかってない偉い人がノリノリで、今度取材うけるんだけど、ほんとにこんなの記事になっていいのかなあ。まだ、入手できる適当なデータをニューラルネットかまして答えだしてるだけだから、実用段階でもないし、ちゃんとした検証さえもできないんだけど。。」 AIとかFintechとかの流行…

株価の過去データをダウンロードする

株を分析にするにあたってもっとも重要なデータは、過去の株価のヒストリカルデータです。これをどこから取るかは、そんなに簡単な問題ではありませんでした。証券会社で働いてたときならBloombergからダウンロードすればいい話でしたが、個人でやるとなると高いのでそういうわけにも行きません。 いろいろ調べて、候補はYahoo!ファイナンスか株価データサイト（個人運営？）の2択に絞りました。 Yahoo!ファイナンスはスクレイピング禁止？ finance.yahoo.co.jp Yahoo!ファイナンスは基本的にスクレーピングが禁止されているようです。有料会員になれば、直接ダウンロードできるらしいですが…

投資家さとし、Mensa合格しました。

公式サイトによると、MENSA(メンサ)とは、1946年にイギリスで創設された、全人口の内上位2%のIQ(知能指数)の持ち主であれば、誰でも入れる国際グループだそうです。 mensa.jp テレビでなんどか取材されていたので、僕も以前から名前だけは知っていました。有名人では、脳科学者の茂木健一郎氏、お笑い芸人のロザン宇治原史規氏、タレントのパックン氏等が会員になっているそうです。 自分が受けたらうかるのかな、となんとなく思っていたのをふと思い出し、実際に受けてみることにしました。試験内容については教えてはいけないそうなので、ここでは言及しませんが、もしかすると最大の難関は試験を申込みできるかど…

AWSのEC2のインスタンスはこまめに停止しよう

先日、AWSのEC2のインスタンスを削除して、現在一から構築し直してます。そのときにインスタンスをt2.micro（期間中無料）からt2.2xlarege（一時間50円程度）のものに変えました。 investor-satoshi.hatenablog.com さて、料金はどうなっているのかな、と翌日に確認してみたところ一気に1500円ほどになってました。。 え、俺そんなに使ってないぞ。と思い調べてみると使おうが使わまいが、インスタンスが起動している間は課金されているみたいです。ですので、寝ている間にも1時間あたり50円以上のお金を失っていました。。インスタンスはこまめに停止するように気をつけま…

今まで作ったAWSのインスタンスを削除して一から作り直した

甘く見すぎていて、早くも壁にぶち当たってしまいました。調べてみるとAWSの無料サービスってかなりのロースペックでした。できるところまでは、無料のまま続けたかったのですが、さすがに無理でした。 investor-satoshi.hatenablog.com まず、データ分析でストレージ5Gっていうのはちょっと無理でしたね。それにUnix環境の中にDockerで仮想Unix環境をつくるというリソースの無駄遣いをしていたのもあって途中から空き容量が足りないエラーが連発しました。。 また、無料枠で使えるEC2ですが、t2.micro インスタンスは1 GiB メモリしかないので、どうしたって大量のデー…

株式売買モデルを構築するために僕がやろうとしている手順

ここで僕がやろうとしていることを一応まとめておく。 AWSのクラウド環境(EC2)で分析環境（Unix）をたちあげる Dockerを通じて必要な分析アプリ・パッケージをインストールする Pythonのスクレイピングにより必要なデータを取得する Rで分析用にデータを加工する データをPythonのパッケージで分析し株価モデルを構築する（パラメータを推定する） データを自動取得・自動処理し、パラメータから株価売買決定モデルを作成する 最初は自分にメール配信し、手動で売買する なれてきたらスクレイピングを利用し株の自動売買システムを構築する 儲かってお金持ちになる だが、僕はもう2の段階で躓いている…

分析に使う言語はPythonとRにすることにした。

株価分析するのにツールをどれにしようかと思ってたんですが、PythonとRを利用することにしました。なにがいいのかをちゃんと比較検討したわけではなく、単に周りに人に聞いてみただけです。結果はこんな感じでした。 スクレーピングや分析のやりやすさ: Python データ処理のやりやすさ: R どちらにしろPythonは勉強したかったので、これは外せないとして、わざわざRをやろうとしたのは、どうせなら一緒に勉強したいな、と思ったからです。ので大した理由では全然ありません。笑 Rはこちらを参考にしましたが、わりと簡単にできました。データ処理のためのライブラリも普通にinstall.packages("…

分析環境を構築するためにDockerをインストールしてみた。

Dockerについての詳しい解説は下のサイトなどに譲りますが、僕の理解するに、OSの中に目的に特化した仮想OSをつくれるものだと思っています。 www.atmarkit.co.jp たとえば、僕はAWSでUbuntuを利用してますが、これにあれやこれやインストールしてそれぞれの依存関係でぐちゃぐちゃになって重くなったりするのを避けたいです。特に僕はUnixに強いわけではないので。 で、Dockerをインストールすれば、仮想OSを作ってその中で特定のアプリケーションに特化した環境を作ることができます。うまくいかなかったらまるごと捨てちゃえばいいので便利です。 だからAWSのUbuntuのなかにD…

AWS(Amazon Web Services)に登録してみた。

トレーディングのモデルの開発環境はAWS(Amazon Web Services)にすることにしました。自宅のWindowsからAWSのUnix環境で分析しようと思います。AWSは一年間無料で使えます。 AWS を無料でお試しください アマゾン ウェブ サービス（AWS 日本語） AWSにした理由はふたつあって、一つはそもそもAWSを使ってみたかったとう言うのがあります。一応ブログのタイトルも「ひとりフィンテック」としてるので、クラウド環境で分析するのがいいんじゃないかと。笑 もう一つは、PythonでパッケージとかをインストールするときにWindowsだと色々とめんどくさいことがわかった…